#并行生成
Super-JSON-Mode入门指南 - 加速结构化输出生成的利器
2024年09月10日
Super JSON Mode: 加速结构化输出生成的革命性框架
2024年08月31日
相关项目
super-json-mode
Super JSON Mode 是一个通过将目标结构分解为原子组件来并行生成JSON输出的Python框架。相比传统的JSON生成方法，该框架提高了生成速度达10倍，同时减少了解析问题。它支持包括OpenAI和Hugging Face Transformers在内的主流LLM, 以及开源LLM如vLLM。安装只需运行pip命令，详细的使用说明和示例代码请参见项目文档。
arrows
Arrows是一款实验性AI写作前端工具，基于大型语言模型设计。它通过段落级生成、双选项呈现和零界面设计，简化了创意写作流程。支持OpenAI兼容API的后端，Arrows专注于基于补全的写作模式，提供直观的键盘操作。其并行生成功能可提高效率，为内容创作者提供了一种注重写作本质的AI辅助体验。