Project Icon

sammo

大型语言模型提示词运行和优化库

SAMMO是一个用于运行和优化大型语言模型提示词的开源库。该项目支持数据标注、提示词设计、指令优化、提示词压缩和大规模执行等功能。SAMMO提供并行化和速率限制能力,可进行大规模查询而不会过载API。这个库适合需要高效处理和优化LLM提示词的多种应用场景。

advprompter - 自适应对抗提示技术优化大语言模型表现
AI训练AdvPrompterGithubLLM对抗性提示开源项目评估
AdvPrompter是一种针对大语言模型的自适应对抗提示技术。该项目提供完整实现代码,支持Vicuna、Mistral和Llama2等主流模型。AdvPrompter具有易于安装、使用灵活的特点,适用于模型评估和训练。研究人员可利用此工具优化大语言模型性能,提升输出质量。项目还提供了详细的使用说明和配置选项,方便用户进行自定义设置。
easyllm - 开源工具库助力简化大语言模型应用开发
API客户端EasyLLMGithubOpenAI兼容大语言模型开源项目
EasyLLM是一个开源项目,为开发者提供简化大语言模型操作的工具和方法。该项目实现了兼容OpenAI API的客户端,支持HuggingFace、Amazon SageMaker和Amazon Bedrock等平台的模型。EasyLLM允许开发者轻松切换不同语言模型,实现聊天、文本补全和嵌入等功能。此外,项目还包含进化指令生成和提示词工具等辅助模块,有效简化了大语言模型的应用开发流程。
sglang - 大语言模型和视觉语言模型高效服务框架
GithubSGLang前端语言后端运行时大语言模型开源项目服务框架
SGLang是一款为大语言模型和视觉语言模型设计的服务框架。该框架通过协同优化后端运行时和前端语言,提高了模型交互的速度和可控性。其后端运行时采用前缀缓存、约束解码和连续批处理等技术提升效率。前端语言支持链式生成调用、高级提示、控制流和多模态等功能,增强了灵活性。SGLang适用于各类LLM应用的快速开发和部署。
prompt-api - Web开发者的浏览器内置语言模型API
AIAPIGithubWeb开发开源项目浏览器语言模型
prompt-api是一个实验性项目,为Web开发者提供统一的JavaScript API以访问浏览器内置语言模型。该API抽象了语言模型细节,实现本地数据处理、离线使用和降低开发成本。它支持零样本提示、系统提示和N-shot提示,并提供会话管理和能力检测功能。prompt-api为开发AI驱动的Web应用提供了新的可能性。
LLMBox - 全面的大型语言模型训练与评估框架
GithubLLMBox大语言模型开源项目模型评估训练管道高效推理
LLMBox是一个综合性大型语言模型(LLM)库,集成了统一的训练流程和全面的模型评估功能。该框架旨在提供LLM训练和应用的完整解决方案,其设计注重实用性,在训练和使用过程中体现出高度的灵活性和效率。LLMBox支持多样化的训练策略和数据集,提供丰富的评估方法,并具备高效的推理和量化能力,为LLM的研究和开发提供了强大支持。
Prompt-Engineering-Toolkit - 多模型AI对话提示优化工具
API集成GithubPrompt Engineering Tool大语言模型开源项目提示词优化用户界面
Prompt-Engineering-Toolkit是一个用于优化AI语言模型对话提示的Web应用。支持OpenAI和Anthropic等多个LLM提供商,可同时测试多个模型并比较输出结果。具备变量管理、提示模板保存加载、模型配置管理等功能。适用于开发者、研究人员和内容创作者,有助于提升AI对话效果。界面采用响应式设计,支持调整面板大小和模型温度参数。
languagemodels - 轻松实现低内存大语言模型推理的Python库
GPU加速GithubLanguage ModelsPython大语言模型开源项目语义搜索
该Python库简化了大语言模型的使用,最低内存需求仅为512MB,确保所有推理在本地完成以保障数据隐私。支持GPU加速及多种模型配置,功能涵盖文本翻译、代码补全、语义搜索等,适合教育和商业用途。用户可通过简单的pip命令安装,在REPL、笔记本或脚本中使用。详见官方网站的文档与示例程序。
MobileLLM - 轻量高效的移动设备语言模型
AI模型GithubMobileLLM开源项目深度学习神经网络语言模型
MobileLLM是一个针对移动设备优化的大型语言模型项目。该模型通过SwiGLU激活函数、深窄架构、嵌入共享和分组查询注意力等技术,在亿级参数规模下实现了高性能。MobileLLM在零样本常识推理任务中表现出色,不仅在125M和350M参数规模上超越了现有最先进模型,还成功扩展至600M、1B和1.5B参数规模,展示了其在移动设备应用中的潜力。
llm - 大型语言模型CLI工具,支持本地和远程模型
GithubLLMPython库命令行工具开源项目插件模型
一款CLI工具和Python库,用于与大型语言模型交互,支持远程API和本地安装模型。可从命令行运行提示、将结果存储在SQLite中、生成嵌入等。通过插件目录,可访问更多模型。
promptlib - 调整大型语言模型的指令库
ChatGPTGPT-4GithubGradioPromptLib开源项目自然语言程序
本项目提供一系列经过精炼和优化的高价值提示,专为调整大型语言模型如GPT-4和ChatGPT的指令。项目展示了语言输入质量对模型输出的显著影响,旨在帮助新用户和开发者更有效地利用这些模型。用户可以在项目库中找到多种自然语言程序,并通过提供的工具和实用程序进行扩展,进而提升用户体验并为未来探索提供基础。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号