FindTheChatGPTer 项目介绍
项目背景
FindTheChatGPTer 项目致力于汇总和更新与 ChatGPT 及 GPT-4 类似的全球开源项目。当 ChatGPT 和 GPT-4 在全球范围引发关注后,许多国内外企业、高校和研究机构纷纷计划开发类似的对话人工智能模型。由于 ChatGPT 并未开源,其技术复现难度极大,而 GPT-4 更是引入多模态技术,实力进一步增强,使得各界感受到通用人工智能潜在的革命力量。在此背景下,寻找和分享开源 ChatGPT 平替模型变得尤为重要。
项目目标
FindTheChatGPTer 的主要目标是创建一个全面的清单,汇总各类类似 ChatGPT 的开源项目,并及时更新这些项目的最新进展。通过此项目,用户可以更方便地找到开源替代品,并了解各种新兴技术和项目的实现方法。
自主模型篇
ChatYuan
ChatYuan 由元语智能团队开发,是一款支持中文的功能型对话大模型,基于 7 亿参数的 T5 模型开发而成,它可以处理文章撰写、作业、诗歌等多种任务,适用于中英文翻译和法律领域等,虽然只是实现了类似 ChatGPT 的部分功能,但在中文领域表现优异。
Colossal AI
Colossal AI 项目完整实现了 ChatGPT 核心技术路线,经过监督微调、奖励模型训练和强化学习三个阶段。该项目以支持 Huggingface 的功能为基础,灵活运用 GPT2、OPT 和 BLOOM 等模型,进一步优化和改进了 ChatGPT 的技术路线。
ChatGLM
清华大学联合智谱 AI 推出了 ChatGLM,这是一款支持中英双语的模型,是 GLM 系列的对话模型。ChatGLM 采用了一些先进的技术来优化模型架构,还开源了一款多模态版本 VisualGLM-6B,使得在消费级显卡上的应用和部署更为简便。
其他自主模型
项目还介绍了 PaLM-rlhf-pytorch、GPTrillion、OpenFlamingo、MOSS、mPLUG-Owl 以及 PandaLM 等多个开源模型,其中一些模型着重于多模态支持和人类偏好训练。
阿尔帕卡(Alpaca)模式篇
Alpaca 模型基于 LLaMA 并实现了 ChatGPT 90%的性能,斯坦福的此项目利用 OpenAI 的 text-davinci-003 生成指令样本并进行模型微调以实现对话能力。
OpenChatKit
OpenChatKit 使用 GPT-NoX-20B 进行微调,并引入了一个 60 亿参数的审核模型以过滤不当内容。此外,项目还有 BELLE、alpaca-lora、Dolly 和 Vicuna 等多种变种,通过低成本和高效的方法发展出迎合中文市场的模型。
项目意义
FindTheChatGPTer 项目通过搜集与汇总各类开源平替,有助于学术研究、企业开发和个人探索,推动全球人工智能技术的发展和实践。项目全方位展示了当前开源趋势下的多样化探索,为推动技术共享和资源透明提供了有力支持。