Project Icon

DARE_TIES_13B

通过合并多种预训练语言模型提升AI性能

项目通过DARE TIES方法合并预训练语言模型,使用yunconglong的Truthful DPO TomGrc FusionNet 7Bx2 MoE 13B作为基础,结合了13B DPO及13B MATH DPO模型。通过密度和权重配置,采用bfloat16和int8掩码,在计算效率和文本覆盖上均有显著提升。

Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B - 利用DPO优化方法提升语言模型的性能
DPO TrainerGithubHuggingfaceTomGrc/FusionNet_7Bx2_MoE_14B偏好数据开源项目数据集模型语言模型
使用DPO Trainer在TomGrc/FusionNet_7Bx2_MoE_13B上优化语言模型,通过TRL实现偏好数据训练,提升模型效果。了解Rafailov等人的直接偏好优化方法,以提升模型性能,提供更精准的结果。
Llama-3-8B-Ultra-Instruct-SaltSprinkle - 文本生成与多任务性能提升的融合模型
AI推理挑战DAREGithubHellaSwagHuggingfacemergekittext-generation开源项目模型
项目利用DARE TIES方法融合NousResearch与Dampfinchen模型,提升文本生成和推理性能。在AI2推理和HellaSwag测试中表现突出,准确率分别为61.35%和77.76%。项目增强了模型的推理能力及德语和故事生成的效果。需注意,该模型可能生成有害内容,用户使用时自行承担责任。详细结果可在Open LLM Leaderboard查看。
Daredevil-8B - 高性能文本生成模型
Daredevil-8BGithubHuggingfaceMMLU人工智能开源项目文本生成模型模型合并
Daredevil-8B通过合并多个Llama 3 8B模型,优化了MMLU性能,以卓越的表现位居Open LLM排行榜之首。该模型运用LazyMergekit合并工具,在AI2 Reasoning Challenge、HellaSwag等任务中展现了出色的文本生成能力,并量化为GGUF模型版本,以便于广泛应用于文本生成任务。
bigyi-15b - 合并模型技术的进步:探索创新设计
GithubHuggingfacebigyi-15bmergekit上下文合并方法开源项目模型语言模型
Bigyi-15b融合了若干预训练语言模型,利用mergekit工具及passthrough合并方法,以01-ai/Yi-9B为核心,具备4k上下文处理能力。此模型增强了在多应用场景中的表现,比如复杂数值计算与自然语言生成,同时优化了信息匹配准确性。
NeuralDaredevil-8B-abliterated-GGUF - 在开放LLM排行榜中表现强劲的高性能8B未删节模型
AI2推理挑战GithubHuggingfaceNeuralDaredevil-8B-abliterated开放LLM排行榜开源项目文本生成模型模型评估
NeuralDaredevil-8B通过DPO微调技术恢复性能损失,在各项基准测试中表现出色,尤其是在Open LLM排行榜中凭借其高MMLU得分排名靠前。适用于无需对齐且需要高准确度的应用场景,如角色扮演。
NeuralDaredevil-8B-abliterated - 优秀的开源8B参数量大语言模型,在Open LLM排行榜中领先
GithubHuggingfaceNeuralDaredevil-8B人工智能开源项目模型模型评估深度学习语言模型
NeuralDaredevil-8B-abliterated是一个经过DPO微调的8B参数量大语言模型。该模型通过abliteration过程和orpo-dpo-mix-40k数据集训练,成功恢复并提升了性能。在Open LLM Leaderboard上,其MMLU得分领先同级别模型。模型支持GGUF、EXL2、AWQ等多种量化版本,适用于角色扮演等无需对齐的应用场景。在AGIEval、GPT4All等多项评测中,NeuralDaredevil-8B-abliterated均展现出优异表现,是目前表现最佳的开源8B参数量语言模型之一。
DeepSeek-MoE - 创新MoE架构打造高效大规模语言模型
DeepSeekMoEGithubMoE架构大语言模型开源模型开源项目模型评估
DeepSeek-MoE项目开发了创新的混合专家架构语言模型,采用细粒度专家分割和共享专家隔离策略。该16.4B参数模型仅使用40%计算量就达到DeepSeek 7B和LLaMA2 7B的性能水平。模型可在单个40GB内存GPU上直接部署运行,无需量化,为学术和商业研究提供了高效便捷的工具。
MythoMax-L2-13b - 创新张量合并技术打造的AI语言模型
GithubHuggingfaceMythoMax人工智能开源项目模型模型合并角色扮演语言模型
MythoMax-L2-13b通过张量类型合并技术,将MythoLogic-L2模型与Huginn模型进行融合。该模型采用Alpaca格式构建,每层应用独特比例实现结构一致性,支持角色扮演与故事创作等任务。目前已发布GGUF、GPTQ、AWQ等多种量化版本。
FuseAI - 多模型知识融合提升大语言模型性能
FuseChatFuseLLMGithub大语言模型开源模型开源项目知识融合
FuseAI项目通过知识融合技术整合多个开源大语言模型的优势,开发出高性能新模型。FuseChat-7B-VaRM在MT-Bench评测中得分8.22,超过多个知名对话模型;FuseLLM-7B在多项任务中表现优于Llama-2-7B。该项目为大语言模型研究提供了新的发展方向。
L-MChat-7b - 合并技术提升文本生成能力
GithubHugging FaceHuggingfaceL-MChat-7b人工智能开源项目文本生成模型模型合并
该项目通过结合Nexusflow/Starling-LM-7B-beta和FuseAI/FuseChat-7B-VaRM模型,并采用SLERP方法提升了文本生成性能。在AI2 Reasoning Challenge、HellaSwag等数据集上表现突出,最高达到84.59%的归一化准确率,适用于多种智能文本生成任务。项目配置灵活、易于集成,是用户寻找高性能生成模型的理想选择。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号