#模型融合
mergekit
MergeKit是一款合并预训练语言模型的工具,支持Llama、Mistral、GPT-NeoX等多种模型。该工具采用先进的方法,在资源有限的情况下执行复杂的合并操作。MergeKit可以在CPU或最低8GB VRAM环境下运行,支持多种合并算法,如线性插值、任务算术、TIES等。还提供图形用户界面并集成到Hugging Face Spaces,简化了模型合并流程。
mergoo
mergoo是一款工具库,用于高效合并和训练不同领域的LLM专家。支持Mixture-of-Experts、多层合并以及多种训练平台。适配Llama、Mistral、Phi3及BERT模型,兼容CPU、MPS和GPU设备。提供灵活配置及多种训练器支持,包括Hugging Face Trainer和PEFT,以便模型合并与微调。
evolutionary-model-merge
evolutionary-model-merge项目展示SakanaAI开发的进化模型合并技术。该技术通过优化合并多个源模型,创造性能更优的新模型。项目提供改进的日语语言和视觉语言模型,在数学推理、通用任务和视觉问答方面取得显著提升。项目还包含评估代码和实验结果,为AI研究提供重要资源。
BlockMerge_Gradient
BlockMerge_Gradient是一款专为Llama 1/2语言模型设计的融合工具,通过梯度混合两个微调模型的层级来创建模型集成。该工具支持自定义梯度值和最大分片大小,可选择性处理层级或非层级张量。它能处理不同词汇表大小的模型,并自动复制相关分词器文件,提供灵活的模型融合方案。
LLaMA2-13B-Tiefighter-GGUF
LLaMA2-13B-Tiefighter-GGUF是一个整合多个先进模型特点的AI系统,主要用于创意写作和对话生成。该模型支持故事创作、聊天机器人开发、指令处理和冒险游戏设计等应用。其特点是灵活性高,即兴创作能力强,适合各类创意输出任务。模型能够通过简单提示生成丰富内容,无需详细指令即可展现想象力。此外,它还支持多种指令格式,可用于各种交互场景。
Hyperlink
Hyperlink是一个文本到图像生成模型,结合了DreamPhotoGASM、HyperRealismV1.2和LinkedIn Diffusion的特点。该模型擅长生成细节丰富的写实人像,适用于电影、日常和职场等多种场景。Hyperlink生成的图像具有逼真的面部表情和多样化的风格,为视觉创作提供了新的可能性。
RealTime
RealTime是一个结合RealLife v2和Timeless等多个AI模型的图像生成工具。该模型融合了写实和艺术风格,可生成高质量的肖像、风景和抽象图像。RealTime支持多样化的提示词,能创作从写实到超现实的各种风格作品,为创作者提供了丰富的图像生成选择。
CrystalReality
CrystalReality是基于CrystalClearRemix和RealisticVision 1.2合并开发的开源图像生成模型。通过特定的模型权重配比,结合了写实风格和艺术效果。该模型在人物肖像生成方面表现突出,能够输出细节丰富的面部特征,并支持多种场景创作,包括时尚人像和自然风光等。
najal-v1-sdxl
najal-v1-sdxl是一个基于Stable Diffusion XL的动漫角色生成模型,专注于二次元人物和艺术风格创作。该模型基于qelt/merges架构,生成具有美感的动漫角色图像。可用于角色设计和插画制作,支持自定义艺术风格。