#模型微调

Punica: 高效服务多个LoRA微调大语言模型

3 个月前
Cover of Punica: 高效服务多个LoRA微调大语言模型

OpenPipe:将昂贵的提示转化为经济实惠的微调模型

3 个月前
Cover of OpenPipe:将昂贵的提示转化为经济实惠的微调模型
相关项目
Project Cover

eva02_base_patch14_448.mim_in22k_ft_in22k_in1k

EVA02是一款基于视觉Transformer架构的图像分类和特征提取模型。它结合了平均池化、SwiGLU和旋转位置嵌入技术,在ImageNet-22k数据集上进行预训练并在ImageNet-1k上微调。兼容timm库,以确保在不同设备上的一致性和高效性,广泛适用于多种图像分类和特征提取任务。

Project Cover

gpt2-alpaca

gpt2-alpaca 是在 Alpaca 数据集上进行指令微调的 GPT2 模型,展示了如健康饮食建议、诗歌创作及外星人视角评论等不同生成示例。在 TruthfulQA 和 Winogrande 等多项评测中取得优异成绩,并提供在 Hugging Face 开放 LLM 排行榜上的详细分析,适合研究生成模型表现的人员参考。

Project Cover

roberta-base-finetuned-dianping-chinese

该项目包含利用UER-py和TencentPretrain微调的中文RoBERTa-Base模型,用于用户评论和新闻数据的情感及主题分类。模型可通过HuggingFace获取,适用于多种文本分类任务,具备高度的分类精准度。

Project Cover

calme-2.2-llama3-70b

模型通过DPO精调优化文本生成,基于Meta-Llama-3-70B-Instruct开发,性能在多个基准测试中表现杰出,如IFEval 82.08、HellaSwag 86.22及GSM8k 88.25分。其量化特性提升效能,适宜多种应用场景。

Project Cover

gemma-2-9b-it-function-calling-GGUF

该项目对google/gemma-2-9b-it模型进行细致调优以处理函数调用任务,专注于提高对话生成的灵活性和功能集成。数据集采用DiTy/function-calling且为人类注释,为确保高质量结果输出,支持safetensors和GGUF格式,适用于各种应用场景。模型版本提供多种量化类型,从F16基础格式到Q6_K,适合高效精确实现函数调用的需求。

Project Cover

Meta-Llama-3.1-70B-Instruct-bnb-4bit

Unsloth工具实现对Llama 3.1等模型的量化,显著减少内存使用,提升运行速度至原来的2-5倍。提供适合初学者的Google Colab免费笔记本,简单加载数据集即可运行得到优化模型,可导出为GGUF、vLLM等格式或上传至Hugging Face。支持多种模型,如Llama-2、Gemma、Mistral,满足高效调优需求。

Project Cover

t5-base-finetuned-common_gen

T5模型在CommonGen数据集上的微调提升了生成性常识推理,通过整合常识知识生成描述日常场景的连贯句子。CommonGen数据集包含30k概念集和50k句子,来自AMT众包和字幕语料。模型在基准测试中表现优异,ROUGE-2为17.10,ROUGE-L为39.47,展示出T5在概述、问答、文本分类等NLP任务中的有效性。

Project Cover

distilbart-mnli-12-3

distilbart-mnli项目是利用No Teacher Distillation技术实现的bart-large-mnli的精简版,着重于零样本分类应用。该模型在保留主要性能的基础上,匹配准确度接近90%。通过复制bart-large-mnli的交替层并在同一数据集上进行微调,模型不断优化提升。用户可按照简单步骤进行微调,实现卓越的分类效果。

Project Cover

bart-large-xsum

本文介绍了facebook/bart-large-xsum模型在文本总结任务中的应用,评估了其在cnn_dailymail、xsum和samsum数据集上的性能。其中,在xsum数据集上表现尤为突出,ROUGE-1评分达到45.4525。此外,还介绍了模型的损失函数优化、生成文本长度及准确性的提升。更多信息及模型变体请参考相关文档。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号