#训练过程
VisualDL
VisualDL,一款集成于PaddlePaddle的高效可视化分析工具,能够展现训练参数、模型结构与数据样本的动态图表。完美支持Python,通过实时数据追踪、多实验视图对比等功能,助力开发者清晰直观地优化和提升模型表现。
t5-base-finetuned-sst2
T5-base-finetuned-sst2是一个在GLUE SST-2数据集上微调的文本分类模型,准确率达到93.23%。该模型基于编码-解码结构,通过多任务的无监督和有监督学习预训练,将任务转化为文本到文本的格式。在训练中,使用了特定的标记化策略和超参数设置,促进模型快速收敛。适合高效处理文本分类任务的应用场景,提供了对现有分类工具的优化方案。
opt-125m-dummy-lora
opt-125m-dummy-lora项目借助PEFT库优化大型语言模型,提供基本使用指导,并探讨模型在训练及评估中的偏见、风险、限制。低碳排放对环保友好,适用于关注高效环保的AI开发者。
wav2vec2-xls-r-1b-ca-lm
此模型是在facebook/wav2vec2-xls-r-300m的基础上微调的,专注于加泰罗尼亚语自动语音识别。通过使用Mozilla Common Voice 8.0及其他数据集进行优化训练,该模型在加泰罗尼亚口音识别上展现出高效性能。适用于需要精准语音识别的场景,尽管资源稀缺的方言可能效果较差。模型精度得益于优化后的学习率和批量大小,是语音识别技术发展的重要里程碑。
tiny_OPTForSequenceClassification-lora
该项目是一个构建在PEFT 0.4.0框架上的序列分类微调工具。项目专注于模型微调和序列分类任务,通过轻量级参数调整方法优化训练过程,在保持模型性能的同时有效降低计算开销。
dolphin-2.9.1-mixtral-1x22b
Dolphin-2.9.1 Mixtral 1x22b通过细致的微调优化了多位来自Mixtral架构的专家,保留了指令、对话及编程的多样化技能,并提供函数调用支持。模型不受审查限制,能够处理各种请求,建议在使用前自行加入合规性层,尤其适合需要高度灵活性和效率的自然语言处理应用。
tiny-OPTForCausalLM-lora
基于PEFT 0.4.0.dev0版本开发的深度学习模型微调项目,通过参数高效微调方法,在有限计算资源条件下完成模型训练。主要应用于大型预训练模型的轻量级适配和迁移学习场景。
scenario-teacher-data-hate_speech_filipino-model-xlm-roberta-base
该项目利用xlm-roberta-base模型微调适用于菲律宾语的仇恨言论检测,已达到78.17%的准确率和76.87%的F1得分。模型特别适应于处理此类任务,通过调整学习率和其他超参数优化性能。训练使用了Adam优化和线性学习率调度策略,总计训练了6969个epoch。