Project Icon

Zephyr-CAT

使用Continuous Adversarial Training优化语言模型的对抗训练

该项目通过Continuous Adversarial Training (CAT) 算法,微调了zephyr-7b-beta模型的LoRa权重,旨在提升语言模型的鲁棒性。更多技术细节可参阅论文 "Efficient Adversarial Training in LLMs with Continuous Attacks",该论文深入介绍了CAT算法在对抗训练中的应用与效率提升。

LLaMA-Factory - 提升语言模型微调效率的统一平台
GithubLLaMA Factory大语言模型开源项目快速微调性能优化模型量化热门
LLaMA-Factory是一个高效的语言模型微调工具,支持多种模型和算法。该平台专注于提高微调速度,支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练,并提供详尽的数据监控和快速推理能力。此外,新版本还增加了PiSSA算法,且支持多种开发平台如Colab和DSW,适合高质量文本生成和智能应用开发。
ContinualLM - 语言模型持续学习的开源框架
ContinualLMGithub开源项目语言模型迁移学习连续学习领域适应
ContinualLM是专注于语言模型持续学习的开源框架。它集成多种先进方法,采用统一的训练评估流程。支持领域自适应预训练和端任务微调,包含6个领域数据集。该框架致力于推动语言模型持续学习研究,为研究人员提供灵活有力的工具。
offsite-tuning - 隐私保护的高效模型微调框架
GithubOffsite-Tuning基础模型开源项目效率提升迁移学习隐私保护
Offsite-Tuning是一种迁移学习框架,允许在不完全访问原始模型的情况下对大型基础模型进行微调。该方法使用轻量级适配器和压缩仿真器,保护模型所有者和数据所有者的隐私,同时提高计算效率。与传统全模型微调相比,Offsite-Tuning保持相当准确性,同时实现6.5倍速度提升和5.6倍内存减少,适用于大规模语言和视觉模型。
DoRA - 大型语言模型微调的权重分解低秩适应方法
DoRAGithub低秩适应大语言模型开源项目微调权重分解
DoRA是一种新型大型语言模型微调方法,通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比,DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明,DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中,可用于多种模型的微调。
DeepRobust - PyTorch图像和图神经网络对抗性攻防开源库
DeepRobustGithubPyTorch图神经网络对抗攻击开源项目机器学习
DeepRobust是一个基于PyTorch的开源库,专注于图像和图神经网络的对抗性攻击与防御。它提供多种攻防算法,支持MNIST、CIFAR10等数据集,可与PyTorch Geometric集成。该库适用于对抗性机器学习研究,也为构建鲁棒深度学习模型提供工具。DeepRobust支持大规模图如OGB-ArXiv的攻击,并包含节点嵌入攻击和受害模型。它还提供图像预处理方法APE-GAN,支持ImageNet数据集,新增UGBA后门攻击和PRBCD可扩展攻击算法。库中包含MedianGCN、AirGNN等鲁棒模型,以及用于转换PyTorch Geometric和DeepRobust数据集的工具,成为全面的对抗性机器学习研究平台。
Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
cramming - 探索单GPU一天内训练BERT语言模型的极限
BERTCramming Language ModelGLUEGithubPyTorchTransformer-based language model开源项目
本项目探索在单GPU上用一天时间预训练BERT语言模型的性能表现,旨在挑战当前以高算力为核心的趋势。通过调整预训练流程,展示了在严格计算限制下依然接近BERT性能,并分析不同改进对性能的影响。最新版本框架需要PyTorch 2.0,改善了数据预处理并提升了1-2% GLUE性能,提供了详细的代码运行和数据处理指南供研究和应用参考。
optimized-gpt2-1b - GPT-2架构优化模型 提供高效可扩展的自然语言处理功能
GithubHuggingfacetransformers人工智能开源项目机器学习模型模型卡自然语言处理
optimized-gpt2-1b是一个基于GPT-2架构优化的大规模语言模型。该模型在保持GPT-2性能的基础上,通过架构和训练方法的优化提高了效率和可扩展性。它可应用于文本生成、摘要和问答等多种自然语言处理任务。模型支持直接使用或针对特定需求进行微调。项目提供了使用说明和评估结果,有助于研究人员和开发者更好地理解和应用这一语言模型。
beto - 西班牙语BERT模型:BETO
BERTBETOGithub开源项目模型西班牙语语料库
此页面介绍了一个基于大型西班牙语语料库训练的BERT模型BETO,提供无区分大小写和区分大小写的Tensorflow和Pytorch版本。BETO应用全词掩蔽技术,在多项西班牙语基准测试中表现优异,并与多语言BERT及其他模型进行了对比。用户可以在HuggingFace Model Repository下载BETO模型,并通过HuggingFace Transformers库轻松使用。此外,页面还包含示例代码和引用信息。
SecRoBERTa - 改善网络安全任务的预训练语言模型
GithubHuggingfaceSecRoBERTa事件信息提取威胁情报开源项目模型网络安全预训练模型
SecRoBERTa是一款专为网络安全文本设计的预训练语言模型,提升了命名实体识别和文本分类等任务的性能。该模型通过APTnotes、Stucco-Data和CASIE等数据集进行训练,优化了词汇处理能力,从而更有效地应用于网络安全领域。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号