Project Icon

Zephyr-CAT

使用Continuous Adversarial Training优化语言模型的对抗训练

该项目通过Continuous Adversarial Training (CAT) 算法,微调了zephyr-7b-beta模型的LoRa权重,旨在提升语言模型的鲁棒性。更多技术细节可参阅论文 "Efficient Adversarial Training in LLMs with Continuous Attacks",该论文深入介绍了CAT算法在对抗训练中的应用与效率提升。

Phi-CAT - 在连续对抗训练中优化Phi-3-mini-4k模型
Continuous Adversarial TrainingGithubHuggingfacePhi-3-mini-4k-instruct大语言模型对抗性训练开源项目机器学习模型
该项目通过Continuous Adversarial Training(CAT)算法,对Phi-3-mini-4k-instruct模型进行优化,增强其对抗性攻击的抵御能力,提升鲁棒性。项目详细信息可在Github查阅,有关研究发表在arXiv。
llm-attacks - 研究大语言模型的对抗性攻击与安全防御
GCG算法GithubLLM攻击实验复现对抗性攻击开源项目语言模型
LLM-attacks项目致力于研究对齐语言模型的通用和可迁移对抗性攻击。项目实现了GCG算法,可对LLaMA-2等模型进行安全测试。研究者能够复现论文中的单一行为、多行为和迁移实验。项目提供完整的安装指南、模型使用说明和实验脚本,并包含交互式演示notebook。该研究有助于深入理解和提升大语言模型的安全性,对相关领域的发展具有重要价值。
zephyr-7b-beta - 7B参数开源对话模型在多项基准测试中表现卓越
GithubHuggingfaceZephyr-7B-β人工智能开源项目机器学习模型模型性能语言模型
Zephyr-7B-β是基于Mistral-7B-v0.1微调的开源对话模型。在MT-Bench和AlpacaEval等基准测试中,其性能超越多个参数量更大的模型。采用DPO技术训练,能生成有帮助的回复,但缺乏安全性对齐。适用于多种对话任务,在编码和数学等复杂任务上仍需改进。该模型表现出色,但使用时需注意其局限性。
Lion - 对抗蒸馏框架提升大型语言模型能力
GithubLion大型语言模型对抗蒸馏开源项目指令微调自然语言处理
Lion项目开发了一种对抗蒸馏框架,通过模仿、辨别和生成三个阶段从专有大型语言模型中提取知识。该框架不断挑战学生模型,提升其能力。使用70k指令数据训练后,Lion (7B)模型性能接近ChatGPT。项目公开了模型权重、训练和推理代码,在开放式生成和推理任务中表现出色。Lion致力于推进语言模型研究,仅限研究用途。
zephyr-7b-alpha - 基于Mistral-7B微调的对话型语言模型
GithubHuggingfaceZephyr人工智能开源项目微调模型深度学习语言模型
zephyr-7b-alpha是基于Mistral-7B-v0.1微调的语言模型,通过直接偏好优化(DPO)在合成数据集上训练。主要用于英语对话,能生成友好的回复,但可能产生有争议的内容。模型可通过Hugging Face的pipeline轻松使用,适合各种文本生成任务。
TextAttack - 为NLP模型生成对抗样本和进行数据增强的专业工具
GithubNLPTextAttack对抗样本开源项目数据增强模型训练
TextAttack是一个专为自然语言处理(NLP)提供对抗攻击、数据增强和模型训练的Python框架。通过多种预定义攻击策略,用户可以更好地理解和研究NLP模型。TextAttack支持简便的命令行操作和广泛的模型与数据集,提供详细的文档和示例代码,帮助提高模型的泛化能力和鲁棒性。
Zephyr 7B - 大型多语言自然语言处理模型
AI工具Zephyr 7B人工智能机器学习自然语言处理语言模型
Zephyr 7B是一款拥有70亿参数的大型语言模型,具备出色的自然语言理解和生成能力。该模型支持多语言翻译、文本摘要、情感分析和问答等功能,可应用于内容创作、客户服务和研究等领域。Zephyr 7B通过多样化的文本语料训练,能够处理复杂的语言任务,如智能对话系统、自动文章生成和跨语言信息检索等。这一技术进步为各行业带来新的可能性,助力企业提高效率和创新能力。
LoRA - 大型语言模型的低秩适配方法与参数节省
DeBERTaGLUEGPT-2GithubLoRARoBERTa开源项目
LoRA通过低秩分解矩阵实现大型语言模型的低秩适配,减少了训练参数数量,实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好,同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型,并已集成到Hugging Face的PEFT库中,提供了便捷的适配解决方案。
Configurable-Yi-1.5-9B-Chat - 提升语言模型安全性和灵活性的方法
Configurable-Yi-1.5-9BGithubHuggingface准确率安全调优开源项目数据集文本生成模型
该项目应用Configurable Safety Tuning (CST)技术对语言模型进行微调,以提升其在各种任务场景中的表现与安全性。项目支持多种系统提示,能够适应不同需求,比如无偏见助手或完全开放的助手。在AI2 Reasoning Challenge、HellaSwag、MMLU等多项任务中,该模型展示了卓越的准确性。针对需要调整AI助手安全性和行为的应用场景,该项目提供了一种理想的框架,使模型既能保持有用性又能避免生成非法内容。
v3_1_pt_ep1_sft_5_based_on_llama3_1_8b_final_data_20241019 - 探索先进的自然语言处理开源模型及其实际应用
GithubHuggingfacetransformers开源项目模型模型卡环境影响训练细节语言模型
了解先进自然语言处理开源模型的信息,包括用途、评估方法及风险提示。虽然详细信息未完全披露,但以上内容可为开发和应用提供重要参考。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号