Project Icon

LongQLoRA

大语言模型上下文长度高效扩展的创新方法

LongQLoRA是一种扩展大语言模型上下文长度的方法,可在单个32GB V100 GPU上将LLaMA2模型的上下文长度从4096扩展到8192。该方法在PG19和Proof-pile数据集上表现优异,仅需1000步微调即可达到接近MPT-7B-8K的性能。项目还提供了预训练数据集、指令微调数据集以及扩展上下文长度的模型。

LongLoRA - 探索大规模长上下文语言模型的高效训练与实用应用
GithubLLaMA2LoRALongAlpaca开源项目深度学习长上下文语言模型
LongLoRA项目开发了一种高效微调方法,处理大型长上下文语言模型,涵盖了从7B至70B的各种模型规模和LongAlpaca-12k实验性数据集。项目支持多种微调方式,在基凊测试中验证了模型性能,技术可应用于多种NLP任务,助力复杂语言处理。实现显著性能优势,为企业和研究人员在从机器翻译到自动摘要等NLP任务中提供了有效的解决方案。
fsdp_qlora - 量化技术实现大型语言模型的高效训练
FSDPGithubLLMQLoRA开源项目微调量化
fsdp_qlora项目结合FSDP与量化LoRA,实现了在有限显存GPU上高效训练大型语言模型。支持HQQ和bitsandbytes的4位量化、LoRA、DoRA等多种策略,大幅降低内存占用。项目提供详细文档,便于快速上手使用。该方法使在消费级GPU上训练70B参数模型成为可能,为大模型研究提供了实用工具。
LoRA - 大型语言模型的低秩适配方法与参数节省
DeBERTaGLUEGPT-2GithubLoRARoBERTa开源项目
LoRA通过低秩分解矩阵实现大型语言模型的低秩适配,减少了训练参数数量,实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好,同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型,并已集成到Hugging Face的PEFT库中,提供了便捷的适配解决方案。
BLoRA - 批量处理多个LoRA模型以提升GPU利用率
GPU优化GithubLoRA开源项目批处理推理语言模型
BLoRA项目开发了一种新技术,通过在同一批次中处理多个LoRA模型的推理来提高GPU利用率。该技术支持同时加载多个LoRA适配器,并在单一基础模型上进行并行推理。BLoRA不仅优化了计算效率,还为开发者提供了在不同任务间灵活切换模型行为的工具。这一简单而直观的实现为大规模语言模型的应用创造了新机会。
mLoRA - 为大型语言模型提供高效多LoRA适配器构建
GithubLoRA适配器mLoRA大语言模型开源框架开源项目高效微调
mLoRA 是一个开源框架,旨在高效地对多个大型语言模型 (LLMs) 进行 LoRA 和其变体的微调。其主要功能包括同时微调多个 LoRA 适配器、共享基础模型、优化的流水线并行算法,并支持多种 LoRA 变体和偏好对齐算法。mLoRA 可在普通硬件上高效运行,支持多种模型和算法,有助于节省计算和内存资源。通过参考文档可了解如何快速部署和使用 mLoRA。
loraplus - 提升大型模型微调效率的创新技术
GithubICML 2024LoRA+低秩适应开源项目模型微调超参数优化
LoRA+是一种创新的低秩适应技术,专注于提高大型模型的微调效率。该技术引入新的超参数优化训练过程,尤其适合处理复杂的下游任务。项目提供完整代码实现,兼容Hugging Face Trainer和自定义训练流程,并附带GLUE基准测试和图像分类示例。LoRA+在多种任务中表现出色,为研究人员和开发者提供了改进大型模型微调效果的有力工具。
LongLM - 通过Self-Extend方法扩展大语言模型的上下文窗口
FlashAttentionGithubLLMLlama-3SelfExtendtransformers开源项目
LongLM项目介绍了Self-Extend方法,通过不需要调优的方式扩展大语言模型(LLM)的上下文窗口,利用其内在能力处理长上下文。此方法获得了Google I/O和ICML 2024的关注,并支持多种模型如Llama-3、Gemma和Qwen1.5。项目说明了如何安装和运行Self-Extend,并提供组选参数的指导原则及实验结果,以帮助用户应用这一技术。
S-LoRA - 大规模并发LoRA适配器高效服务系统
GPU内存优化GithubLoRA适配器S-LoRA大语言模型开源项目批处理推理
S-LoRA系统针对大规模LoRA适配器服务进行优化。采用统一分页、异构批处理和新型张量并行策略,提高内存管理效率和GPU利用率。相较现有技术,S-LoRA提升吞吐量4倍,显著增加可服务适配器数量。这一突破为大规模定制语言模型部署开辟新途径。
llama-lora-fine-tuning - 单GPU微调LLaMA模型的高效方法
GPUGithubLLaMAVicuna开源项目微调语料库
本项目展示了在单个16G GPU上微调vicuna-7b模型的方法。通过采用LoRA、半精度模型和8位加载等技术,有效降低了内存需求。项目详细说明了环境配置、模型准备、语料处理和微调过程,并提供P100和A100的性能数据。这种方法使研究者和开发者能在有限硬件资源下进行大型语言模型的定制化训练。
LoftQ - 大型语言模型低资源量化微调新方法
GithubLoRALoftQ大语言模型开源项目微调量化
LoftQ是一种为大型语言模型设计的量化微调方法。它通过寻找最佳的量化LoRA初始化,实现有限GPU资源下的高效模型微调。LoftQ支持LLAMA、Falcon、Mistral等主流模型,提供相关工具和示例代码。在WikiText-2和GSM8K等任务上,LoftQ展现出优秀性能,为低资源环境中的LLM应用开发创造了新可能。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号