Project Icon

self-speculative-decoding

无损加速大型语言模型的创新推理方案

Self-Speculative Decoding是ACL 2024的一个开源项目,提出了一种无损加速大型语言模型(LLMs)的新方法。该技术通过草稿生成和验证两个阶段,在不增加额外训练和内存的情况下提高LLM推理速度。这一创新方案保证了输出质量和模型兼容性,为LLM加速提供了高效且易于实施的解决方案。

speculative-decoding - 推测解码技术,优化大型语言模型推理速度
GithubSpeculative Decoding大语言模型开源项目性能优化推理加速自然语言处理
该开源项目聚焦于推测解码技术的研究与实现,旨在提升大型语言模型的文本生成效率。项目涵盖了多种推测解码策略,包括提前退出、推测采样和先知变压器。同时,项目致力于优化批处理推测解码,以增强整体性能。研究计划还包括对比不同策略的效果,并探索微观优化方法。这些工作为加快AI模型推理速度提供了新的技术思路。
LookaheadDecoding - 创新并行算法加速大型语言模型推理
GithubJacobi迭代LLMLookahead Decoding并行解码开源项目推理加速
LookaheadDecoding项目开发了一种创新的并行解码算法,旨在加速大型语言模型(LLM)的推理过程。该方法不依赖草稿模型或数据存储,而是结合Jacobi迭代和n-gram缓存技术,有效减少解码步骤。实验结果显示,在多个数据集上可将延迟降低1.5到2.3倍。项目提供便捷的安装和使用方式,并支持FlashAttention技术,可广泛应用于各类LLM场景。
Consistency_LLM - 并行解码技术突破,大语言模型推理速度提升3倍
CLLMGithubJacobi解码大语言模型并行解码开源项目生成速度
Consistency Large Language Models (CLLMs) 是一种创新的大语言模型技术,通过Jacobi并行解码方法显著提升推理速度。实验表明,CLLMs在多种任务中可实现2.4到3.4倍的性能提升。该技术无需额外模型或架构改动,易于集成,为大语言模型应用带来更高效、灵活的解决方案。
EAGLE - 大型语言模型快速解码的新突破
EAGLEGithub大语言模型开源项目快速解码性能维持推理速度
EAGLE项目为大型语言模型提供了一种高效的快速解码方法。通过创新的特征外推技术,EAGLE显著提升了生成效率。其改进版EAGLE-2引入了动态草稿树结构,进一步优化了性能。与传统解码方法相比,EAGLE和EAGLE-2在13B模型上分别实现了3倍和4倍的速度提升。该开源项目不仅提供了多种预训练模型权重,还支持各类LLM架构,并配备了详尽的使用文档和评估工具。
prompt-lookup-decoding - 提升输入相关任务解码效率的创新技术
GithubLLMPrompt Lookup Decoding开源项目性能优化推测解码自回归解码
Prompt-lookup-decoding是一种创新解码技术,利用输入提示中的字符串匹配生成候选令牌序列,替代了传统投机解码中的草稿模型。该方法在输入相关任务中显著提升处理速度,同时保持输出质量。无需模型修改或额外数据存储,适用于各类解码器模型及解码策略。特别适合摘要、文档问答和多轮对话等存在高度n-gram重叠的任务,能有效提高处理效率。
LLM4Decompile - 大型语言模型驱动的二进制代码反编译技术
GithubLLM4Decompile二进制代码反编译大语言模型开源项目源代码
LLM4Decompile是一款创新的开源大型语言模型,专注于二进制代码反编译。该模型能将Linux x86_64二进制文件转换为可读的C源代码,覆盖GCC的O0至O3优化级别。项目提供多个参数规模的模型版本,从1.3B到33B不等。其中,最新的22B-V2版本在HumanEval-Decompile基准测试中实现了63.6%的重新执行率。LLM4Decompile不仅可直接反编译二进制文件,还能优化Ghidra等工具生成的伪代码,为二进制分析和逆向工程领域提供了新的可能性。
REST - 创新检索式推测解码加速大语言模型生成
GithubREST开源项目推测解码推理加速检索式生成语言模型
REST是一种创新检索式推测解码方法,利用数据存储检索草稿令牌以加速大语言模型生成。无需额外训练,可即插即用于现有语言模型。在HumanEval和MT-Bench测试中,REST展现显著速度提升,为提高大语言模型效率开辟新途径。
llama-160m-accelerator - 基于多阶段MLP的LLaMA-160M模型推理加速器
DockerGithubHuggingfacevLLM开源项目文本生成模型模型加速深度学习
这是一个为JackFram/llama-160m模型设计的加速器项目,借鉴了Medusa推测解码架构的思想。该加速器通过改造MLP为多阶段结构,实现了基于状态向量和先前采样令牌的单token预测,有效提升了模型推理速度。项目支持与vLLM和Hugging Face TGI等工具集成,为大型语言模型的高效部署提供了实用解决方案。加速器的训练过程轻量化,能够在短时间内完成,适用于各种规模的生成式模型。
ScaleLLM - 优化大语言模型推理,兼容多种开源模型
GithubScaleLLM大模型推理开源项目生产环境集成开发高效性能
ScaleLLM是一个为大语言模型(LLMs)设计的高效推理系统,适用于生产环境。支持Llama3.1、Gemma2、Bloom、GPT-NeoX等多种开源模型,集成了CUDA图、前缀缓存、分块填充和推测解码等高级功能。项目正在积极开发,目标是提高效率并加入更多特性。现已上架PyPI,可通过pip安装。ScaleLLM还提供兼容OpenAI的REST API和本地聊天机器人UI,支持离线批量推理和在线分布式推理。
TriForce - 层级推测解码实现长序列生成的高效无损加速
GithubTriForce开源项目推理加速无损加速深度学习长序列生成
TriForce是一种新型长序列生成加速技术,无需额外训练即可使用。通过层级推测解码方法,该技术在保持生成质量的同时大幅提高速度。TriForce支持多种长上下文Llama模型,提供片上和卸载运行模式以适应不同硬件。在A100和RTX 4090等GPU上,TriForce展现出优异性能,为大型语言模型的高效部署开辟新途径。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号