rho

选择性语言建模优化数学推理能力的语言模型

Rho-1项目采用选择性语言建模(SLM)技术,通过聚焦有价值token进行预训练。该模型在GSM8k和MATH等数学推理任务上表现突出,以较少训练量达到基线水平。项目发布了base和code interpreter等多个版本,展现了优秀的数学推理能力。

访问官网

DALM - 优化AI语言模型的开源自适应工具包

ArceeDALMGithubLlama-2-7b-hfRAG-end2endcontrastive learning开源项目

Arcee开源的领域自适应语言模型工具包（DALM）结合了RAG-e2e架构，实现LLM与向量存储的高效整合。该工具包支持Llama、Falcon和GPT等解码器，适用于特定领域的高级定制。工具包包括数据处理、训练和评估的完整代码库，支持对比学习和高效的检索生成联合训练。

LLaMA-Pro - 具有块扩展的渐进式 LLaMA

GPT模型GithubLLaMA ProMetaMath开源项目深度学习自然语言处理

LLaMA-Pro项目通过模块扩展实现渐进式改进，显著提升算法性能。开源代码和模型包括LLaMA-Pro-8B和Mistral-Pro-8B-v0.1，后者在多个基准测试中表现优异，尤其在代码与数学能力方面超越主流型号。项目还提供了本地执行方法和训练代码。在ACL 2024大会上，项目论文已被接收，展示出其学术和实用价值。同时，LLaMA-Pro项目提供评估工具和预训练样例，支持开发者高效开发。

rome - 自动回归变换器上的高级模型编辑技术

GPT-2 XLGPT-JGithubROMERank-One Model Editing开源项目自动回归变换器

ROME项目提供了自动回归变换器的模型编辑技术，支持OpenAI的GPT-2 XL与EleutherAI的GPT-J。项目包括安装指南、应用示例（如模型重写）及评估工具，帮助开发者理解和应用模型修改。

rknn-llm - 瑞芯微芯片大语言模型部署软件栈

AI模型部署GithubRKLLMRockchip芯片大语言模型开源项目模型转换

rknn-llm是瑞芯微芯片专用的大语言模型部署软件栈，包含模型转换工具RKLLM-Toolkit、运行时库RKLLM Runtime和RKNPU内核驱动。支持RK3588和RK3576系列平台，兼容TinyLLAMA、Qwen、Phi、ChatGLM3等多种主流大语言模型。该项目注重性能优化和量化精度提升，持续增加新功能，为开发者提供高效的AI模型部署方案。

ScaleLLM - 优化大语言模型推理，兼容多种开源模型

GithubScaleLLM大模型推理开源项目生产环境集成开发高效性能

ScaleLLM是一个为大语言模型（LLMs）设计的高效推理系统，适用于生产环境。支持Llama3.1、Gemma2、Bloom、GPT-NeoX等多种开源模型，集成了CUDA图、前缀缓存、分块填充和推测解码等高级功能。项目正在积极开发，目标是提高效率并加入更多特性。现已上架PyPI，可通过pip安装。ScaleLLM还提供兼容OpenAI的REST API和本地聊天机器人UI，支持离线批量推理和在线分布式推理。

Phi2-mini-Chinese - 从零开始训练0.2B参数的中文语言模型，支持Flash Attention加速

GithubPhi2-Chinese-0.2BSFT微调中文小模型开源项目数据清洗语言模型

项目包含从数据清洗、tokenizer训练、CLM预训练、SFT微调到RLHF优化的详细步骤，代码和模型已开源，可引用。支持Flash Attention加速，适用于大数据集处理。更多信息及模型权重在huggingface仓库。

Athene-70B - 高性能RLHF优化的开放源代码聊天模型

AtheneGithubHuggingfaceLlama3-Athene-70BNexusflowRLHF开源项目模型聊天模型

Athene-70B是以Llama-3-70B-Instruct为基础，通过RLHF优化的开源语言模型，在Arena-Hard-Auto评估中表现优异。Nexusflow团队开发了这一高效聊天模型，适合用于复杂对话系统。

LoRA - 大型语言模型的低秩适配方法与参数节省

DeBERTaGLUEGPT-2GithubLoRARoBERTa开源项目

LoRA通过低秩分解矩阵实现大型语言模型的低秩适配，减少了训练参数数量，实现高效的任务切换和存储节省。它在GLUE基准测试中的表现与完全微调相当或更好，同时显著降低了参数需求。LoRA支持RoBERTa、DeBERTa和GPT-2等模型，并已集成到Hugging Face的PEFT库中，提供了便捷的适配解决方案。

SmolLM-1.7B - 小型化设计与处理能力兼备的语言模型，适用于多个应用场景

Cosmo-CorpusGithubHuggingfaceSmolLMTransformer开源项目模型生成模型语言模型

SmolLM系列语言模型基于Cosmo-Corpus高质量数据集开发，提供135M、360M和1.7B参数选项，表现出色的常识推理和广泛知识评估能力。模型通过多类型内容数据集训练，支持8位和bfloat16位精度，可在CPU和多GPU环境中运行。需注意，内容生成的准确性和一致性可能受限，仅供辅助使用。可通过HuggingFace平台便捷部署。

Abel-7B-002 - 数学推理能力卓越的7B参数大语言模型

Abel-7B-002GithubHuggingface大语言模型开源项目性能评估数学能力模型模型对比

Abel-7B-002是一款在数学和推理能力方面表现突出的7B参数大语言模型。相较于前代模型，它在GSM8K和MATH等数学基准测试中分别提升了35%和126%的性能。在7B规模模型中，Abel-7B-002在多项任务上展现出领先优势，尤其在GSM8K和MATH测试中分别达到80.44和29.46的最高分。除数学领域外，该模型在语言理解和常识推理等方面也有出色表现，展示了良好的泛化能力。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com