LLM-Finetuning-Toolkit

配置化CLI工具，用于LLM微调和实验管理

LLM Finetuning Toolkit CLI工具 LLM微调配置文件实验 Github 开源项目

该工具通过yaml配置文件进行管理，支持LLM微调的各个方面，包括提示词、模型、优化策略和测试。用户可以通过pipx或pip安装，并按照提供的指南进行使用，涵盖基础到高级的使用场景。实验结果会被自动记录和保存。工具的模块化设计允许进一步扩展和定制。

Github

Huggingface

介绍相关项目

1filellm - 整合多来源数据的命令行工具

Data2LLMGithubLLM命令行工具开源项目数据聚合自动化

Data2LLM是一款命令行工具，能够高效地聚合和预处理数据，支持从本地文件、GitHub仓库、ArXiv论文、YouTube视频等多个来源提取和整合文本内容，生成适用于大型语言模型的高密度提示。工具自动检测源类型，进行文本预处理，并生成XML格式输出，复制到剪贴板，简化操作流程，提升工作效率。

LLM-workshop-2024 - 从零开始的LLMs预训练和微调教程

GPTGithubLLMsPyTorch开源项目微调预训练

本教程为编码人员提供了对大型语言模型（LLMs）构建模块和工作原理的深入理解。从LLMs的基础概念和应用案例开始，涵盖了小型GPT模型的数据输入管道、核心架构组件和预训练代码的编写。教程还包括如何加载预训练权重和使用开源库进行微调的实战技能。

LiteLLM - 多语言模型的统一API管理和负载均衡解决方案

AI工具API统一LLM代理LiteLLM企业级服务开源

LiteLLM是一个代理服务器，为100多种大型语言模型提供统一API接口。它支持负载均衡、故障转移和支出跟踪，采用OpenAI格式。该工具简化了认证、资源分配和成本控制。LiteLLM提供开源和企业级解决方案，适用于不同规模组织。它拥有大量Docker下载量和请求服务量，得到众多贡献者支持。

SaltAI_Language_Toolkit - 整合式AI语言处理工具包多功能技术集成

AI开发工具ComfyUIGithubLLMRAGSaltAI开源项目

SaltAI Language Toolkit是一个开源项目，整合了Llama-Index、AutoGen和LlaVA-Next等技术，与ComfyUI的节点界面结合。工具包提供检索增强生成、多智能体对话和视觉语言处理功能，增强AI语言处理能力。支持Git、Pip和ComfyUI Manager安装。项目提供示例工作流程，展示了搜索、对话和数据处理应用。

ScaleLLM - 优化大语言模型推理，兼容多种开源模型

GithubScaleLLM大模型推理开源项目生产环境集成开发高效性能

ScaleLLM是一个为大语言模型（LLMs）设计的高效推理系统，适用于生产环境。支持Llama3.1、Gemma2、Bloom、GPT-NeoX等多种开源模型，集成了CUDA图、前缀缓存、分块填充和推测解码等高级功能。项目正在积极开发，目标是提高效率并加入更多特性。现已上架PyPI，可通过pip安装。ScaleLLM还提供兼容OpenAI的REST API和本地聊天机器人UI，支持离线批量推理和在线分布式推理。

JsonLLM - 为大型语言模型提供JSON格式交互的开发工具

AI工具JSONJsonLLM加载数据程序

JsonLLM是一款专为大型语言模型(LLM)设计的交互工具。该工具采用JSON格式构建和处理LLM请求，为开发者提供高效的操作和调用方式。通过结构化和标准化的通信方法，JsonLLM有望提升AI开发效率和代码可读性。尽管当前网站内容较少，这款工具仍展现出成为LLM交互领域重要解决方案的潜力。

LLMFORMAT - 自定义模板管理平台助力优化ChatGPT提示词效果

AI工具ChatGPTLLMFORMAT提示词模板自定义

LLMFORMAT平台专注于ChatGPT提示词优化，通过自定义模板管理提升AI对话效果。用户可在直观界面中创建、存储和应用模板，有效提高与ChatGPT交互的效率和质量。核心功能覆盖模板创建、共享及应用，致力于帮助用户充分利用ChatGPT，实现更精准、个性化的AI交互体验。

llm_steer - 引导和增强大型语言模型响应的Python模块

GithubLLM SteerPython模块transformers库开源项目模型引导激活工程

LLM Steer是一个专为大型语言模型设计的Python模块，通过在模型的不同层添加引导向量来实现激活工程。它能够引导模型响应朝向特定主题，并提高模型解决复杂逻辑问题的能力。该模块与transformers库兼容，支持LLaMa、Mistral等多种架构。LLM Steer提供简洁的API，方便用户进行灵活的实验和优化。这个工具为AI研究人员和开发者提供了一种新的方法来增强和定制语言模型的输出。

TinyLLM - 在本地硬件上构建小型LLM，支持多种模型和ChatGPT界面

ChatGPTGithubOllamaTinyLLMllama.cppvLLM开源项目

该项目帮助用户在消费级硬件上构建小型本地LLM，并提供类似ChatGPT的网页界面。支持通过Ollama、llama-cpp-python和vLLM搭建兼容OpenAI API的服务，允许访问外部网站、矢量数据库等。具备详尽的硬件要求和模型下载链接，方便用户快速上手并使用自定义提示进行互动。

axolotl - 多功能AI模型微调工具

AI模型AxolotlGithub开源项目微调训练配置

Axolotl是一个功能丰富的AI模型微调工具，支持llama、pythia、falcon等多种Huggingface模型。它提供全微调、LoRA、QLoRA等训练方法，支持自定义配置和多种数据集格式。Axolotl集成了xformer、flash attention等技术，可在单GPU或多GPU环境运行，支持Docker部署，并可将结果记录到wandb或mlflow。该工具为AI模型训练提供了灵活高效的解决方案。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com