tch-rs是Rust语言对PyTorch C++ API的绑定，通过简洁的封装实现高效的深度学习模型训练和推理。支持系统全局libtorch安装、手动安装和Python PyTorch安装，兼容CUDA并支持静态链接。提供详细的安装说明和丰富的示例代码，包括基础张量操作、梯度下降训练、神经网络构建和迁移学习等，适合不同水平的开发者。

llm-chain是一组强大的Rust库，支持创建高级LLM应用，如聊天机器人和智能代理。平台支持云端和本地LLM，提供提示模板和多步骤链功能，以处理复杂任务。还支持向量存储集成，为模型提供长期记忆和专业知识。兼容ChatGPT、LLaMa和Alpaca模型，并通过llm.rs实现Rust语言的LLM支持，无需C++依赖。

Ollama Grid Search是一款用Rust开发的工具，通过自动化选择和优化LLM模型、提示及推理参数，帮助用户进行组合迭代和结果可视化。适用于本地或远程Ollama服务器，支持多模型和参数的A/B测试，输出推理参数和响应元数据，并支持有限并发和同步推理调用。用户可以下载实验数据（JSON格式）并评估对比不同模型和提示组合。

该博客涵盖Mojo、Rust、Flutter、Golang、Python、Zig、Kotlin、VueJS等编程语言和框架，主题包括系统编程、AI、移动开发和前端开发。博客还讨论了Docker、Kubernetes、区块链与微服务等中间件和基础设施。用户可通过GitHub或RSS Feed订阅获取最新技术文章，掌握实践应用与最新动态。

此库可识别文本语言，适用于自然语言处理中的文本分类和拼写检查。相比其他工具，配置简便，适用于长短文本且准确度高，不使用外部API或服务，完全离线操作。目前支持75种语言，注重高质量检测，通过规则和统计方法实现，无需词典。测试数据显示它是目前最准确的语言检测库之一。

此Rust库提供了访问OpenAI API的便捷方式，支持如聊天、完成、编辑、图像、嵌入、音频和文件等主要功能。通过简单的配置和使用示例，用户可以快速集成OpenAI API到Rust应用中，并使用环境变量管理API密钥和基础URL。该项目遵循MIT许可证，详情请参考官方文档和示例。

Wonnx是一个完全用Rust编写的ONNX推理工具，支持Vulkan、Metal和DX12等多个平台，并通过WebGPU在浏览器中运行。用户可以通过命令行工具、Rust库、Python包和JavaScript模块操作和测试ONNX模型。Wonnx支持丰富的操作符，并持续进行性能优化和功能扩展，致力于为开发者提供高效灵活的深度学习模型推理工具。

`bindgen` 是一个用于自动生成Rust与C/C++库之间FFI绑定的工具。通过解析C头文件，它可以生成Rust代码，允许开发者直接调用C库函数并使用其类型。此工具的最低Rust版本要求为1.70.0，并提供多种环境变量以定制其行为。用户可以参考用户指南和API文档获取详细信息。

rust-mlops-template是一个以Rust为核心的MLOps模板，旨在构建高效的自动化数据科学与机器学习工作流，避免使用Jupyter、Conda等传统工具。项目提供实用示例和教程，如PyTorch模型训练、Web API服务和命令行工具，展示Rust在高性能计算和跨平台开发中的优势，支持GitHub Actions自动化，并为初学者提供循序渐进的学习资源。

OasysDB是一种混合向量数据库，利用SQLite和Postgres作为存储引擎，提供快速的向量索引层，确保数据的高完整性。目前仅支持Rust项目，未来计划提供RPC API以支持更多语言。OasysDB集成了SQLx进行SQL数据库操作，实现了灵活的向量索引算法，适合高性能检索需求。项目仍在早期开发阶段，欢迎在GitHub上贡献代码或提出建议。更多信息请访问官方网站或加入Discord社区。

Tauri是一个开源的跨平台桌面应用开发框架。它支持使用Web技术构建用户界面，后端采用Rust语言。Tauri兼容Windows、macOS和Linux平台，提供应用打包、自动更新和系统托盘等功能。该框架以其高性能、安全性和小体积而著称，适合开发现代桌面应用。

作为 Node.js 版本管理工具，fnm 采用 Rust 语言构建，具有跨平台兼容、安装便捷、启动迅速等优势。它支持 .node-version 和 .nvmrc 配置文件，提供简洁的命令行界面，使开发者能够在多个项目间轻松切换和管理不同版本的 Node.js 环境。

Apache DataFusion是基于Rust和Apache Arrow的查询引擎，提供SQL和DataFrame API。支持CSV、Parquet、JSON和Avro格式，性能优异且可广泛定制。适用于构建特定领域查询引擎、数据库平台和数据管道，便于开发者快速起步并按需定制。其开源特性和活跃社区为项目开发提供了有力支持。

Chat AI Desktop App是一款非官方开源桌面应用，兼容Mac、Windows和Linux系统。基于Tauri和Rust开发，提供简便的API模式和安全的登录体验。用户可轻松下载并安装不同版本，输入OpenAI API密钥后即可使用。此应用只是流行Chat AI网站的封装，确保数据安全。如遇MacOS验证问题，可通过Finder打开。推荐开发者使用VS Code进行开发和构建。

Floneum项目提供了一个简便的开发接口，适用于本地预训练的AI模型，包括Kalosm和Floneum Editor。Kalosm在Rust中为语言、音频和图像模型提供了简单接口，支持多种模型和加速选项。Floneum Editor是一个用于本地AI工作流的图形编辑器。这些工具让开发者能够轻松实现AI模型交互、音频转录和图像生成等功能。更多信息和使用案例请参阅项目文档和示例。

FastEmbed-rs为基于Rust的高效文本嵌入工具，无需Tokio依赖，支持同步操作。允许使用Hugging Face等多种模型，并通过并行处理实现高效批量嵌入。支持加载自定义.ONNX模型，提供简洁API以快速实现文本嵌入和重排，适合追求高性能文本处理的开发者。

该资源库收集了优秀的Rust语言LLM（大型语言模型）框架、库、工具、教程和文章。页面分类包括模型推理、项目实例、LLM内存、核心库、工具和向量存储，为开发者提供了在Rust环境中构建和扩展LLM应用的详细指南。内容持续更新，欢迎提交PR。

jieba-rs 是一个用 Rust 编写的中文分词库，提供快速和准确的分词功能。使用方法简单，通过添加到 Cargo.toml 即可使用。支持 TF-IDF 和 TextRank 关键字提取等功能，性能优异，比 cppjieba 快 33%。适用于多种开发环境，包括 NodeJS、PHP、Python 和 WebAssembly。

tiktoken-rs是一个Rust实现的文本分词库，特别为OpenAI的GPT和其他相关模型设计，具备分词和计数的功能。支持多种OpenAI编码格式如GPT-3和GPT-4，用户可以通过Cargo轻松安装并使用，并在开源库中找到完整的示例。适用于需要高效、准确文本处理的开发者。

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

Flapigen是一个工具，用于通过生成外部语言API将Rust库连接到C++和Java等语言，实现跨语言调用。用户可以按照官方指南，轻松集成flapigen并生成JNI或C兼容的包装器，从而简化Rust与其他语言的交互。无需手动编写接口文件，简洁声明即可自动生成所需代码，提高开发效率。提供详细的用户指南和示例代码，帮助开发者快速上手。

本教程详细讲解如何为关系数据库系统增加向量功能，涵盖C++和Rust两个版本。在C++版中，基于CMU-DB的BusTub实现pgvector功能，包括向量存储、向量表达式和向量索引。在Rust版中，基于RisingLight实现类似功能。加入Discord社区与其他学习者交流，使用MIT许可的BusTub向量数据库入门代码和解决方案，但注意部分文件无法公开。

Rust作为一种系统编程语言，在安全性和并发性方面表现突出。它通过独特的类型系统和所有权模型，在编译阶段就能保证内存和线程安全。Rust不仅提供了高性能和可靠性，还配备了完善的文档和工具链，如Cargo、rustfmt和Clippy。这使得Rust成为开发关键服务、嵌入式系统以及跨语言集成项目的理想选择。

dfdx是一个注重人体工学和安全性的Rust深度学习库，支持GPU加速和最多6维的张量形状。它在编译时进行形状和类型检查，提供多种张量操作，例如矩阵乘法和卷积。该库还包含神经网络构建模块和标准的深度学习优化器，如Sgd和Adam。设计目标是性能最大化和最小化不安全代码。用户可以启用CUDA特性进行GPU加速，非常适合在Rust中进行深度学习开发的用户。

作为一份高密度Rust语言参考资料，cheats.rs为开发者提供了快速识别代码结构、探索语言特性和学习Rust的便捷工具。这个开源项目基于Zola构建，支持在线访问和PDF下载，并欢迎社区成员参与完善。

该项目因时间和资源不足已归档，建议使用其他高质量的Rust推理库，如Ratchet、Candle和llama.cpp等。项目原README包含当前状态、支持的模型及使用方法等详细信息。

Tabby，一款自托管的AI编码助手，提供开源及私有部署方案，是GitHub Copilot的有效替代。基于Rust语言开发，确保极致速度与安全。通过TOML配置可轻松控制部署，开源代码库也便于安全合规审计。

femtoGPT是一个用Rust实现的最小生成预训练转换器，支持在CPU和GPU上进行GPT模型的推理与训练。项目从零开始构建了张量处理逻辑以及训练和推理代码，适合对大语言模型感兴趣并想深入了解其工作原理的用户。使用了随机生成、数据序列化和并行计算库，尽管速度较慢，但能在NVIDIA和AMD显卡上运行。

Pake是一款基于Rust的桌面应用打包工具，允许用户将网页高效转换为桌面应用，支持Mac、Windows和Linux平台。该工具提供了命令行打包和自定义开发选项。采用Rust Tauri架构，Pake与传统JS框架相比具备更小的应用体积和更快的运行速度。本工具适用于前端开发者和Rust程序员。

Tenere是一款用Rust编写的TUI界面工具，支持ChatGPT、llama.cpp和ollama等多种LLM。主要特点包括语法高亮、聊天历史记录保存、文件保存和Vim键绑定。提供多种安装方式，支持Windows、macOS和Linux系统的个性化配置，便利开发者高效工作。

openai-api-rust 是一个针对 OpenAI API 的 Rust 客户端。提供了便利功能，与 API 自身功能相一致。安装只需运行 cargo add openai-api。支持通过 CompletionArgs 构建器进行详细的请求配置，适用于简单演示和调试。

TeleGPT是一个基于teloxide框架和async_openai的Telegram聊天机器人，支持通过API密钥访问最新的ChatGPT模型。其主要功能包括实时消息流、Markdown渲染、聊天统计、文件配置及管理员功能。适用于个人和群组聊天，可通过Docker部署或源码构建，便于自定义设置和用户访问控制。

Inkwell是一个用于Rust的安全LLVM包装器，专为编写自定义编程语言而设计。通过封装llvm-sys，它提供了比LLVM C API更强类型的接口，在编译时捕获错误。支持Rust 1.56及以上版本，以及LLVM 4到18的多种版本。项目正在快速迭代，用户可以通过详细文档和示例代码快速上手。

AWS Secrets Manager Agent在AWS Lambda、Amazon ECS、EKS和EC2等环境中，提供一致的密钥管理和内存缓存，减少直接调用Secrets Manager。该Agent仅支持读取操作，具备内存缓存和SSRF防护功能。用户可以配置TTL、连接数和本地HTTP端口，支持多平台安装。

TensorFlow Rust提供符合Rust语言习惯的TensorFlow绑定，支持便捷下载或编译TensorFlow共享库和GPU加速。该项目仍在活跃开发，API尚未完全稳定。用户可以通过在Cargo.toml中添加依赖项并运行cargo build来构建，详见文档和示例代码。

Apistos 是一个为 Rust 生态系统设计的 OpenAPI 文档工具，主要用于生成 OpenAPI 3.0 规范文档。该工具为 actix-web 框架提供了封装，类似于 paperclip 的功能。Apistos 由多个子模块组成，包括核心模型、宏工具和插件系统等。它支持输入验证、权限控制，并能与 RapiDoc、Redoc 和 Swagger UI 等文档展示工具无缝集成。Apistos 简化了 API 文档的生成流程，适用于各类 Rust Web 开发项目。

Sandspiel是一款基于Rust和WebGL开发的落沙游戏，模拟粉末颗粒的物理交互。玩家可在线创作沙画作品，并支持分享和衍生。游戏提供了细胞自动机环境，未来计划开放自定义元素编程接口。Sandspiel旨在激发用户的创造力和探索欲望。

Shuttle是一个为Rust开发者提供快速构建和部署应用解决方案的平台。它支持一行代码配置资源，数分钟内完成项目部署，并为Axum、Actix Web等主流Rust框架提供优质支持。Shuttle简化了开发流程，使开发者能够专注于代码编写，同时保障应用的安全性和可靠性。该平台适合各级别的Rust开发者使用，有助于高效构建和部署Rust应用。

pgvecto.rs是一个Postgres扩展，提供超低延迟、高精度的向量相似搜索功能，支持稀疏向量和全文本搜索。该扩展由Rust编写，基于pgrx框架，具备完整的SQL支持和异步索引等特性，简化数据管理并提升性能。支持FP16/INT8数据类型和二进制向量索引，是生产环境中集成前沿模型的理想选择。

Screenpipe提供全天候屏幕和音频捕捉，支持Ollama，开放且安全，用户完全掌控数据。该项目采用Rust开发，兼容MacOS、Windows和Linux，提供CLI和桌面应用。支持多种语音识别和OCR引擎，为开发者提供强大的工具和API接口。适用于搜索、自动化、分析和个人助手等应用场景，旨在简化开发者工作流程，提高效率。

Anything项目使用Rust语言重建Zapier，实现本地AI功能。核心功能包括嵌入式Sqlite数据库、所见即所得编辑器、事件系统和Cron触发器。扩展形式多样，包括HTTP、CLI、自定义和本地AI扩展，具备高度创造性与可扩展性。未来计划添加Python和Deno扩展、开发者文档和云端自托管Docker版本，是一个易用且易于理解的开放自动化工具。

Rust实现的高效自然语言检测库，支持69种语言，识别语言和文字脚本（如拉丁文、西里尔文等），并提供可靠性评估。轻量、快速且简洁，适用于Sonic、Meilisearch等项目。

Rusty是一个由OpenAI驱动的开源CLI工具，可以将自然语言直接转换为可执行命令。使用Rust编写，适合需要提升bash技能的用户。通过简单的安装和环境变量配置，用户可以轻松将其添加到路径中，并使用OpenAI API执行各种命令。无论是开发者还是终端爱好者，Rusty都能有效提升工作效率。欢迎访问GitHub上的CONTRIBUTING.md进行贡献。

Vibrato是利用Viterbi算法的高效分词器，用Rust重写并优化了MeCab分词器，显著提高分词性能。它支持与MeCab兼容的输出，并允许从自己的数据训练分词参数。Vibrato擅长处理大规模矩阵数据，加快分词速度。项目提供了Python接口和WebAssembly演示，兼顾多种应用场景。详见项目文档，可通过Slack社区进行讨论。支持Apache 2.0和MIT双许可。

一个由纯Rust实现的高效protobuf库，支持快速的序列化和反序列化操作。提供pb-rs代码生成工具和quick-protobuf解析库，无需依赖google的protoc工具。生成的模块结构紧凑且易于理解，显著提高了字符串和字节数组字段的解析速度。用户可以通过简单命令安装和使用，享受其高性能和灵活的代码生成特性。该库已被广泛使用和验证，可靠性得到了保证。

Realm是一款高效可靠的对手模拟框架，设计注重可扩展性和自动化。借助Pythonic DSL Eldritch，简化了进攻安全任务管理，并支持多主机管理和Google Cloud Platform的无缝集成。其无状态服务器架构适用于多种部署环境，提供丰富的文档和易用性，确保快速上手与稳定运行。

Silver 是一个强大且高度可定制的跨平台 Shell 提示符，完全用 Rust 编写，比其前身 Bronze 更快速。支持 Powershell、Bash、Zsh、fish、Ion 和 Elvish 等多种 Shell，通过配置 silver.toml 文件轻松自定义提示符样式。此外，还支持 Nerd Fonts 提供的预补丁字体显示图标。无论通过源码编译还是使用预编译的二进制文件，安装都非常简单，方便快速上手。

ASHPD (Asynchronous Shell for Portal Daemons) 是一个用Rust语言实现的XDG桌面门户接口库，基于zbus构建。它封装了DBus接口，简化了开发者与桌面门户的交互过程。ASHPD支持颜色选择、摄像头访问等功能，并提供tracing、tokio运行时、GTK4集成等可选特性。该项目还包含一个演示应用，用于展示和测试各种门户功能。ASHPD为Rust开发者提供了访问XDG桌面门户功能的便捷方式。

Ludusavi是一款开源的跨平台游戏存档管理工具，支持Steam、GOG和Epic等主流游戏平台。它可以备份超过19,000款游戏的存档数据，提供图形界面和命令行两种操作方式。该工具支持文件和Windows注册表存储的存档，兼容Proton和Steam截图，还可作为Playnite扩展使用。Ludusavi在Steam Deck上运行良好，为玩家提供了便捷的游戏存档管理方案。

ATAC是一款开源的终端API测试工具,无需图形界面即可在命令行中使用。它提供了类似Postman和Insomnia的功能,包括请求管理、HTTP客户端、身份验证、脚本等。ATAC采用JSON或YAML文件存储数据,支持版本控制,可离线使用且无需账户。其轻量级设计使其运行快速高效,是开发者进行API测试的理想选择。