#Rust

tch-rs是Rust语言对PyTorch C++ API的绑定，通过简洁的封装实现高效的深度学习模型训练和推理。支持系统全局libtorch安装、手动安装和Python PyTorch安装，兼容CUDA并支持静态链接。提供详细的安装说明和丰富的示例代码，包括基础张量操作、梯度下降训练、神经网络构建和迁移学习等，适合不同水平的开发者。

Chat AI Desktop App是一款非官方开源桌面应用，兼容Mac、Windows和Linux系统。基于Tauri和Rust开发，提供简便的API模式和安全的登录体验。用户可轻松下载并安装不同版本，输入OpenAI API密钥后即可使用。此应用只是流行Chat AI网站的封装，确保数据安全。如遇MacOS验证问题，可通过Finder打开。推荐开发者使用VS Code进行开发和构建。

Tabby，一款自托管的AI编码助手，提供开源及私有部署方案，是GitHub Copilot的有效替代。基于Rust语言开发，确保极致速度与安全。通过TOML配置可轻松控制部署，开源代码库也便于安全合规审计。

pgvecto.rs是一个Postgres扩展，提供超低延迟、高精度的向量相似搜索功能，支持稀疏向量和全文本搜索。该扩展由Rust编写，基于pgrx框架，具备完整的SQL支持和异步索引等特性，简化数据管理并提升性能。支持FP16/INT8数据类型和二进制向量索引，是生产环境中集成前沿模型的理想选择。

llm-chain是一组强大的Rust库，支持创建高级LLM应用，如聊天机器人和智能代理。平台支持云端和本地LLM，提供提示模板和多步骤链功能，以处理复杂任务。还支持向量存储集成，为模型提供长期记忆和专业知识。兼容ChatGPT、LLaMa和Alpaca模型，并通过llm.rs实现Rust语言的LLM支持，无需C++依赖。

Floneum项目提供了一个简便的开发接口，适用于本地预训练的AI模型，包括Kalosm和Floneum Editor。Kalosm在Rust中为语言、音频和图像模型提供了简单接口，支持多种模型和加速选项。Floneum Editor是一个用于本地AI工作流的图形编辑器。这些工具让开发者能够轻松实现AI模型交互、音频转录和图像生成等功能。更多信息和使用案例请参阅项目文档和示例。

femtoGPT是一个用Rust实现的最小生成预训练转换器，支持在CPU和GPU上进行GPT模型的推理与训练。项目从零开始构建了张量处理逻辑以及训练和推理代码，适合对大语言模型感兴趣并想深入了解其工作原理的用户。使用了随机生成、数据序列化和并行计算库，尽管速度较慢，但能在NVIDIA和AMD显卡上运行。

Screenpipe提供全天候屏幕和音频捕捉，支持Ollama，开放且安全，用户完全掌控数据。该项目采用Rust开发，兼容MacOS、Windows和Linux，提供CLI和桌面应用。支持多种语音识别和OCR引擎，为开发者提供强大的工具和API接口。适用于搜索、自动化、分析和个人助手等应用场景，旨在简化开发者工作流程，提高效率。

Ollama Grid Search是一款用Rust开发的工具，通过自动化选择和优化LLM模型、提示及推理参数，帮助用户进行组合迭代和结果可视化。适用于本地或远程Ollama服务器，支持多模型和参数的A/B测试，输出推理参数和响应元数据，并支持有限并发和同步推理调用。用户可以下载实验数据（JSON格式）并评估对比不同模型和提示组合。

FastEmbed-rs为基于Rust的高效文本嵌入工具，无需Tokio依赖，支持同步操作。允许使用Hugging Face等多种模型，并通过并行处理实现高效批量嵌入。支持加载自定义.ONNX模型，提供简洁API以快速实现文本嵌入和重排，适合追求高性能文本处理的开发者。

Pake是一款基于Rust的桌面应用打包工具，允许用户将网页高效转换为桌面应用，支持Mac、Windows和Linux平台。该工具提供了命令行打包和自定义开发选项。采用Rust Tauri架构，Pake与传统JS框架相比具备更小的应用体积和更快的运行速度。本工具适用于前端开发者和Rust程序员。

Anything项目使用Rust语言重建Zapier，实现本地AI功能。核心功能包括嵌入式Sqlite数据库、所见即所得编辑器、事件系统和Cron触发器。扩展形式多样，包括HTTP、CLI、自定义和本地AI扩展，具备高度创造性与可扩展性。未来计划添加Python和Deno扩展、开发者文档和云端自托管Docker版本，是一个易用且易于理解的开放自动化工具。

该博客涵盖Mojo、Rust、Flutter、Golang、Python、Zig、Kotlin、VueJS等编程语言和框架，主题包括系统编程、AI、移动开发和前端开发。博客还讨论了Docker、Kubernetes、区块链与微服务等中间件和基础设施。用户可通过GitHub或RSS Feed订阅获取最新技术文章，掌握实践应用与最新动态。

该资源库收集了优秀的Rust语言LLM（大型语言模型）框架、库、工具、教程和文章。页面分类包括模型推理、项目实例、LLM内存、核心库、工具和向量存储，为开发者提供了在Rust环境中构建和扩展LLM应用的详细指南。内容持续更新，欢迎提交PR。

Tenere是一款用Rust编写的TUI界面工具，支持ChatGPT、llama.cpp和ollama等多种LLM。主要特点包括语法高亮、聊天历史记录保存、文件保存和Vim键绑定。提供多种安装方式，支持Windows、macOS和Linux系统的个性化配置，便利开发者高效工作。

Rust实现的高效自然语言检测库，支持69种语言，识别语言和文字脚本（如拉丁文、西里尔文等），并提供可靠性评估。轻量、快速且简洁，适用于Sonic、Meilisearch等项目。

此库可识别文本语言，适用于自然语言处理中的文本分类和拼写检查。相比其他工具，配置简便，适用于长短文本且准确度高，不使用外部API或服务，完全离线操作。目前支持75种语言，注重高质量检测，通过规则和统计方法实现，无需词典。测试数据显示它是目前最准确的语言检测库之一。

jieba-rs 是一个用 Rust 编写的中文分词库，提供快速和准确的分词功能。使用方法简单，通过添加到 Cargo.toml 即可使用。支持 TF-IDF 和 TextRank 关键字提取等功能，性能优异，比 cppjieba 快 33%。适用于多种开发环境，包括 NodeJS、PHP、Python 和 WebAssembly。

openai-api-rust 是一个针对 OpenAI API 的 Rust 客户端。提供了便利功能，与 API 自身功能相一致。安装只需运行 cargo add openai-api。支持通过 CompletionArgs 构建器进行详细的请求配置，适用于简单演示和调试。

Rusty是一个由OpenAI驱动的开源CLI工具，可以将自然语言直接转换为可执行命令。使用Rust编写，适合需要提升bash技能的用户。通过简单的安装和环境变量配置，用户可以轻松将其添加到路径中，并使用OpenAI API执行各种命令。无论是开发者还是终端爱好者，Rusty都能有效提升工作效率。欢迎访问GitHub上的CONTRIBUTING.md进行贡献。

此Rust库提供了访问OpenAI API的便捷方式，支持如聊天、完成、编辑、图像、嵌入、音频和文件等主要功能。通过简单的配置和使用示例，用户可以快速集成OpenAI API到Rust应用中，并使用环境变量管理API密钥和基础URL。该项目遵循MIT许可证，详情请参考官方文档和示例。

tiktoken-rs是一个Rust实现的文本分词库，特别为OpenAI的GPT和其他相关模型设计，具备分词和计数的功能。支持多种OpenAI编码格式如GPT-3和GPT-4，用户可以通过Cargo轻松安装并使用，并在开源库中找到完整的示例。适用于需要高效、准确文本处理的开发者。

TeleGPT是一个基于teloxide框架和async_openai的Telegram聊天机器人，支持通过API密钥访问最新的ChatGPT模型。其主要功能包括实时消息流、Markdown渲染、聊天统计、文件配置及管理员功能。适用于个人和群组聊天，可通过Docker部署或源码构建，便于自定义设置和用户访问控制。

Vibrato是利用Viterbi算法的高效分词器，用Rust重写并优化了MeCab分词器，显著提高分词性能。它支持与MeCab兼容的输出，并允许从自己的数据训练分词参数。Vibrato擅长处理大规模矩阵数据，加快分词速度。项目提供了Python接口和WebAssembly演示，兼顾多种应用场景。详见项目文档，可通过Slack社区进行讨论。支持Apache 2.0和MIT双许可。

Wonnx是一个完全用Rust编写的ONNX推理工具，支持Vulkan、Metal和DX12等多个平台，并通过WebGPU在浏览器中运行。用户可以通过命令行工具、Rust库、Python包和JavaScript模块操作和测试ONNX模型。Wonnx支持丰富的操作符，并持续进行性能优化和功能扩展，致力于为开发者提供高效灵活的深度学习模型推理工具。

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

Inkwell是一个用于Rust的安全LLVM包装器，专为编写自定义编程语言而设计。通过封装llvm-sys，它提供了比LLVM C API更强类型的接口，在编译时捕获错误。支持Rust 1.56及以上版本，以及LLVM 4到18的多种版本。项目正在快速迭代，用户可以通过详细文档和示例代码快速上手。

一个由纯Rust实现的高效protobuf库，支持快速的序列化和反序列化操作。提供pb-rs代码生成工具和quick-protobuf解析库，无需依赖google的protoc工具。生成的模块结构紧凑且易于理解，显著提高了字符串和字节数组字段的解析速度。用户可以通过简单命令安装和使用，享受其高性能和灵活的代码生成特性。该库已被广泛使用和验证，可靠性得到了保证。

`bindgen` 是一个用于自动生成Rust与C/C++库之间FFI绑定的工具。通过解析C头文件，它可以生成Rust代码，允许开发者直接调用C库函数并使用其类型。此工具的最低Rust版本要求为1.70.0，并提供多种环境变量以定制其行为。用户可以参考用户指南和API文档获取详细信息。

Flapigen是一个工具，用于通过生成外部语言API将Rust库连接到C++和Java等语言，实现跨语言调用。用户可以按照官方指南，轻松集成flapigen并生成JNI或C兼容的包装器，从而简化Rust与其他语言的交互。无需手动编写接口文件，简洁声明即可自动生成所需代码，提高开发效率。提供详细的用户指南和示例代码，帮助开发者快速上手。

AWS Secrets Manager Agent在AWS Lambda、Amazon ECS、EKS和EC2等环境中，提供一致的密钥管理和内存缓存，减少直接调用Secrets Manager。该Agent仅支持读取操作，具备内存缓存和SSRF防护功能。用户可以配置TTL、连接数和本地HTTP端口，支持多平台安装。

Realm是一款高效可靠的对手模拟框架，设计注重可扩展性和自动化。借助Pythonic DSL Eldritch，简化了进攻安全任务管理，并支持多主机管理和Google Cloud Platform的无缝集成。其无状态服务器架构适用于多种部署环境，提供丰富的文档和易用性，确保快速上手与稳定运行。

rust-mlops-template是一个以Rust为核心的MLOps模板，旨在构建高效的自动化数据科学与机器学习工作流，避免使用Jupyter、Conda等传统工具。项目提供实用示例和教程，如PyTorch模型训练、Web API服务和命令行工具，展示Rust在高性能计算和跨平台开发中的优势，支持GitHub Actions自动化，并为初学者提供循序渐进的学习资源。

本教程详细讲解如何为关系数据库系统增加向量功能，涵盖C++和Rust两个版本。在C++版中，基于CMU-DB的BusTub实现pgvector功能，包括向量存储、向量表达式和向量索引。在Rust版中，基于RisingLight实现类似功能。加入Discord社区与其他学习者交流，使用MIT许可的BusTub向量数据库入门代码和解决方案，但注意部分文件无法公开。

TensorFlow Rust提供符合Rust语言习惯的TensorFlow绑定，支持便捷下载或编译TensorFlow共享库和GPU加速。该项目仍在活跃开发，API尚未完全稳定。用户可以通过在Cargo.toml中添加依赖项并运行cargo build来构建，详见文档和示例代码。

该项目因时间和资源不足已归档，建议使用其他高质量的Rust推理库，如Ratchet、Candle和llama.cpp等。项目原README包含当前状态、支持的模型及使用方法等详细信息。