orch

Rust语言模型库简化AI应用开发

orch作为Rust生态系统中的一员，为开发者提供了构建语言模型应用的便捷工具。该库集成了文本生成、流式处理、结构化输出和向量嵌入等核心功能，并通过灵活的API设计，实现了与Ollama等模型的无缝对接。orch适用于多种AI应用场景，包括但不限于聊天机器人和智能助手的开发。

访问官网

Github

论文

介绍相关项目

llm - 用于处理大型语言模型的 Rust 库生态系统

GithubLLMRustggmlinference librarymachine learning开源项目

该项目因时间和资源不足已归档，建议使用其他高质量的Rust推理库，如Ratchet、Candle和llama.cpp等。项目原README包含当前状态、支持的模型及使用方法等详细信息。

async-openai - OpenAI 的 Rust 库

AI图像生成APIGithubOpenAIRust库async-openai开源项目

async-openai 是一个非官方 Rust 异步库，用于高效集成 OpenAI 的多种 API 如语音、聊天及模型等，提供流式API和强大的错误处理能力。支持环境变量中读取 API 密钥，提升安全性和便捷性。

rust-llama.cpp - Rust语言下的LLaMA模型绑定库

GPUGithubLLama.cppRust开源项目模型绑定

rust-llama.cpp是一个开源项目，为LLaMA.cpp提供Rust语言绑定。这个库使开发者能在Rust环境中集成和使用LLaMA大语言模型。项目支持cuBLAS、OpenBLAS和OpenCL等硬件加速选项，并已实现GPU（Metal）支持。通过简洁的API接口，开发者可以方便地加载模型和生成文本。rust-llama.cpp还支持GGUF格式，为Rust开发者提供了一个功能全面的LLaMA模型集成工具。

ocrs - 基于Rust的开源OCR引擎和命令行工具

GithubOCRONNXRust图像文字提取开源项目机器学习

ocrs是一个基于Rust的开源光学字符识别(OCR)库和命令行工具，利用机器学习技术从各类图像中提取文本。它旨在提供一个现代化的OCR引擎，能够处理多种图像类型，并大幅减少预处理工作。ocrs具有跨平台兼容性，支持WebAssembly，使用开放许可数据集训练。目前项目处于早期阶段，支持拉丁字母识别，并计划未来扩展更多语言支持。

anything - 使用Rust语言构建的本地AI自动化平台，超越简单聊天功能

AIAutomationExtensionsGithubRustZapier开源项目

Anything项目使用Rust语言重建Zapier，实现本地AI功能。核心功能包括嵌入式Sqlite数据库、所见即所得编辑器、事件系统和Cron触发器。扩展形式多样，包括HTTP、CLI、自定义和本地AI扩展，具备高度创造性与可扩展性。未来计划添加Python和Deno扩展、开发者文档和云端自托管Docker版本，是一个易用且易于理解的开放自动化工具。

rust-mlops-template - Rust打造的数据科学和机器学习自动化解决方案

CourseraGitHub ActionsGithubMLOpsRustdatascience开源项目

rust-mlops-template是一个以Rust为核心的MLOps模板，旨在构建高效的自动化数据科学与机器学习工作流，避免使用Jupyter、Conda等传统工具。项目提供实用示例和教程，如PyTorch模型训练、Web API服务和命令行工具，展示Rust在高性能计算和跨平台开发中的优势，支持GitHub Actions自动化，并为初学者提供循序渐进的学习资源。

smartcore - Rust语言开发的开源机器学习库

APIGithubJupyter NotebookRustSmartCore开源项目机器学习

smartcore是一个Rust语言开发的机器学习库，实现了分类、回归、聚类等多种算法模型。项目提供API接口和文档，并支持Jupyter Notebook环境。作为Rust生态系统的一部分，smartcore为数据科学和机器学习应用提供工具支持。

ocl - Rust语言的高性能OpenCL库

GPU编程GithubOpenCLRust并行计算开源项目高性能计算

ocl库为Rust开发者提供了高效的OpenCL编程接口。它不仅保留了OpenCL的全部功能，还简化了设备操作流程，减少了冗余代码。ocl的设计注重性能和安全性，适用于各种跨平台的高性能计算项目。支持OpenCL 1.1及更高版本，兼容主流操作系统。

tch-rs - Rust语言的PyTorch C++ API接口

GithubPyTorchRustlibtorchnn::Moduletch-rs开源项目

tch-rs是Rust语言对PyTorch C++ API的绑定，通过简洁的封装实现高效的深度学习模型训练和推理。支持系统全局libtorch安装、手动安装和Python PyTorch安装，兼容CUDA并支持静态链接。提供详细的安装说明和丰富的示例代码，包括基础张量操作、梯度下降训练、神经网络构建和迁移学习等，适合不同水平的开发者。

ollama-grid-search - Rust构建的LLM模型和提示优化工具

A/B测试GithubOllamaRust参数优化开源项目模型评估

Ollama Grid Search是一款用Rust开发的工具，通过自动化选择和优化LLM模型、提示及推理参数，帮助用户进行组合迭代和结果可视化。适用于本地或远程Ollama服务器，支持多模型和参数的A/B测试，输出推理参数和响应元数据，并支持有限并发和同步推理调用。用户可以下载实验数据（JSON格式）并评估对比不同模型和提示组合。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com