Logo
Project Icon

llm-app-stack

全面的大语言模型应用开发资源集合

LLM应用程序架构AI开源数据处理Github开源项目

LLM-App-Stack项目汇总了构建大语言模型应用所需的各类工具和服务。该资源集合涵盖数据管道、嵌入模型、向量数据库、编排工具和API插件等关键组件。项目同时整合了专有和开源的LLM API，以及应用托管平台和云服务选项，为开发者提供了全面的技术栈参考。这一资源库旨在帮助开发者更高效地构建和部署智能应用。

访问官网访问官网GithubGithub
介绍相关项目

LLM 应用程序栈

又称 LLM 应用程序的新兴架构

2657 新兴 LLM 应用程序栈 R2 清洁版

这是 LLM 应用程序栈每一层可用工具、项目和供应商的列表。

我们的原始文章仅包含了基于用户访谈的最受欢迎选项。这个仓库旨在更加全面，涵盖每个类别中所有可用的选项。我们可能仍然遗漏了一些重要的项目，因此如果您发现有任何遗漏，请开启一个 PR。

我们还包含了 Perplexity 和 Cursor.sh 提示，以使搜索和 Markdown 表格格式化更容易。

目录

  1. 数据管道
  2. 嵌入模型
  3. 向量数据库
  4. playground
  5. 协调器
  6. API / 插件
  7. LLM 缓存
  8. 日志记录 / 监控 / 评估
  9. 验证器
  10. LLM API（专有）
  11. LLM API（开源）
  12. 应用程序托管平台
  13. 云服务提供商
  14. 自有观点的云服务

项目列表

数据管道

名称（网站）描述GithubPip 安装次数
Databricks一个统一的数据平台，用于构建、部署和维护企业数据解决方案，包括专为 AI 构建的产品（如 MosaicML 和 MLflow）<a href=https://github.com/apache/spark><a href=https://pypi.org/project/pyspark>
Airflow一个数据管道框架，用于以编程方式编写、调度和监控数据管道和工作流，包括 LLM<a href=https://github.com/apache/airflow><a href=https://pypi.org/project/apache-airflow>
Unstructured.io用于预处理 PDF、HTML 和 Word 文档等文档的开源组件，以供 LLM 应用程序使用<a href=https://github.com/Unstructured-IO/unstructured><a href=https://pypi.org/project/unstructured>
Fivetran一个平台，从各种来源提取、加载和转换数据，用于分析、AI 和运营N/A<a href=https://pypi.org/project/fivetran>
Airbyte一个开源数据集成引擎，帮助在数据仓库、湖泊和数据库中整合数据<a href=https://github.com/airbytehq/airbyte><a href=https://pypi.org/project/airbyte-cdk>
Anyscale一个 AI 计算平台，允许开发人员使用 Ray 扩展数据摄取、预处理、嵌入和推理计算<a href=https://github.com/ray-project/ray><a href=https://pypi.org/project/ray>
Alluxio一个开源数据平台，位于计算和存储的交叉点，将数据更接近计算，以加速模型训练和服务，提高 GPU 利用率，并降低 AI 工作负载的成本<a href=https://github.com/Alluxio/alluxio> GitHub Repo stars<a href=https://pypi.org/project/alluxio-python-library/>PyPI - Downloads

^ 返回目录 ^

嵌入模型

名称（网站）描述GithubPip 安装次数
OpenAI Ada Embedding 2OpenAI 最受欢迎的嵌入模型，用于捕捉文本中的语义关系n/a<a href=https://pypi.org/project/openai>
Cohere AI一个独立的商业 LLM 提供商，特别关注语义搜索、主题聚类和垂直应用的嵌入<a href=https://github.com/cohere-ai/notebooks><a href=https://pypi.org/project/cohere>
Sentence Transformers一个用于句子、文本和图像嵌入的开源 Python 框架<a href=https://github.com/UKPLab/sentence-transformers><a href=https://pypi.org/project/sentence-transformers>

^ 返回目录 ^

向量数据库

名称（网站）描述GithubPip 安装次数
Pinecone一个托管的、云原生的向量数据库，具有简单的 API，用于高性能 AI 应用n/a<a href=https://pypi.org/project/pinecone-client>
Weaviate一个开源向量数据库，可存储对象和向量<a href=https://github.com/weaviate/weaviate><a href=https://pypi.org/project/weaviate-client>
ChromaDB一个面向开发者的 AI 原生、开源嵌入数据库平台<a href=https://github.com/chroma-core/chroma><a href=https://pypi.org/project/chromadb>
PgvectorPostgres 的开源向量相似度搜索，允许精确和近似最近邻搜索<a href=https://github.com/pgvector/pgvector><a href=https://pypi.org/project/pgvector>
Zilliz (Milvus)一个开源向量数据库，用于开发和维护 AI 应用程序<a href=https://github.com/milvus-io/milvus><a href=https://pypi.org/project/pymilvus>
Qdrant一个向量数据库和向量相似度搜索引擎<a href=https://github.com/qdrant/qdrant><a href=https://pypi.org/project/qdrant-client>
Metal io一个托管服务，供开发人员使用 ML 嵌入构建应用程序N/A<a href=https://pypi.org/project/metal-python>
LanceDB一个用于 AI 应用程序的无服务器向量数据库<a href=https://github.com/lancedb/lancedb><a href=https://pypi.org/project/lancedb>

^ 返回目录 ^

游乐场

名称（网站）描述GithubPip 安装量
OpenAI Playground一个基于网络的平台，用于试验 OpenAI 开发的各种机器学习模型不适用不适用
nat.dev一个允许用户使用多个语言模型测试提示并比较其性能的平台<a href=https://github.com/nat/openplayground><a href=https://pypi.org/project/openplayground>
Humanloop一个帮助开发者在大型语言模型基础上构建应用程序的平台<a href=https://github.com/humanloop/humanloop-tutorial-python><a href=https://pypi.org/project/humanloop>
Parea AI为 AI 工程师提供的平台和 SDK，提供 LLM 评估、可观察性和版本控制的增强提示游乐场工具。<a href=https://github.com/parea-ai><a href=https://pypi.org/project/parea-ai/>

^ 返回目录 ^

编排器

名称（网站）描述GithubPip 安装量
Langchain一个开源库，为开发者提供构建 LLM 驱动应用程序的工具<a href=https://github.com/langchain-ai/langchain><a href=https://pypi.org/project/langchain>
LlamaIndex一个数据框架，用于 LLM 应用程序摄取、结构化和访问私有或特定领域的数据<a href=https://github.com/jerryjliu/llama_index><a href=https://pypi.org/project/llama-index>
Autogen一个使用可定制、可对话代理自动化和简化 LLM 工作流程的框架，用于复杂 AI 应用<a href=https://github.com/microsoft/autogen><a href=https://pypi.org/project/pyautogen>
Microsoft Semantic Kernel一个轻量级开源编排 SDK<a href=https://github.com/microsoft/semantic-kernel><a href=https://pypi.org/project/semantic-kernel>
HaystackLLM 编排框架，用于构建可定制、生产就绪的 LLM 应用程序<a href=https://github.com/deepset-ai/haystack><a href=https://pypi.org/project/farm-haystack/>
Vercel AI SDK一个开源库，供开发者在 JavaScript 和 TypeScript 中构建流式 UI<a href=https://github.com/vercel/ai><a href=https://pypi.org/project/vercel-ai-sdk>(node/npm)
Vectara AI一个用于 AI 对话的搜索和发现平台，利用您自己的数据<a href=https://github.com/vectara/vectara-ingest>不适用
ChatGPT一个使用自然语言处理创建类人对话的 AI 聊天机器人不适用不适用

^ 返回目录 ^

API / 插件

名称（网站）描述GithubPip 安装量
Serp API一个实时 API，用于访问 Google 搜索结果，以及处理代理、解决验证码和解析结构化数据<a href=https://github.com/serpapi/google-search-results-python><a href=https://pypi.org/project/google-search-results>
Wolfram Alpha API一个基于网络的 API，为各种应用程序的集成提供计算和展示功能不适用<a href=https://pypi.org/project/wolframalpha>
Zapier API AI Plugin一个插件，允许您连接 5,000+ 个应用程序并直接在 ChatGPT 内与它们交互不适用不适用

^ 返回目录 ^

LLM 缓存

名称（网站）描述GithubPip 安装量
Redis一个内存数据结构存储，用作数据库、缓存、消息代理和流引擎<a href=https://github.com/redis/redis><a href=https://pypi.org/project/redis/>
SQLite一个自包含、无服务器、零配置、事务性 SQL 数据库引擎<a href=https://github.com/sqlite/sqlite><a href=https://pypi.org/project/pysqlite3/>
GPTCache一个开源工具，通过实现缓存来存储响应，提高基于 GPT 的应用程序的效率和速度<a href=https://github.com/zilliztech/GPTCache>不适用

^ 返回目录 ^

### 日志记录 / 监控 / 评估 | 名称（网站） | 描述 | Github | Pip 安装量 | |------------|------------|------------|------------| | [Braintrust Data](https://www.braintrustdata.com/) | 一个AI产品堆栈，包括评估、提示词游乐场、持续集成、数据集管理，以及通过单一API访问各种AI模型 | | | | [Arize AI](https://arize.com/) | 一个适用于LLM和监督式机器学习的可观察性平台 | | | | [Weights & Biases](https://wandb.ai) | 一个用于简化机器学习工作流程的MLOps平台 | | | | [MLflow](https://mlflow.org/docs/latest/llms/index.html#) | 一个用于简化机器学习开发的平台 | | | | [PromptLayer](https://promptlayer.com/) | 一个用于跟踪、管理和共享LLM提示工程的平台 | | | | [Helicone](https://helicone.ai/) | 一个开源的LLM可观察性平台 | | | | [Quotient AI](https://www.quotientai.co/) | Quotient AI是一个平台，用于在研究、开发和生产中评估真实用例的AI产品 | N/A | N/A | | [Portkey AI](https://portkey.ai/) | 一个用于开发、发布、维护和迭代生成式AI应用和功能的平台 | N/A | N/A | | [Freeplay AI](https://freeplay.ai/) | 一个用于为客户原型设计、测试和优化LLM功能的平台 | N/A | N/A | | [Gentrace](https://gentrace.ai/) | 用于评估和观察生成数据的API和SDK，具有AI、启发式和人工评分评估以及生产数据观察等功能 | N/A | | | [Patronus AI](https://www.patronus.ai/) | 一个自动化的LLM评估和基准测试平台，提供在真实场景中测试、评分和评估LLM的工具 | N/A | N/A | | [Autoblocks AI](https://www.autoblocks.ai/) | 一个为快速迭代GenAI产品设计的协作云工作空间，提供提示管理、可观察性、持续评估、微调、原型设计、调试和可扩展数据摄取与搜索等功能，全部在一个与提供商无关的环境中 | N/A | | | [Context AI](https://context.ai/) | 用于LLM发布前评估和发布后分析的工具，具有测试、性能监控、用户对话分析等功能，支持各种模型和库 | N/A | | | [E2b dev](https://e2b.dev/) | 用于部署、测试和监控AI代理的服务，包括一个具有安全、长期运行云环境的沙盒，适用于各种LLM，具有互联网访问等功能 | | | | [Agentops](https://www.agentops.ai/) | 用于评估和开发AI代理的工具包，提供代理开发工具、监控能力和重放分析 | | | | [Zenoml](https://zenoml.com/) | AI评估平台，支持数据可视化、模型性能分析，以及为各种数据类型创建交互式报告 | | | | [Baserun](https://baserun.ai/welcome) | 提供模型配置、提示词游乐场、监控和原型工作流程的工具，以及LLM工作流的全面可视性和端到端测试功能 | | | | [WhyLabs](https://whylabs.ai/) | 适用于ML和GenAI的AI可观察性平台，包括LLM监控、保护机制和安全性 | | | | [Log10](https://log10.io/) | AI驱动的LLMOps平台，自动优化提示和模型，内置日志记录、调试、指标、反馈、评估和微调功能 |
|
| | [promptfoo](https://www.promptfoo.dev/) | 开源LLM评估框架，支持模型/提示/RAG评估、数据集生成、本地模型和自托管 | | (node/npm) | | [Parea AI](https://www.parea.ai/) | 为AI工程师提供的平台和SDK，提供LLM评估、可观察性工具和版本控制的增强提示词游乐场 | | | | [Galileo](https://www.rungalileo.io/) | Galileo是一个用于评估、微调和实时可观察性的平台，由高精度幻觉防护机制驱动 | N/A | N/A |

^ 返回目录 ^

### 验证器 | 名称(网站) | 描述 | Github | Pip 安装量 | |------------|------------|------------|------------| | [Guardrails AI](https://shreyar.github.io/guardrails/) | 一个开源Python包,用于指定结构和类型、验证和纠正LLM的输出 | | | | [Rebuff](https://github.com/woop/rebuff) | 一个开源框架,旨在检测和防御LLM应用中的提示注入攻击 | | | | [Microsoft Guidance](https://github.com/microsoft/guidance) | 一种用于控制LLM的指导语言,提供了一种语法来构建LLM工作流 | | | | [LMQL](https://lmql.ai/) | 一个开源编程语言和语言模型交互平台 | | | | [Outlines](https://outlines-dev.github.io/outlines/) | 一个帮助开发人员引导文本生成的工具,用于构建与外部系统的健壮接口,并保证输出匹配正则表达式或JSON模式 | | | | [LLM Guard](https://github.com/laiyer-ai/llm-guard) | 一个开源的综合工具,旨在加强大型语言模型(LLM)的安全性 | | |

^ 返回目录 ^

LLM API (专有)

名称(网站)描述GithubPip 安装量
OpenAI一家提供多个领先LLM的公司,包括GPT-3.5和GPT-4系列N/A<a href=https://pypi.org/project/openai>
AnthropicClaude的开发者,Claude是基于Anthropic研究的AI助手N/A<a href=https://pypi.org/project/anthropic>
Cohere AI一个LLM供应商,特别关注用于语义搜索、主题聚类和垂直应用的嵌入<a href=https://github.com/cohere-ai/notebooks><a href=https://pypi.org/project/cohere>
LLM一个CLI工具和Python库,用于与大型语言模型交互,既可以通过远程API,也可以通过安装在自己机器上运行的模型<a href=https://github.com/simonw/llm><a href=https://pypi.org/project/llm/>

^ 返回目录 ^

LLM API (开源)

名称(网站)描述GithubPip 安装量
Hugging Face一个开源AI模型和推理端点的中心,包括领先的基础LLM和LoRAs/微调<a href=https://github.com/huggingface/transformers><a href=https://pypi.org/project/transformers>
Replicate一个AI托管平台和模型推理中心,允许软件开发人员将AI模型集成到他们的应用中<a href=https://github.com/replicate/cog><a href=https://pypi.org/project/replicate>
Anyscale一个AI API和计算平台,允许开发人员使用Ray扩展任何模型的推理、训练和嵌入计算<a href=https://github.com/ray-project/ray><a href=https://pypi.org/project/ray>
Ollama在本地运行大型语言模型<a href=https://github.com/ollama/ollama><a href=https://pypi.org/project/ollama/>
GPT4ALL一个开源边缘大型语言模型的生态系统<a href=https://github.com/nomic-ai/gpt4all><a href=https://pypi.org/project/gpt4all/>

^ 返回目录 ^

应用托管平台

名称(网站)描述
Vercel一个为前端工程师设计的云平台,内置对LLM应用的一流支持
Netlify一家企业云计算公司,为Web应用和动态网站提供开发平台
SteamshipAI代理和工具的SDK和托管平台,既是包管理器又是AI的包托管服务
Streamlit一个开源Python库,用于创建和共享机器学习和数据科学的自定义Web应用
Modal一个使用modal Python包运行分布式应用程序的平台

^ 返回目录 ^

云服务提供商

名称(网站)描述
Amazon Web Services一个云计算平台,提供来自全球数据中心的服务
Google Cloud Platform一个云计算平台,提供来自全球数据中心的服务
Microsoft Azure一个云计算平台,提供来自全球数据中心的服务
CoreWeave一个专业的云提供商,在灵活的部署基础设施之上提供GPU

^ 返回目录 ^

特色云服务

名称(网站)描述
Databricks (MosaicML)Databricks在2023年收购了Mosaic ML,以及其用于高效预训练、微调和推理LLM的工具和平台
Anyscale一个AI计算平台,使开发人员能够使用Ray扩展任何模型的推理、训练和嵌入计算
Modal一个使用Modal Python包运行分布式应用程序的平台
Runpod一个为AI和ML应用设计的云计算平台
OctoML一个计算服务,允许用户运行、调优和扩展生成模型
Baseten一个推理服务,允许用户部署、服务和扩展自定义和开源模型
E2B为AI代理和AI应用程序设计的安全沙盒云环境

^ 返回目录 ^




## 格式化提示模板 我们能够部分自动化这个过程 - 特别是查找 GitHub 和 PyPI 链接 - 使用这个[Perplexity 搜索提示](https://github.com/a16z-infra/llm-app-stack/blob/main/table_construction_prompts/prompt_1_search.txt)。它大约有 75% 的时间工作正常，每次可以处理约 3 个项目，在每次迭代中从 20-30 个源中提取数据。 image

一旦你有了想要添加的数据，如果你不想处理这里的 Markdown 格式，使用像 Cursor 这样的工具可以很容易地正确格式化。

请看下面的提示，它可以作为内联编辑使用，只需确保你突出显示前 4-5 个例子，这样 Cursor 就可以自行推断格式：

image

^ 返回目录 ^

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号