相关项目
llama_index
LlamaIndex是一个针对LLM应用的数据框架,提供数据连接器、索引、图结构及高级检索查询接口等功能。通过LlamaIndex,用户可以轻松地将现有数据源和格式(如APIs, PDFs, 以及SQL等)整合使用,并且通过简单的API,高效地进行数据查询或定制和扩展模块,以适应各种应用需求。LlamaIndex不仅支持初学者,也适应高级用户的需求,是构建和扩展LLM应用的理想选择。
fondant
Fondant是一个开源数据框架,旨在协同构建和共享数据集。它允许用户无需移动源数据即可进行数据初始化、处理和加载,支持可插拔的工作流、自定义组件以及版本追踪与数据浏览。Fondant适用于跨云端环境(如Google Cloud的Vertex和AWS的Sagemaker),使数据处理简单、可扩展,是生产环境中处理和共享数据集的理想选择。
LlamaIndex
LlamaIndex是一个用于构建大型语言模型(LLM)应用的数据框架。它支持160多种数据源和格式的加载,40多个向量存储和数据库的集成,以及LLM工作流程编排。该框架提供社区贡献的连接器、工具和数据集,并可与多种服务集成。LlamaIndex为开发者提供了构建LLM应用所需的工具和资源,简化了自定义数据源与LLM的连接过程。