Sparrow - 数据处理利器
Sparrow是一个创新的开源解决方案,用于从各种文档和图像中高效提取和处理数据。它可以无缝处理表单、发票、收据和其他非结构化数据源。Sparrow以其模块化架构脱颖而出,提供独立的服务和管道,所有这些都经过优化以实现强大的性能。
核心特性
- 可插拔架构:可以轻松集成和运行使用LlamaIndex、Haystack或Unstructured等工具和框架的数据提取管道
- 本地LLM支持:通过Ollama或Apple MLX支持本地LLM数据提取管道
- API支持:提供API来处理和转换数据为结构化输出,可集成到自定义工作流中
- 多种代理:提供多种独立的LLM代理,可通过API从系统中调用
快速开始
- 安装Weaviate向量数据库(如果计划使用需要Weaviate的Sparrow代理)
- 安装pyenv并安装Python到环境中
- 为要运行的Sparrow代理创建虚拟环境
- 安装所需代理的依赖项
- 通过CLI或API运行Sparrow
- 传递要从文档中提取的字段名称和类型
- 部分Sparrow代理支持PDF和图像格式
API使用示例
启动API端点:
python api.py
调用推理API:
curl -X 'POST' \
'http://127.0.0.1:8000/api/v1/sparrow-llm/inference' \
-H 'accept: application/json' \
-H 'Content-Type: multipart/form-data' \
-F 'fields=invoice_number,invoice_date,total_gross_worth' \
-F 'types=int,str,str' \
-F 'agent=unstructured-light' \
-F 'index_name=' \
-F 'options=' \
-F 'file=@invoice_1.pdf;type=application/pdf'
更多资源
- GitHub仓库: https://github.com/katanaml/sparrow
- 文档: https://github.com/katanaml/sparrow#readme
- 安装指南: https://github.com/katanaml/sparrow#installation
- API文档: http://127.0.0.1:8000/api/v1/sparrow-llm/docs
Sparrow为数据提取和处理提供了一个强大而灵活的解决方案。无论您是处理发票、表单还是其他类型的文档,Sparrow都能帮助您高效地将非结构化数据转化为结构化信息。通过其模块化设计和API支持,Sparrow可以轻松集成到各种工作流程中。欢迎探索Sparrow的更多功能,并将其应用到您的数据处理项目中!
