项目介绍:构建基于 Atlas 的语义搜索应用
semantic-search-app-template 项目是一个基于 Atlas Embedding 数据库和 FastAPI 的语义搜索应用模板和教程。这款应用还可以选择集成 OpenAI Embedding API 和 Langchain,为开发者提供更灵活的选择。
项目概述
在构建语义搜索应用时,通常需要经历以下几个步骤:
- 数据搜集:首先需要收集一组文本、图像或其他内容,作为应用的搜索对象。
- 生成嵌入:通常采用 Cohere 或 OpenAI 提供的嵌入 API 来生成数据的嵌入。
- 编写代码:实现基于向量相似度的搜索算法,以便能够依据嵌入返回相应的内容。
- 后端集成:整合所有步骤,通过 REST API 提供对外服务。
为了简化这一过程,项目提供了一个可直接部署的 FastAPI 和 React 应用模板,与 Atlas Embedding 数据库轻松对接。Atlas 的优势在于提供可视化调试工具,可以直观查看应用的语义搜索结果。
教程内容
启动应用
首先需要构建 FastAPI 的 Docker 镜像。此操作仅需在初次构建或添加新依赖时进行:
DOCKER_BUILDKIT=1 docker build -t backend_api --progress plain -f backend/Dockerfile.buildkit .
接着,通过以下命令启动后端:
docker compose up --build
在启动前,须将 Nomic API 密钥填入 settings 文件 或 docker compose 环境变量 中。该密钥可通过创建 Atlas 账户获取。
上传和索引内容到 Atlas
此教程将使用演示新闻数据进行说明。为上传演示数据,可以参考 内容上传教程。
上传的内容将储存在 Atlas 嵌入 DB 项目中,名称为 “10k News Articles”。用户需将此项目名称及 OpenAI API 密钥添加到 settings 文件中的相应环境变量。
启动应用服务
运行 docker compose up
命令来启动后端。建议监控日志,以防遗漏环境变量设置导致错误。
测试向量搜索功能
FastAPI 应用启动后,可以通过访问以下网址来查看文档及测试搜索接口:
localhost:80/docs
前端服务
目前,该项目尚未实现前端部分。欢迎贡献构建 React App 的 Pull Request,我们将予以合并!
通过这个项目模板,即使你从未接触过相关技术,也可以顺利创建一个功能完善的语义搜索应用。无论是开发者还是数据科学家,这都是一个便捷、高效的工具来实施语义搜索解决方案。