swiss_army_llama - 用 FastAPI 为各种任务公开方便的 REST 端点来促进和优化与本地 LLM 一起工作的过程

瑞士军刀羊驼项目介绍

项目概述

瑞士军刀羊驼项目致力于通过FastAPI，优化和简化本地大语言模型（LLM）的工作流程。项目的核心功能包括通过llama_cpp提供基于不同LLM的文本嵌入和补全服务，并自动处理大多数常见的文档类型（如PDF和Word文件）的嵌入生成。项目还支持提交音频文件，并通过Whisper模型自动转录、清理文本并计算嵌入。同时，为了避免重复计算，嵌入信息会被缓存到SQLite数据库中，可快速检索。为了减少模型加载时间，项目提供RAM磁盘选项，自动管理创建和管理过程。

此外，瑞士军刀羊驼项目提供多个有用的接口，包括计算传入文本字符串的语义相似度。项目利用Rust库fast_vector_similarity提供多种相似度测量，如Spearman_Rho、Kendall_Tau等。同时，支持通过FAISS进行语义搜索，细化相似度测量可以提供更精准的检索效果。

功能亮点

文本嵌入计算：利用预训练的Llama3及其他模型生成文本嵌入。
嵌入缓存：通过SQLite高效存储和检索计算过的嵌入，尽量减少重复计算。
高级相似度测量和检索：利用fast_vector_similarity库提供高度优化的相似度测量办法。通过FAISS进行语义搜索，提升检索效率。
文件处理能力：接受多种文件类型，包括纯文本、PDF、Word和图像文件，支持自动OCR处理。文件的每个句子嵌入结果可以以多种格式返回。
音频转录及嵌入：通过上传MP3或WAV格式音频文件，自动转录为文本并生成嵌入。
可选RAM磁盘使用：提升模型加载和执行速度，自动管理RAM磁盘的创建和操作。
交互式API文档：通过集成的Swagger UI提供交互式、用户友好的使用体验。
灵活的配置选项：通过环境变量和输入参数进行配置，支持多种响应格式。

使用方法

项目提供快速安装脚本，通过Docker或Python虚拟环境进行安装。在安装完成后，通过浏览器访问FastAPI提供的Swagger UI界面，即可快速体验丰富的功能。

结语

瑞士军刀羊驼是一个功能完善、配置灵活的项目，致力于简化大语言模型的使用难度。无论是文本处理、音频转录还是文件嵌入计算，每一个功能点都力求发挥“瑞士军刀”般的多样性和适配性，为用户提供一站式的解决方案。