#FAISS
llm_aided_ocr - 提升OCR文本质量和一致性的系统
LLM-Aided OCROCRTesseractFAISSOpenAI APIGithub开源项目
该系统利用自然语言处理、机器学习和智能文本处理技术,将OCR输出的文本转换为高精度、格式化良好的易读文档。它解决了字符识别错误、段落结构不正确、虚构内容和格式不一致等常见OCR问题。支持从PDF到图像的转换,使用Tesseract进行OCR,并提供通过本地或API接口进行高级错误校正、智能文本分块处理和Markdown格式化等功能。此外,还采用FAISS和嵌入相似性检查进行内容过滤,确保输出文本的质量和一致性。
langchain-experiments - 实验与实现LangChain库的高级大语言模型应用
LangChainGPT-3.5 TurboFAISSPythonOpenAIGithub开源项目
本项目展示了如何利用先进的语言模型(如OpenAI的GPT-3.5 Turbo和即将发布的GPT-4)以及FAISS库,创建搜索YouTube视频转录的数据库,进行相似度查询,并回答用户问题。项目覆盖LangChain框架的核心模块,包括模型、提示、记忆、索引、链条和代理,适用于开发客户支持聊天机器人、内容生成器、数据分析工具和智能搜索引擎等应用。
text2vec-base-chinese-rag - 基于CoSENT框架的中文RAG文本嵌入模型
开源项目模型RAG向量检索LangchainGithubFAISS自然语言处理Huggingface
text2vec-base-chinese-rag采用CoSENT训练框架构建,专注于中文文本理解和RAG任务。模型支持文本相似度计算,集成Langchain和FAISS向量存储功能,实现高效文档检索。项目提供自定义LLM的RAG实现示例,便于开发者快速应用和扩展。