相关项目
llm_aided_ocr
该系统利用自然语言处理、机器学习和智能文本处理技术，将OCR输出的文本转换为高精度、格式化良好的易读文档。它解决了字符识别错误、段落结构不正确、虚构内容和格式不一致等常见OCR问题。支持从PDF到图像的转换，使用Tesseract进行OCR，并提供通过本地或API接口进行高级错误校正、智能文本分块处理和Markdown格式化等功能。此外，还采用FAISS和嵌入相似性检查进行内容过滤，确保输出文本的质量和一致性。
langchain-experiments
本项目展示了如何利用先进的语言模型（如OpenAI的GPT-3.5 Turbo和即将发布的GPT-4）以及FAISS库，创建搜索YouTube视频转录的数据库，进行相似度查询，并回答用户问题。项目覆盖LangChain框架的核心模块，包括模型、提示、记忆、索引、链条和代理，适用于开发客户支持聊天机器人、内容生成器、数据分析工具和智能搜索引擎等应用。
text2vec-base-chinese-rag
text2vec-base-chinese-rag采用CoSENT训练框架构建，专注于中文文本理解和RAG任务。模型支持文本相似度计算，集成Langchain和FAISS向量存储功能，实现高效文档检索。项目提供自定义LLM的RAG实现示例，便于开发者快速应用和扩展。