Project Icon

uniflow-llm-based-pdf-extraction-text-cleaning-data-clustering

多源文档提取与转换的统一LLM框架

uniflow是一个开源项目,为多种文档类型提供统一的LLM接口,实现数据提取和转换。支持PDF、HTML和TXT等格式,兼容OpenAI、Google Gemini和AWS BedRock等主流LLM模型。该项目致力于解决遗留文档处理和数据准备的难题,为数据科学家提供生成隐私保护训练数据集的工具,简化LLM微调流程。uniflow还包含多个实用案例,如财务报告分析和教育资料问答生成等。

Unfile - 一键将多种格式文档转换为AI可用纯文本
AI工作流AI工具API文件转换文档数据提取无代码
Unfile是一款专为AI工作流设计的文档数据提取工具。通过简单的API接口,可将PDF、CSV、TXT、XLS(X)和DOCX等格式文档快速转换为AI直接可用的纯文本。该工具采用一次性付费模式,无需订阅即可终身使用。Unfile提供详细文档和无代码友好的配置指南,便于用户快速上手。适用于需要在AI应用中处理大量文档的开发者和创业团队。
unstructured - 简化非结构化数据处理的开源工具
Githubopen-sourceunstructured开源项目数据处理模块函数预处理工具
该开源工具提供了处理图像和文本文档(PDF、HTML、Word文档等)的组件,能够优化大语言模型(LLM)的数据处理流程。通过模块化功能和连接器系统,简化数据导入和预处理,将非结构化数据高效转换为结构化数据。其无服务器API提供了高效、响应迅速的解决方案。快速入门指南涵盖了在容器中运行库以及多种安装方法。
wiseflow - 基于LLM的轻量级信息提取与分类工具
GithubLLM应用PocketBaseWiseFlow信息提取开源项目智能分类
WiseFlow是一个开源的信息提取和分类工具,利用大型语言模型从网站、微信公众号和社交媒体中提取关键信息。它具有轻量级设计,无需GPU即可运行。该工具特别适合处理微信公众号文章,可集成到Agent项目中作为动态知识库。WiseFlow使用Pocketbase数据库,并提供多种编程语言的SDK支持,实现高效的信息过滤和关键点组织。
llmdocparser - 基于LLM的智能PDF解析与内容分析工具包
GithubLLMDocParserPDF解析多模态模型布局分析开源项目文本分析
LLMDocParser是一款智能PDF解析和内容分析工具包,结合大型语言模型(LLM)技术。该工具采用布局分析模型识别PDF文档中的文本、标题、图表等元素,并通过多模态模型实现智能解析。支持Azure、OpenAI等多种LLM平台,LLMDocParser能高效处理复杂PDF文档,为RAG解决方案提供结构化文本输出,适用于各类文档智能化处理场景。
MinerU - 开源工具实现PDF到机器可读格式的高效转换
GithubMinerUPDF处理开源工具开源项目文本提取机器学习
MinerU是一个开源的PDF转换工具,专注于科研文献处理。它能将PDF转换为markdown和JSON等机器可读格式,同时保留原文档结构和语义连贯性。该工具支持移除页眉页脚,处理多列布局,提取图像和表格,以及将公式转换为LaTeX格式。MinerU兼容多种操作系统和硬件环境,可在CPU或GPU上运行,为大规模语言模型的发展提供数据支持。
PDF-Extract-Kit - 全面高效的PDF文档内容提取工具包
GithubPDF提取公式识别布局检测开源项目文档内容表格识别
PDF-Extract-Kit是一款集成多种先进技术的PDF内容提取工具包。它结合了LayoutLMv3布局分析、YOLOv8公式检测、UniMERNet公式识别、StructEqTable表格识别和PaddleOCR文字识别等功能,能够准确高效地提取各类PDF文档中的结构化内容。该工具适用于学术论文、教科书、研究报告和财务报表等多种文档类型,即使面对扫描质量欠佳或带有水印的PDF文件,也能保持稳定的提取效果。
llmflows - 用于构建透明和简化的LLM应用建设的LLMFlows框架
GithubLLMFlows大语言模型应用开源项目框架透明性
LLMFlows框架用于构建透明、简化的LLM应用,如聊天机器人和问答系统。通过提供基本的抽象层,确保组件完全透明,方便监控、维护和调试。用户可利用流和步骤类构建灵活的LLM应用,并通过异步支持优化性能,同时集成向量数据库和回调功能,实现全面控制和可见性。
thepipe - 全能多模态数据提取API 为LLM开发赋能
APIGithubLLM接口thepi.pe多模态数据提取开源项目文档处理
thepipe是一款多功能API,支持从PDF、网页、视频等多种来源提取markdown、表格和图像数据。该工具与GPT-4等视觉语言模型兼容,可轻松集成各类LLM和向量数据库。thepipe具备AI驱动的文件类型识别、版面分析和结构化数据提取能力,为多模态LLM开发提供综合支持。开发者可选择云端服务或本地部署方式使用。
unify - 整合多模型使用与提升性能的工具
APIGithubLLMUnify开源项目性能提升模型切换
Unify通过统一接口简化了不同提供商Large Language Models(LLM)的使用,无需管理多个API密钥或处理不同格式。用户可以通过自定义测试和评估,优化模型质量、成本和速度,并实现最佳模型路由,快速部署应用。安装包并获取API密钥后,即可管理模型、提供商与端点,自定义提示、多消息发送及异步处理和流式响应。更多详情,请访问Unify文档。
llmsherpa - PDF智能解析与大语言模型应用框架
GithubLLM SherpaLayoutPDFReaderPDF解析向量搜索开源项目文档结构分析
LLM Sherpa是一个开源项目,提供LayoutPDFReader工具用于智能解析PDF文档结构,包括章节、段落和表格。该工具支持精确分块并保留上下文信息,适用于向量搜索和生成式AI应用。项目提供API接口,便于集成到各类大语言模型应用中,如问答系统和文本摘要。LLM Sherpa简化了PDF处理流程,为开发者提供了高效的大语言模型应用开发框架。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号