#数据抽取
Scrapegraph-ai - 集成大语言模型和图逻辑的网络抓取Python库
Github开源项目PythonLLMScrapeGraphAI网络爬虫数据抽取热门
ScrapeGraphAI是一款集成大语言模型和图逻辑的高效网络抓取Python库。该库支持多种抓取流程,适用于网站和本地文件,如XML、HTML、JSON和Markdown。用户只需指定需要提取的信息,ScrapeGraphAI即可自动完成。该库易于安装,支持多种自定义配置,适合高级用户和开发者进行数据抓取和分析。
kor - 利用LLM高效提取文本结构化数据
Github开源项目LLM数据抽取LangChainKorpydantic
Kor是一款原型工具,通过定义数据结构和提供示例,帮助从文本中提取结构化数据。该工具生成提示并发送给指定的LLM进行解析。兼容pydantic v1和v2,支持解析、函数调用和JSON模式等多种抽取方式。适用于精确理解用户请求并与API进行自然语言交互的场景。