Project Icon

kor

利用LLM高效提取文本结构化数据

Kor是一款原型工具,通过定义数据结构和提供示例,帮助从文本中提取结构化数据。该工具生成提示并发送给指定的LLM进行解析。兼容pydantic v1和v2,支持解析、函数调用和JSON模式等多种抽取方式。适用于精确理解用户请求并与API进行自然语言交互的场景。

项目介绍

介绍

Kor是一个帮助用户从文本中提取结构化数据的半成品原型工具,利用大型语言模型(LLMs)实现这一目标。用户需要提供一个提取方案,并给出一些示例,Kor会根据方案生成提示,发送给指定的LLM并解析输出。这实际上是另一个基于LLM的抽象封装。Kor还与LangChain框架集成。

Kor和LangChain的关系

利用LLMs进行信息提取的方法主要有三种:

  1. 基于提示/解析
  2. 函数/工具调用
  3. JSON模式

Kor在解析方法上有不错的实现,可以适用于各种支持不同功能的LLMs。提取的质量主要依赖于好的参考示例和明确的方案文档。

最新版本(1.0.0)发布

Kor已经升级到1.0.0版本,兼容Pydantic的两个版本(v1和v2)。这次升级主要是为了应对Pydantic v2带来的重大变化,比如需要为任何可选字段指定默认值,以及更严格的类型检查。Kor在Pydantic v2上的序列化尚未实现。

Kor风格方案

Kor允许用户定义一个抽象的提取方案,比如控制音乐播放器的简单指令,包括歌曲、专辑、艺术家和操作等。

from langchain.chat_models import ChatOpenAI
from kor import create_extraction_chain, Object, Text

llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0, max_tokens=2000)

schema = Object(
    id="player",
    description="用户控制音乐播放器的动作",
    attributes=[
        Text(id="song", description="歌曲"),
        Text(id="album", description="专辑"),
        Text(id="artist", description="艺术家"),
        Text(id="action", description="操作", examples=[("请停下音乐", "stop")]),
    ],
    many=False,
)

chain = create_extraction_chain(llm, schema, encoder_or_encoder_class='json')
chain.invoke("播放保罗·西蒙、齐柏林飞艇和门的歌曲")['data']

Pydantic风格方案

用户也可以使用Pydantic的方式定义方案,同样能够对请求进行验证和结构化。

from pydantic import BaseModel, Field
from enum import Enum

class Action(Enum):
    play = "play"
    stop = "stop"
    next_ = "next"
    previous = "previous"


class MusicRequest(BaseModel):
    song: Optional[List[str]] = Field(default=None, description="歌曲")
    album: Optional[List[str]] = Field(default=None, description="专辑")
    artist: Optional[List[str]] = Field(default=None, description="艺术家")
    action: Optional[Action] = Field(default=None, description="操作", examples=[("请停下音乐", "stop")])

兼容性和安装

Kor通过Python版本3.8至3.11的测试。想要安装这款工具,可以运行以下命令:

pip install kor

项目限制与建议

Kor目前还处于原型阶段,API不稳定,存在一些问题和限制,比如处理长文本时可能出现崩溃,但随着LLM的进步,这些问题可能会得到改善。

贡献与反馈

欢迎有想法和建议的用户打开问题讨论,更多贡献信息可参考CONTRIBUTING.md。同时,也推荐一些替代工具如Promptify和MiniChain。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号