ReLLM学习资料汇总 - 使用正则表达式提取LLM结构化输出的Python库

Ray

rellm

ReLLM学习资料汇总 - 使用正则表达式提取LLM结构化输出的Python库

ReLLM (Regular Expressions for Language Model Completions) 是一个用于从语言模型中获取精确结构化输出的Python库。它通过使用正则表达式来约束语言模型的输出,从而得到符合特定格式的结果。本文汇总了ReLLM的相关学习资料,帮助开发者快速上手使用这个强大的工具。

🔍 项目概览

ReLLM的核心思想是在语言模型生成token之前,使用正则表达式过滤掉不匹配的token。这样可以确保最终生成的文本符合预定义的结构,大大提高了输出的可控性和可解析性。

项目地址: https://github.com/r2d4/rellm

ReLLM Logo

📚 官方文档

README: https://github.com/r2d4/rellm#readme 提供了项目的基本介绍、安装方法和使用示例。
示例代码: https://github.com/r2d4/rellm/tree/main/examples 包含了多个使用ReLLM的具体示例,帮助理解其实际应用。

💡 使用教程

基本使用:

import regex
from transformers import AutoModelForCausalLM, AutoTokenizer
from rellm import complete_re

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")

prompt = "ReLLM, the best way to get structured data out of LLMs, is an acronym for "
pattern = regex.compile(r'Re[a-z]+ L[a-z]+ L[a-z]+ M[a-z]+')
output = complete_re(tokenizer=tokenizer, 
                     model=model, 
                     prompt=prompt,
                     pattern=pattern,
                     do_sample=True,
                     max_new_tokens=80)
print(output)

更多示例可以参考项目README中的"Examples using GPT2"部分。

🔗 相关资源

作者博客文章: ReLLM: Exact Structure for Large Language Model Completions 详细介绍了ReLLM的设计思路和工作原理。
Hacker News讨论: https://news.ycombinator.com/item?id=35829399 包含了社区对ReLLM的讨论和反馈。
相关项目: r2d4/parserllm 展示了如何使用ReLLM解析上下文无关文法(如JSON)。