Huggingface项目简介
reader-lm-1.5b项目是由Jina AI开发的一个多语言文本生成模型系列中的一员，主要用于将HTML内容转换为Markdown格式。这种转换对于内容转换任务尤其有用。该模型是在一个精心挑选的HTML内容及其对应的Markdown内容集上进行训练的，从而能够实现高效的文本格式转换。
模型概述
reader-lm-1.5b是Jina Reader-LM系列中的一个重要模型。这个系列的模型主要设计用于将HTML内容转换为Markdown格式，适用于各种内容转换任务。模型提供了不同大小和上下文长度的版本，以满足多样化的需求。具体来说，reader-lm-1.5b具有256K的上下文长度，并可供用户在Hugging Face上下载。
如何开始使用
在Google Colab上使用
使用reader-lm的最简单办法是运行Jina AI提供的Colab示例笔记本。在这个笔记本中，用户可以学习如何使用reader-lm-1.5b将HackerNews网站内容转换为Markdown格式。这个笔记本经过优化，可在Google Colab的免费T4 GPU上顺畅运行。此外，用户还可以切换使用reader-lm-0.5b或更改网址，以探索不同网站内容转换的效果。需要注意的是，输入给模型的内容是未经处理的原始HTML，并不需要额外的前缀指令。
本地环境使用
要在本地使用该模型，需要首先安装transformers库。安装完成后，可以参考以下代码实例，将HTML内容转换为Markdown格式：
pip install transformers<=4.43.4
接下来，使用Python代码示例：
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "jinaai/reader-lm-1.5b"
device = "cuda" # 使用GPU或改为"cpu"使用CPU
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
# 示例HTML内容
html_content = "<html><body><h1>Hello, world!</h1></body></html>"
messages = [{"role": "user", "content": html_content}]
input_text=tokenizer.apply_chat_template(messages, tokenize=False)
print(input_text)
inputs = tokenizer.encode(input_text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0, do_sample=False, repetition_penalty=1.08)
print(tokenizer.decode(outputs[0]))
使用AWS Sagemaker和Azure Marketplace
用户可以通过AWS Sagemaker和Azure Marketplace方便地部署该模型。无论是0.5b还是1.5b版本，都可以通过它们各自的平台轻松访问：
通过这些平台，用户能够在不同的云服务环境中灵活使用和部署reader-lm模型，提高工作效率。
