gpt-j-api - 与GPT-J语言模型互动的文本生成和多语言分类API

项目简介：gpt-j-api 🦜

gpt-j-api 是一个用来与 GPT-J 语言模型及其变体进行交互的 API 项目。用户可以通过两种方式使用和测试这个强大的语言模型：

利用 Streamlit Web 应用程序，其网址为 http://api.vicgalle.net:8000/
访问官方文档详尽说明的 API，网址为 http://api.vicgalle.net:5000/docs

开放 API 接口 🔓

此项目提供了一些无需认证的公开 API 接口，供用户方便地进行文本处理及分类操作。

GPT-J 文本生成 🤖

用户可以通过 POST /generate/ 接口请求生成文本。

多语言零样本文本分类 🌍

用户可以通过 POST /classify/ 接口进行跨语言文本分类。

如何使用 API 🔥

用户可以通过几种简单的方式调用 API：

Python 代码调用：

文本生成示例：

import requests

context = ("In a shocking finding, scientist discovered a herd of unicorns living "
           "in a remote, previously unexplored valley, in the Andes Mountains. "
           "Even more surprising to the researchers was the fact that the unicorns spoke perfect English.")

payload = {
    "context": context,
    "token_max_length": 512,
    "temperature": 1.0,
    "top_p": 0.9,
}
response = requests.post("http://api.vicgalle.net:5000/generate", params=payload).json()
print(response)

零样本分类示例：

import requests

payload = {
    "sequence": "The movie started slow, but in the end was absolutely amazing!",
    "labels": "positive,neutral,negative"
}
response = requests.post("http://api.vicgalle.net:5000/classify", params=payload).json()
print(response)

Bash 命令调用：

使用命令行通过 curl 调用生成文本：

curl -X 'POST' \
  'http://api.vicgalle.net:5000/generate?context=In%20a%20shocking%20finding%2C%20scientists%20discovered%20a%20herd%20of%20unicorns%20living%20in%20a%20remote%2C%20previously%20unexplored%20valley%2C%20in%20the%20Andes%20Mountains.%20Even%20more%20surprising%20to%20the%20researchers%20was%20the%20fact%20that%20the%20unicorns%20spoke%20perfect%20English.&token_max_length=512&temperature=1&top_p=0.9' \
  -H 'accept: application/json' \
  -d ''

API 服务器的部署

此项目可以在 TPU VM 上运行，支持 v2-8 和 v3-8 型号。部署步骤如下：

安装项目所需的依赖项及获取模型权重：

python3 -m pip install -r requirements.txt
wget https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd
sudo apt install zstd
tar -I zstd -xf step_383500_slim.tar.zstd
rm step_383500_slim.tar.zstd

运行服务：
```
python3 serve.py
```
此后，可以通过访问 http://localhost:5000/docs 来使用 API。

部署 Streamlit 仪表盘

运行以下命令以启动 Streamlit 仪表盘：

python3 -m streamlit run streamlit_app.py --server.port 8000

联系方式

如有请求或疑问，可以联系 vgallegoalcala at gmail dot com。

项目赞助者 🦄

特别感谢以下赞助此项目的人员：

Aspie96

致谢 ✨

感谢 TPU Research Cloud 的支持。