Groq2API - 多平台支持的开源AI模型API

Groq2API 项目介绍

什么是 Groq2API？

Groq2API 是一个可以通过不同的部署方式轻松设置和使用的 API 项目。此项目旨在为用户提供一种简单的方式来处理和生成自然语言，通过选择不同的模型和输入参数，提供个性化和动态的响应。

安装和部署

要安装 Groq2API，只需使用 Docker。在命令行中运行以下命令即可启动服务：

docker run -d -p 8080:8080 ghcr.io/star-studio-develop/groq2api:latest

此外，用户也可以通过多种托管平台来部署 Groq2API，例如 Vercel、Koyeb、Render 和 Railway。这些平台提供了方便的按钮，用户可以直接点击这些按钮，根据指引完成部署。

使用说明

Groq2API 支持多种参数配置，用户可以根据需求灵活调整：

模型选择 (model)：用户可以选择不同的语言模型，如 gemma-7b-it、mixtral-8x7b-32768、llama2-70b-4096、llama3-8b-8192 和 llama3-70b-8192。这些模型各自有不同的特点和应用场景。
流式输出 (stream)：用户可以设定为 true 或 false，控制 API 的输出方式。当设置为 true 时，系统将以流的形式返回生成的结果。
最大生成长度 (max_tokens)：用户可以设定生成内容的长度。不同的模型支持不同的最大生成长度，如 4096、8192 或 32768。
消息角色 (message 和 role)：在交互中，用户可以定义消息的角色，常见的角色为 user 和 assistant。

使用 Curl 工具，用户可以通过 POST 请求直接与 API 交互。例如：

curl --request POST \
  --url http://127.0.0.1:8080/v1/chat/completions \
  --header 'Authorization: Bearer stytch_session' \
  --data '{
  "messages": [
    {
      "role": "user",
      "content": "hi"
    }
  ],
  "model": "mixtral-8x7b-32768",
  "max_tokens": 4096,
  "stream": true
}'

以上请求示例中，用户指定了使用 mixtral-8x7b-32768 模型，设定最大生成长度为 4096，并要求以流式输出形式返回结果。

身份验证

在使用 API 时，需要通过 stytch_session 来进行身份验证。stytch_session 是一种安全令牌，用户需要确保在请求头中包含该令牌，以便顺利完成 API 调用。

总结

Groq2API 是一个强大的工具，为用户提供灵活且可扩展的自然语言输入和输出解决方案。通过简单的安装和多样的部署方式，它大大降低了技术门槛，同时也提供了丰富的参数设置，以满足不同用户的需求和应用场景。