LangStream
查看我们的网站。
有关完整的文档,请点击这里。
获取LangStream VS Code插件这里。
内容
CLI
警告 CLI需要您机器上已安装Java 11+。
安装
有多种方式可以安装CLI。
-
MacOS:
- Homebrew
brew install LangStream/langstream/langstream
- 使用curl下载二进制文件
curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
-
Unix:
- 使用curl下载二进制文件
curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
验证二进制文件是否可用:
langstream -V
请参阅CLI文档了解更多信息。
试用示例应用
即时运行示例Chat Completions应用:
export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test \
-app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions \
-s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml
在另一个终端窗口中:
langstream gateway chat test -cg consume-output -pg produce-input -p sessionId=$(uuidgen)
在示例文件夹中查看更多示例应用。
创建您自己的应用
要创建您自己的应用,请参阅开发者文档。
在Kubernetes上运行LangStream
LangStream已达到生产级别,强烈建议将其部署在Kubernetes集群上。 支持以下Kubernetes发行版:
- Amazon EKS
- Azure AKS
- Google GKE
- Minikube
要运行LangStream集群,您需要以下外部组件:
- Apache Kafka或Apache Pulsar集群
- 兼容S3 API的存储或Azure Blob Storage(Amazon S3,Google Cloud Storage,Azure Blob Storage,MinIO)
生产级部署
要安装LangStream,您可以使用langstream
Helm chart:
helm repo add langstream https://langstream.ai/charts
helm repo update
然后创建values文件。在此时,您已经需要有存储服务处于运行状态。
如果您使用的是S3,可以使用以下配置:
codeStorage:
type: s3
configuration:
access-key: <aws-access-key>
secret-key: <aws-secret-key>
对于Azure:
codeStorage:
type: azure
configuration:
endpoint: https://<storage-account>.blob.core.windows.net
container: langstream
storage-account-name: <storage-account>
storage-account-key: <storage-account-key>
现在使用它安装LangStream:
helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s
本地部署
要创建本地LangStream集群,建议使用minikube。
mini-langstream
可帮助您安装和管理本地集群。
要安装mini-langstream
:
- MacOS:
brew install LangStream/langstream/mini-langstream
- Unix:
curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh" | bash
然后启动集群:
mini-langstream start
部署应用:
export OPEN_AI_ACCESS_KEY=<your-openai-api-key>
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml
停止集群:
mini-langstream delete
请参阅mini-langstream文档了解更多信息。
开发
构建项目的要求:
- Docker
- Java 17
- Git
- Python 3.11+ 和 PIP
如果您想测试本地代码更改,可以使用mini-langstream
。
mini-langstream dev start
此命令将在minikube
上下文中构建图像,并使用快照图像安装所有LangStream服务。
一旦集群运行,如果您想构建并加载特定服务的新版本,可以运行:
mini-langstream dev build <service>
或所有服务
mini-langstream dev build