访问官网
Github
文档生成式人工智能示例
简介
基于GenAIComps的生成式人工智能示例提供了简化的部署、测试和扩展性。所有示例都完全兼容Docker和Kubernetes，支持多种硬件平台，如Gaudi、Xeon和其他硬件。
架构
GenAIComps是一个基于服务的工具，包括大语言模型、嵌入、重排等微服务组件。利用这些组件，可以构建GenAIExample中的各种示例，包括ChatQnA、DocSum等。
GenAIInfra是OPEA容器化和云原生套件的一部分，能够在云中快速高效地部署GenAIExamples。
GenAIEval测量GenAIExamples的服务性能指标，如吞吐量、延迟和准确性。该功能帮助用户轻松比较不同硬件配置的性能。
入门指南
GenAIExamples提供灵活的部署选项，以满足不同用户的需求，实现在各种环境中的高效使用和部署。以下简要概述了三种主要方法：Python启动、Docker Compose和Kubernetes。
用户可以根据设置的便捷性、可扩展性需求以及运行环境选择最合适的方法。
部署指南
默认情况下，部署基于已发布的Docker镜像，详细信息请查看Docker镜像列表。您也可以按照说明构建自己的镜像。
先决条件
- 对于基于Docker Compose的部署，您应该已安装Docker Compose。参考Docker Compose安装。
- 对于基于Kubernetes的部署，我们提供了3种方式，从最简单的清单到功能强大的基于GMC的部署。
部署示例
支持的示例
查看此处了解支持的示例、模型、硬件等详细信息。
