CSGHub Server
是开源可靠的大模型资产管理平台 CSGHub 的一部分。它通过 REST API 专注于管理模型、数据集和其他 LLM 资产。
主要特性:
- 用户和组织的创建与管理
- 模型和数据集标签的自动标注
- 搜索用户、组织、模型和数据
- 在线预览数据集文件,如
.parquet
文件 - 文本和图像的内容审核
- 单个文件的下载,包括 LFS 文件
- 追踪模型和数据集的活动数据,如下载量和点赞量
演示
为了帮助用户快速了解 CSGHub 的功能和用法,我们录制了一个演示视频。您可以观看这个视频,快速了解该程序的主要功能和操作流程。
请访问 OpenCSG 网站 体验强大的管理功能。
快速开始
系统资源要求:4核 CPU/8GB 内存
请自行安装 Docker。本项目已在 Ubuntu22 环境下测试。
您可以通过 docker-compose 快速部署本地化的 CSGHub Server
服务:
# API 令牌应至少 128 个字符长,对 csghub-server 的 HTTP 请求需要将 API 令牌作为 Bearer 令牌发送以进行身份验证。
export STARHUB_SERVER_API_TOKEN=<API 令牌>
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d
技术架构
可扩展和可定制
- 支持不同的 git 服务器,如 Gitea、GitLab 等。
- 支持灵活配置 LFS 存储系统,您可以选择使用本地或任何兼容 S3 协议的第三方云存储服务。
- 按需启用内容审核,可选择任何第三方内容审核服务。
路线图
- 支持更多 Git 服务器:目前支持 Gitea,未来计划支持主流 Git 仓库。
- Git LFS:Git LFS 支持大文件,支持 Git 命令操作和通过 Web UI 在线下载。
- 数据集在线查看器:数据集预览,支持 LFS 格式数据集的 Top20/TopN 加载预览。
- 模型/数据集自动标签:支持自定义元数据和自动提取模型/数据集标签。
- S3 协议支持:支持 S3 (MinIO) 存储协议,提供更高的可靠性和存储成本效益。
- 模型格式转换:主流模型格式的转换。
- 模型一键部署:支持与 OpenCSG llm-inference 集成,一键启动模型推理。
许可证
我们使用 Apache 2.0 许可证,详细内容请查看 LICENSE
文件。
贡献
如果您希望贡献,请遵循贡献指南。我们非常期待您的贡献!
致谢
本项目基于 Gin、DuckDB、minio 和 Gitea 等开源项目。我们对他们的开源贡献表示衷心的感谢!
联系我们
如果您在使用过程中遇到任何问题,可以通过以下任何方式与我们联系:
- 在 GitHub 上提出 issue
- 扫描微信助手二维码加入我们的微信群
- 加入我们的官方 Discord 频道:OpenCSG Discord 频道
- 加入我们的 Slack 工作区:OpenCSG Slack 频道