英语 ∙ 简体中文 ∙ 日语

CSGHub Server 是开源且可靠的大模型资产管理平台 - CSGHub 的一部分。它通过 REST API 专注于管理模型、数据集及其他 LLM 资产。

核心功能：

• 用户和组织的创建与管理
• 模型和数据集标签的自动打标
• 搜索用户、组织、模型和数据
• 数据集文件的在线预览，如 .parquet 文件
• 文本和图像的内容审核
• 单个文件的下载，包括 LFS 文件
• 模型和数据集活动数据的追踪，例如下载量和点赞数

演示

为了帮助用户快速了解 CSGHub 的功能和使用方法，我们录制了一段演示视频。您可以通过观看该视频，快速掌握本程序的主要功能和操作流程。

• CSGHub 演示视频如下，您也可以在 YouTube 或 Bilibili 上查看：

请访问 OpenCSG 官网 体验其强大的管理功能。

快速开始

系统资源要求：4核 CPU/8GB 内存

请自行安装 Docker。本项目已在 Ubuntu22 环境中测试通过。

您可以通过 docker-compose 快速部署本地化的 CSGHub Server 服务：

# API 令牌长度应至少为 128 个字符，对 csghub-server 的 HTTP 请求需要以 Bearer 令牌形式发送 API 令牌进行身份验证。
export STARHUB_SERVER_API_TOKEN=<API token>
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

在本地启动 CSGHub Server 服务

CSGHub 支持 TOML 格式的配置文件。从命令行启动任何服务时，可以使用 --config 选项指定配置文件：

go run cmd/csghub-server/main.go start server --config local.toml
go run cmd/csghub-server/main.go deploy runner --config local.toml
...

我们提供了一个 示例配置文件，您可以将其重命名并根据需要修改后使用。所有可用配置均定义在 此 Go 文件 中。TOML 配置采用 snake_case 命名规范，名称会自动映射到对应的结构体字段名。

技术架构

可扩展与可定制

• 支持不同的 Git 服务器，如 Gitea、GitLab 等。
• 支持灵活配置 LFS 存储系统，您可以选择使用本地存储或任何兼容 S3 协议的第三方云存储服务。
• 可按需启用内容审核，并选择任意第三方内容审核服务。

路线图

• 支持更多 Git 服务器：目前支持 Gitea，未来计划支持主流 Git 仓库。
• Git LFS：Git LFS 支持大文件，并通过 Web UI 支持 Git 命令操作和在线下载。
• 数据集在线查看器：数据集预览，支持 LFS 格式数据集的 Top20/TopN 加载预览。
• 模型/数据集自动打标：支持自定义元数据及模型/数据集标签的自动提取。
• S3 协议支持：支持 S3（MinIO）存储协议，提供更高的可靠性和存储成本效益。
• 模型格式转换：主流模型格式的转换。
• 模型一键部署：支持与 OpenCSG llm-inference 集成，一键启动模型推理。

许可证

我们采用 Apache 2.0 许可证，具体内容详见 LICENSE 文件。

贡献

如果您希望贡献代码，请遵循 贡献指南。我们非常期待您的参与！

在开始开发之前，我们强烈建议您查阅我们的 后端开发者指南，其中提供了有助于顺利开发过程的信息。

致谢

本项目基于 Gin、DuckDB、minio 和 Gitea 等开源项目。我们衷心感谢这些项目对开源社区的贡献！

联系我们

如果您在使用过程中遇到任何问题，可以通过以下方式联系我们：

1. 在 GitHub 上提交 issue
2. 扫描微信助手二维码加入我们的微信群
3. 加入我们的官方 Discord 频道：OpenCSG Discord 频道
4. 加入我们的 Slack 工作区：OpenCSG Slack 频道

                                     

CSGHub Server 快速上手指南

CSGHub Server 是开源大模型资产管理平台 CSGHub 的核心服务端组件，专注于通过 REST API 管理模型、数据集及其他 LLM 资产。

1. 环境准备

在开始部署前，请确保您的服务器满足以下要求：

• 操作系统：推荐 Ubuntu 22.04（已在该环境测试通过）
• 硬件资源：至少 4 核 CPU / 8GB 内存
• 前置依赖：
  • 已安装 Docker 及 Docker Compose
  • 具备 curl 命令工具

2. 安装步骤

本项目推荐使用 Docker Compose 进行快速本地化部署。请按照以下步骤操作：

第一步：配置 API Token

设置一个长度至少为 128 字符的 API Token，用于后续服务的身份验证（Bearer Token）。

export STARHUB_SERVER_API_TOKEN=<在此处填入至少 128 字符的 API Token>

第二步：准备数据目录

创建必要的存储目录并赋予权限：

mkdir -m 777 gitea minio_data

第三步：下载并启动服务

获取官方 docker-compose.yml 配置文件并启动服务：

curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

启动完成后，服务将在后台运行。您可以访问 OpenCSG 官网 体验完整的管理功能。

3. 基本使用

本地开发模式启动

如果您需要在本地源码环境中直接启动服务（例如进行二次开发），CSGHub 支持通过 TOML 配置文件启动。

1. 准备配置文件： 复制示例配置文件并根据需要修改：

   cp common/config/config.toml.example local.toml
   # 编辑 local.toml 以适配您的本地环境
   

2. 启动核心服务： 使用 go run 命令配合 --config 参数启动服务器或部署运行器：

   # 启动 CSGHub Server 主服务
   go run cmd/csghub-server/main.go start server --config local.toml
   
   # 部署 Runner 服务
   go run cmd/csghub-server/main.go deploy runner --config local.toml
   

核心功能概览

服务启动后，您可以通过 API 或前端界面使用以下核心功能：

• 用户与组织管理：创建和管理用户及组织架构。
• 资产检索：搜索用户、组织、模型和数据集。
• 在线预览：直接在线预览 .parquet 等格式的数据集文件。
• 内容审核：支持文本和图片的自动内容合规性检测。
• 文件下载：支持单个文件下载，包括 Git LFS 大文件。
• 数据统计：追踪模型的下载量、点赞数等活动数据。