Cube Studio

英文 | 简体中文

整体架构

公司

帮助文档

https://github.com/tencentmusic/cube-studio/wiki

功能清单

Cube Studio 是一款开源的一站式云原生机器学习平台，目前主要包含

模块分组	功能模块	功能清单
基础能力	项目组管理	AI平台需要通过项目划分， 支持配置相应项目组用户的权限， 任务/服务的挂载，资源组，集群，服务代理， 项目组内角色应用
基础能力	网络	支持非80端口， 支持公网/域名， 支持反向代理和内网穿透方式访问， 支持https
基础能力	用户管理 角色管理/权限管理	管理平台用户的基本信息，组织架构，支持账号密码，rbac权限体系。 增加修改和删除，清理等操作的历史记录
基础能力	计量计费功能	1、支持平台资源限制的分配和查看；项目组资源限制，租户资源限制、任务资源限制，项目组下个人的资源限制，包括开发资源，训练资源、推理资源等。   额度限制限制在notebook，docker构建，pipeline，超参搜索，内部服务，推理服务中的生效。限制支持单任务，并行任务总和和历史任务总和等方法 2、提供统一的开发、训练、推理服务资源监控，从租户、项目、任务角度分析模型资源分配及使用情况。  3、支持自定义计费模式，通过计量结果自定义获取计费值
基础能力	SSO单点登录	账号密码注册自动登录， 支持对接公司账号体系AUTH_OID/AUTH_LDAP/AUTH_REMOTE_USER等登录注册方式， 支持消息推送。 增加登录验证，强密码，远程用户，登录频率限制，密码密文传输等
基础能力	支持多种算力	提供多种规格的资源支持不同的使用场景，cpu/gpu等 支持T4/V100/A100等多种卡型， 支持arm64芯片， 支持vgpu等模式。 支持国产gpu，支持调度海光dcu，华为npu，寒武纪mlu，天数智芯GPU， 支持rdma调度，mellanox。 支持gpu禁用模型，共享模式，独占模式
基础能力	多资源组/多集群	支持划分多资源组， 支持ipvs的k8s网络模式， 支持多k8s集群， 支持containerd容器运行态
基础能力	边缘集群	支持边缘集群模式，支持边缘节点开发，训练，推理
基础能力	serverless集群模式	支持腾讯云serverless集群模式，（notebook,pipeline,推理服务模块支持） 阿里云serverless集群模式（notebook,pipeline,推理服务模块支持）
基础能力	数据库存储	支持外部mysql作为元数据库 支持外部postgres作为元数据库
基础能力	机器资源管理	web界面控制机器调度类型，所属资源组，是否启动rdma，是否启动vgpu，可用任务场景等
基础能力	存储盘管理	支持web界面添加存储盘，支持项目组绑定，notebook pipeline 推理服务，直接在pod中挂载外部分布式存储。 支持nfs，cfs，oss，nas，cos，glusterfs，cephfs，s3/minio
基础能力	国际化能力	mlops支持配置多语言配置，目前支持中英文
数据管理	数据地图	元数据库表管理，指标，维表
数据管理	数据计算	sqllab交互查询，支持mysql，postgresql，clickhouse，hive，presto等计算引擎
数据管理	ETL编排	数据ETL任务流编排，任务管理等对接公司数据中台相应计算/调度引擎
数据管理	数据集管理	允许用户随时上传样本集（图片、音频、文本等）， 支持sdk进行数据集对接， 支持数据集一键探索功能
数据管理	数据标注	支持标注平台，图/文/音/多模态各类型标注能力， 对接一站式机器学习平台，支持自动化标注(需购买aihub)： 支持目标识别，目标边界识别，目标遮罩识别，图片分类，图片描述，ocr，关键点检测。支持大模型自动化标注：文本分类，文本翻译，命名实体识别，阅读理解，问答，摘要提取。
开发环境	镜像功能	镜像仓库/镜像管理/在线构建镜像。同时提供平台所有镜像，包括模板镜像/服务镜像/notebook镜像/gpu基础环境的构建方法和构建后镜像， 支持dockerfile在线构建 支持同一仓库多个秘钥配置
开发环境	notebook	支持基于开源的Jupyterlab/vscode，提供在线的交互式开发调试工具； 提供多种可选环境ide和开发示例，支持资源类型选择 支持大数据版本，机器学习版本，深度学习版本 大数据版本支持用户信息，hdfs客户端，hive客户端和spark客户端 支持ssh remote与notebook对接远程开发，方便快速将本地代码提交到平台的训练环境。 ssh隧道代理，单端口开放 支持matlab，Rstudio等在线ide 支持gpu，cpu，内存，监控，支持git交互 支持自定义notebook镜像，便于封装公司自己的notebook 多环境notebook，支持R语言/julia语言/python2.7/python3.6/python3.7/python3.8/python3.9/python3.10环境和cube-studio专有环境 支持 tensorboard任务可视化 notebook支持环境镜像保存 jupyter支持密码保护 notebook支持整卡占用，虚拟卡占用，gpu共享占用 支持notebook启动自动初始化环境
模型训练	拖拉拽任务流编排调试	提供拖拽式交互开发环境，支持开发者以拖拽的方式完成业务逻辑的PIPLINE； 支持单任务调试， 训练支持多种资源规格（CPU、GPU等），支持卡型的选择，超时重试等。 任务支持独占和共享占用gpu 分布式任务模板支持单任务调试用户镜像而非模板镜像 支持rdma资源占用 支持gpu不同厂商，不同卡型的占用 分布式任务模板支持gpu型号透传，rdma资源透传，拉取秘钥透传 pipeline调试，支持定时调度，补录，并发限制，超时，实例依赖等， 任务管理， workflow实例管理， 资源监控， 支持任务输入输出， 任务流全局变量， 文本/图片/echart结果可视化， 支持 workflow暂停和恢复。 支持任务流优先级 支持单任务和pipeline运行中任务监听端口提供运行中服务监听能力 任务流支持任务推荐 定时调度支持最大保留实例数 pipeline支持任务流优先级
模型训练	主流功能算子	基础算子： 自定义镜像， 逻辑节点， python 数据同步： 数据集导入，(支持huggingface数据集) datax，datax-import 模型导入(支持huggingface模型) 数据处理工具： hadoop/spark作业提交， volcanojob/ray分布式数据处理， sparkjob hadoop支持hadfs，hive命令，spark命令 特征处理： - 数据合并，包含union、join操作 - 去除重复样本 - 数据变换，包括boxcox转换、二值化、数据类型转换、dct变换、根据函数转换、ma移动平均、多项式展开 - 非数值型变量处理，包括hash、根据统计量转换、one-hot - 异常值检测 - 获取变量的统计量 - 去除值过于单一的变量 - 删除缺失率过高的值 - 填充缺失值 - 数据离散化，等宽、等频、聚类离散化 - 标准化、正则化、归一化，有最大绝对值归一化、最大最小归一化、z_score标准化 - 索引处理，包含增加索引、索引转列、列索引重命名 - 排序 - 执行sql - hadamard乘积 - 特征组合，用于衍生特征 - 降维，包括pca降维和卡方降维 - 特征重要性，通过随机森林、逻辑回归、xgboost等模型计算特征重要性，可计算特征的iv值、互信息值、方差等 - 特征向量间的相关性计算 - 数据拆分，包括列内拆分、列间拆分、行间拆分、svd奇异值分解 - 采样，包括随机采样、分层采样、过采样、欠采样 传统机器学习： ray-sklearn分布式， xgb单机训练推理 传统机器学习算法： ar/arima时间序列算法/random-forest/random-forest-regression/lr/lightgbm/knn/kmean/gbdt/decision-tree/pca/lda/catboost/xgb/超参搜索 分布式深度学习框架： tf/pytorch/mxnet/horovod/paddlejob/mindspore分布式训练 分布式加速框架： mpi/colossalai/deepspeed/horovod/megatron 模型处理： 模型评估， 模型格式转换 模型服务化： 模型注册， 模型离线推理, 模型部署 媒体分布式处理： 分布式媒体下载， 视频提取图片， 视频提取图片
模型训练	算子自定义	支持算子自定义，通过web界面操作将自定义算法代码镜像，注册为可被他人复用的pipeline算子
模型训练	自动学习	面向非AI背景的用户提供自动学习服务，用户选择某一个场景之后，上传训练数据即可自动开始训练和模型部署，支持示例automl任务流导入导出
模型训练	自定义镜像	面向高级 AI 开发者，提供自定义训练作业（执行环境 + 代码）功能；
模型训练	自动调参	基于单机/分布式自动超参搜索
模型训练	TensorBoard作业	实时/离线观察模型训练过程中的参数和指标变化情况
模型管理 推理服务	内部服务	支持开发或运维工具快捷部署，提供mysql-web，postgresql web，mobgo web， redis web，neo4j，rstudio等开源工具
模型管理 推理服务	模型管理	模型管理用于对模型多版本管理，支持模型发布为推理服务
模型管理 推理服务	推理服务	支持ml/tf/pytorch/tentortrt/onnx常规模型的多版本的0代码发布。 支持gpu卡型选择，支持vgpu，独占，共享占用， 支持cpu/mem/gpu等弹性伸缩， 支持服务优先级， 支持远程模型路径,支持流量分流，流量复制，sidecar配置，支持泛域名配置，支持配置文件挂载，启动目录/命令/环境变量/端口/指标/健康检查等 支持调试环境/测试环境/生产环境 支持域名/ip代理多种形式 支持服务负载指标监控 支持多版本服务滚动升级和回滚， 支持单pod滚动发布 支持禁用 k8s service负载均衡器 支持大模型分布式推理 提供ml/tf/pytorch/tentortrt/onnx常规模型推理服务镜像 支持用户自定义模型推理镜像 支持定时伸缩容 支持配置服务的jwt认证功能
监控	整体资源	所有集群，所有计算机器的使用情况，包括机器的所属集群，所属资源组，机器ip，cpu/gpu类型和卡型，当前cpu/内存/gpu的使用率 所有集群，所有计算pod的使用情况，包括pod所属集群，所属资源组，所属命名空间，调度ip，pod名称，启动用户，cpu，gpu，内存的申请使用率 整体资源页面，支持管理员批量删除
监控	监控体系	所有机器的gpu资源的使用情况， 所有机器的内存/cpu/网络io/磁盘io的负载情况， 所有pod的内存/cpu/gpu/网络io负载情况 所有推理服务的内存/cpu/gpu/qps/吞吐/vgpu负载情况 支持ib流量监控
模型应用市场	模型应用管理方案	提供cubestudio sdk，提供模型开发规范和使用规范
模型应用市场	模型应用管理方案	提供web端模型应用体验，支持同步/异步推理
模型应用市场	模型应用管理方案	提供开发多个python cuda版本的基础镜像
模型应用市场	预训练模型	提供视觉，听觉，nlp，多模态等400+预训练模型，提供预训练模型的模型加载和推理能力，可直接一键部署服务，并提供api
模型应用市场	模型市场	aihub应用对接cube-studio平台进行卡片式展示
模型应用市场	模型一键开发	提供一键转notebook开发，提供符合当前模型所需环境的jupyter
模型应用市场	模型一键微调	支持一键转pipeline微调链路，包括示例数据集下载，微调，模型注册，模型部署，支持微调后模型部署
模型应用市场	模型一键部署web	提供模型一键部署提供手机端和pc端web界面和api，和demo示例弹窗演示
模型应用市场	模型自动化标注	支持部署对接labelstudio自动化标注
模型应用市场	数据集sdk	支持通过python sdk搜索上传下载数据集，支持数据集的加解密/解压缩/数据集基础信息查看等
模型应用市场	notebook sdk	支持通过api，对接cube-studio创建notebook，并跳转到指定目录，用于其他算法平台在当前平台的调试和演示
模型应用市场	pipeline训练sdk	支持 AI开发主流语言 Python，提供 Python SDK支持用户通过SDK来进行 pipeline任务流管理和训练任务启动以及任务流编排
模型应用市场	推理服务sdk	提供 python sdk，对接 cube tudio进行推理服务的发布，服务升级
大模型	大模型分布式多机多卡	支持分布式多机多卡训练，例如 mpi/deepspeed/Colossal-AI
大模型	支持大模型推理aihub形式	支持 openjourney/gpt3/yuan/sd-v1.5/sd-v2/sd-v3/Stable Cascade/Stable Diffusion XL/chatglm/llama/chinese-alpaca/qwen/gemma/yi/aquilachat2部署
大模型	支持大模型推理openai接口	支持 fastchat+vllm 大模型推理，支持推理加速+流式接口
大模型	支持大模型微调	支持 chatglm2/chatglm3/chatglm4/llama3-chinese/qwen lora 微调，支持 llama-factory 100+llm 微调
大模型	智能对话	提供支持多场景对话，支持提示词构建，推理接口配置，llm问答，支持问询中模型切换，清理，历史上下文
大模型	私有知识库	私有知识库配置，私有知识库召回
大模型	私有知识库	支持 召回列表模式
大模型	私有知识库	支持 aigc 模式
大模型	私有知识库	支持 微信公众号服务号对接
大模型	私有知识库	支持 企业微信群聊机器人对接
大模型	私有知识库	支持 钉钉群聊机器人对接

支持模板

提示：

• 1、可自由定制任务插件，更适用当前业务需求

模块	模板	类型	文档地址
数据导入导出	datax	单机	job-template/job/datax/README.md
数据导入导出	数据集导入	单机	job-template/job/dataset/README.md
数据导入导出	模型导入	单机	job-template/job/model_download/README.md
数据预处理	data-process	单机	job-template/job/data-process/README.md
数据处理工具	hadoop	单机	job-template/job/hadoop/README.md
数据处理工具	ray	分布式	job-template/job/ray/README.md
数据处理工具	volcanojob	分布式	job-template/job/volcano/README.md
特征处理	feature-process	单机	job-template/job/feature-process/README.md
机器学习框架	ray-sklearn	分布式	job-template/job/ray-sklearn/README.md
机器学习算法	random_forest	单机	job-template/job/random_forest/README.md
机器学习算法	lr	单机	job-template/job/lr/README.md
机器学习算法	lightgbm	单机	job-template/job/lightgbm/README.md
机器学习算法	knn	单机	job-template/job/knn/README.md
机器学习算法	kmeans	单机	job-template/job/kmeans/README.md
机器学习算法	nni	单机	job-template/job/hyperparameter-search-nni/README.md
机器学习算法	xgb	单机	job-template/job/xgb/README.md
机器学习算法	gbdt	单机	job-template/job/gbdt/README.md
机器学习算法	decision-tree	单机	job-template/job/decision_tree/README.md
机器学习算法	bayesian	单机	job-template/job/bayesian/README.md
机器学习算法	adaboost	单机	job-template/job/adaboost/README.md
深度学习	tfjob	分布式	job-template/job/tf/README.md
深度学习	pytorchjob	分布式	job-template/job/pytorch/README.md
深度学习	paddle	分布式	job-template/job/paddle/README.md
深度学习	mxnet	分布式	job-template/job/mxnet/README.md
深度学习	mindspore	分布式	job-template/job/mindspore/README.md
深度学习	horovod	分布式	job-template/job/horovod/README.md
深度学习	mpi	分布式	job-template/job/mpi/README.md
深度学习	colossalai	分布式	job-template/job/colossalai/README.md
深度学习	deepspeed	分布式	job-template/job/deepspeed/README.md
深度学习	megatron	分布式	job-template/job/megatron/README.md
模型处理	model-evaluation	单机	job-template/job/model_evaluation/README.md
模型服务化	model-convert	单机	job-template/job/model-convert/README.md
模型服务化	model-register	单机	job-template/job/model_register/README.md
模型服务化	deploy-service	单机	job-template/job/deploy-service/README.md
模型服务化	model-offline-predict	分布式	job-template/job/offline-predict/README.md
多媒体类	media-download	分布式	job-template/job/video-audio/README.md
多媒体类	video-img	分布式	job-template/job/video-audio/README.md
多媒体类	video-audio	分布式	job-template/job/video-audio/README.md
大模型	llama	单机多卡	job-template/job/llama-factory
大模型	chatglm	单机多卡	job-template/job/llama-factory
大模型	qwen	单机多卡	job-template/job/llama-factory
大模型	deepseek	单机多卡	job-template/job/llama-factory
大模型	llama-factory	单机多卡	job-template/job/llama-factory

平台简介

完整的平台包含

• 1、机器的标准化
• 2、分布式存储(单机可忽略)、k8s集群、监控体系(prometheus/efk/zipkin)
• 3、基础能力(tf/pytorch/mxnet/valcano/ray等分布式，nni/ray超参搜索)
• 4、平台web部分(oa/权限/项目组、在线构建镜像、在线开发、pipeline拖拉拽、超参搜索、推理服务管理等)

算力/存储/用户管理

算力：

• 云原生统筹平台cpu/gpu等算力
• 支持划分多资源组，支持多k8s集群，多地部署
• 支持T4/V100/A100/昇腾/dcu/VGPU等异构GPU/NPU环境
• 支持边缘集群模式，支持边缘节点上开发/训练/推理
• 支持鲲鹏芯片arm64架构，RDMA

存储：

• 自带分布式存储，支持多机分布式下文件处理
• 支持外部存储挂载，支持项目组挂载绑定
• 支持个人存储空间/组空间等多种形式
• 平台内存储空间不需要迁移

用户权限：

• 支持sso登录，对接公司账号体系
• 支持项目组划分，支持配置相应项目组用户的权限
• 管理平台用户的基本信息，组织架构，rbac权限体系

多集群管控

cube支持多集群调度，可同时管控多个训练或推理集群。在单个集群内，不仅能做到一个项目组内对在线开发、训练、推理的隔离，还可以做到一个k8s集群下多个项目组算力的隔离。另外在不同项目组下的算力间具有动态均衡的能力，能够在多项目间共享公共算力池和私有化算力池，做到成本最低化。

分布式存储

cube会自动为用户挂载用户的个人目录，同一个用户在平台任何地方启动的容器，其用户个人子目录均为/mnt/$username。可以将pvc/hostpath/memory/configmap等挂载成容器目录。同时可以在项目组中配置项目组的默认挂载，进而实现一个项目组共享同一个目录等功能。

在线开发

• 系统多租户/多实例管理，在线交互开发调试，无需安装三方控件，只需浏览器就能完成开发。
• 支持vscode，jupyter，Matlab，Rstudio等多种在线IDE类型
• Jupyter支持cube-studio sdk，Julia，R，python，pyspark多内核版本，

• 支持c++，java，conda等多种开发语言，以及tensorboard/git/gpu监控等多种插件
• 支持ssh remote与notebook互通，本地进行代码开发
• 在线镜像构建，通过Web Shell方式在浏览器中完成构建；并提供各种版本notebook，inference，gpu，python等基础镜像

标注平台：

• 支持图/文/音/多模态/大模型多种类型标注功能，用户管理，工作任务分发
• 对接aihub模型市场，支持自动化标注；对接数据集，支持标注数据导入；对接pipeline，支持标注结果自动化训练

拖拉拽pipeline编排

1、Ml全流程

数据导入，数据预处理，超惨搜索，模型训练，模型评估，模型压缩，模型注册，服务上线，ml算法全流程

2、灵活开放

支持单任务调试、分布式任务日志聚合查看，pipeline调试跟踪，任务运行资源监控，以及定时调度功能(包含补录，忽略，重试，依赖，并发限制，过期淘汰等功能)

分布式框架

1、训练框架支持分布式（协议和策略）
2、代码识别分布式角色（有状态）
3、控制器部署分布式训练集群（operator）
4、配置分布式训练集群的部署（CRD）

多层次多类型算子

以k8s为核心，
1、支持tf分布式训练、pytorch分布式训练、spark分布式数据处理、ray分布式超参搜索、mpi分布式训练、horovod分布式训练、nni分布式超参搜索、mxnet分布式训练、volcano分布式数据处理、kaldi分布式语音训练等，
2、 以及在此衍生出来的分布式的数据下载，hdfs拉取，cos上传下载，视频采帧，音频抽取，分布式的训练，例如推荐场景的din算法，ComiRec算法，MMoE算法，DeepFM算法，youtube dnn算法，ple模型，ESMM模型，双塔模型，音视频的wenet，containAI等算法的分布式训练。

功能模板化

• 和非模板开发相比，使用模板建立应用成本会更低一些，无需开发平台。
• 迁移更加容易，通过模板标准化后，后续应用迁移迭代只需迁移配置模板，简化复杂的配置操作。
• 配置复用，通过简单的配置就可以复用这些能力，算法与工程分离避免重复开发。

为了避免重复开发，对pipeline中的task功能进行模板化开发。平台开发者或用户可自行开发模板镜像，将镜像注册到平台，这样其他用户就可以复用这些功能。平台自带模板在job-template目录下

流水线调试

• Pipeline调试支持定时执行，支持，补录，并发限制，超时，实例依赖等。
• Pipeling运行，支持变量在任务间输入输出，全局变量，流向控制，模板变量，数据时间等
• Pipeling运行，支持任务结果可视化，图片、csv/json，echart源码可视化

nni超参搜索

界面化呈现训练各组数据，通过图形界面进行直观呈现。 减少以往开发调参过程的枯燥感，让整个调参过程更加生动具有趣味性，完全无需丰富经验就能实现更精准的参数控制调节。

# 上报当前迭代目标值
nni.report_intermediate_result(test_acc)
# 上报最终目标值
nni.report_final_result(test_acc)

# 接收超参数为输入参数
parser.add_argument('--batch_size', type=int)

推理服务

无需编写代码即可发布推理服务，覆盖从底层到上层的各个阶段，包括服务网格、Serverless架构、流水线、HTTP框架以及模型计算。

• 服务网格阶段：主要负责流量的中转与管控，例如流量分流、镜像配置、限流、黑白名单等。
• Serverless阶段：主要实现服务的智能化运维，如服务的自动激活、弹性伸缩、版本管理及蓝绿部署等。
• 流水线阶段：主要处理请求在不同数据处理或推理模块之间的流转，以及推理前后的预处理逻辑。
• HTTP/GRPC框架：主要负责接收客户端请求、准备推理样本并生成响应。
• 模型计算：在CPU或GPU上对输入样本进行前向计算。

主要功能：

• 支持模型的注册与管理、灰度发布、版本回滚、模型指标可视化，以及在流水线中注册模型。
• 推理服务支持多集群、多资源组、异构GPU环境，能够统筹监控平台资源、使用vGPU技术、进行流量分流与复制，并集成Sidecar代理。
• 支持零代码模型发布、GPU加速推理、训练与推理混部、服务优先级设置以及基于自定义指标的弹性伸缩。

监控与推送

监控：cube-studio集成了Prometheus生态，可监控主机、进程、服务流量、GPU负载等相关指标，并通过Grafana进行可视化展示。

推送：cube-studio提供了开放的推送接口，用户可以自定义将监控数据推送到企业OA系统中。

AIHub

• 系统自带超过400个通用模型，覆盖绝大多数行业场景，且可根据需求持续扩充。
• 模型开源、支持按需定制，便于快速集成，满足用户业务增长及二次开发升级的需求。
• 通过标准化的开发与管理流程，大幅降低使用门槛，开发周期平均缩短30%以上。

• AIHub中的模型可一键部署为Web应用，同时支持移动端和PC端访问，用户可实时查看模型的应用效果。
• 点击模型开发入口即可进入Notebook环境，进行模型代码的二次开发，实现快速迭代。
• 点击“训练”按钮，用户可上传自有数据进行一键微调，使模型更贴合自身业务场景。

GPT训练与微调

• cube-studio支持DeepSpeed、ColossalAI等分布式加速框架，可一键实现大模型的多机多卡分布式训练。
• AIHub内置GPT及AIGC大模型，用户可将其转换为微调流水线，替换为自有数据后即可进行微调并部署。

GPT-RDMA

RDMA插件部署后，Kubernetes节点可用资源如下：

capacity:
  cpu: '128'
  memory: 1056469320Ki
  nvidia.com/gpu: '8'
  rdma/hca: '500'

在分布式训练代码中，可通过以下环境变量使用IB设备：

export NCCL_IB_HCA=mlx5
export MLP_WORKER_GPU=$GPU_NUM
export MLP_WORKER_NUM=$WORLD_SIZE
export MLP_ROLE_INDEX=$RANK
export MLP_WORKER_0_HOST=$MASTER_ADDR
export MLP_WORKER_0_PORT=$MASTER_PORT

GPT私有知识库

• 数据智能模块支持配置专业领域的智能对话，帮助用户快速高效地利用LLM。
• 可为特定聊天场景配置私有知识库文件，支持主题分割、语义嵌入、意图识别、摘要提取、多路召回与排序等多种功能的融合。

GPT智能聊天

• 可以将智能会话与AIHub结合使用，例如下文所示的AIGC模型与聊天会话。
• 支持通过Autogpt方式串联所有AIHub模型，实现图文音的智能化处理。
• 智能会话可以直接对接公共平台，例如在微信公众号中进行图文音交互。

数据中台对接

为加速AI算法平台的使用，cube-studio支持对接企业现有的数据中台，包括数据计算引擎SQLLab、元数据管理、指标管理、维表管理、数据ETL及数据集管理等功能。

三种部署方式

针对企业的不同需求及对计算实时性的要求，提供三种建设模式：

模式一：私有化部署——适用于对数据安全要求高、预算充足且具备开发能力的企业。 模式二：边缘集群部署——适用于算力分散、存在多个子网环境或边缘设备场景的企业。 模式三：Serverless集群——适用于成本有限、按需申请算力的企业。

边缘计算

通过边缘集群的方式，在中心节点部署平台，并将边缘节点纳入调度体系。每个私有网络用户可通过项目组将Notebook、流水线及服务部署到边缘节点上：

• 1. 避免数据传输至中心节点带来的带宽压力；
• 2. 减少中心节点的算力成本，充分利用边缘节点的算力资源；
• 3. 降低边缘节点的运维成本。

Cube Studio 快速上手指南

Cube Studio 是一款开源的一站式云原生机器学习平台，提供从数据准备、模型开发、训练、推理到资源管理的全流程支持。本指南将帮助您快速完成环境搭建并体验核心功能。

环境准备

在部署前，请确保您的基础设施满足以下要求：

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+ 或 CentOS 7+)
• Kubernetes 集群: v1.20+ (支持多集群部署)
• 容器运行时: containerd 或 Docker
• 网络模式: 支持 IPVS 模式的 K8s 网络插件

硬件资源

• 计算资源: 支持 CPU/GPU 混合调度
  • 通用 GPU: T4, V100, A100 等
  • 国产算力: 海光 DCU, 华为 NPU, 寒武纪 MLU, 天数智芯 GPU
  • 架构支持: x86_64 及 ARM64
• 存储: 需配置持久化存储类 (StorageClass) 用于挂载任务和服务
• 网络: 需开放相应端口，支持域名解析或内网穿透

前置依赖

• Helm v3.0+
• kubectl (已配置集群访问权限)
• MySQL/PostgreSQL (用于元数据存储，也可使用内置方案)
• Redis (可选，用于缓存加速)

提示: 国内用户建议使用阿里云、腾讯云或华为云的 ACK/TKE 托管集群以获得更好的网络加速体验。

安装步骤

Cube Studio 主要通过 Helm Chart 进行部署。以下是标准安装流程：

1. 添加 Helm 仓库

helm repo add cube-studio https://tencentmusic.github.io/cube-studio/
helm repo update

(注：若官方源访问缓慢，可尝试配置国内镜像代理或使用本地 chart 包)

2. 创建命名空间

kubectl create namespace cube-studio

3. 安装核心组件

执行以下命令部署平台基础服务（包含用户管理、项目管理、任务调度等）：

helm install cube-studio cube-studio/cube-studio \
  --namespace cube-studio \
  --set global.storageClass=<your-storage-class> \
  --set global.domain=<your-domain-or-ip>

请将 <your-storage-class> 替换为您的存储类名称，<your-domain-or-ip> 替换为访问地址。

4. 验证部署状态

kubectl get pods -n cube-studio

等待所有 Pod 状态变为 Running 即表示安装成功。

5. 获取访问入口

查看服务暴露的 IP 或域名：

kubectl get svc -n cube-studio

默认通过 NodePort 或 Ingress 暴露服务，浏览器访问 http://<IP>:<Port> 即可进入登录页。

基本使用

安装完成后，您可以按照以下步骤快速体验核心功能：

1. 初始化管理员账号

首次访问时，使用默认超级管理员账号登录（具体默认密码请参考部署后的 Secret 或日志输出）：

• 用户名：admin
• 密码：(查看 kubectl get secret -n cube-studio)

登录后建议立即在“用户管理”模块修改密码并配置 SSO（支持 LDAP/OIDC）。

2. 创建项目组与资源配置

• 进入项目组管理，新建一个项目（例如：demo-project）。
• 在项目设置中配置资源配额（Quota），限制该项目可使用的 CPU、GPU 及内存上限。
• 邀请成员加入项目并分配角色（开发者、运维、观察者等）。

3. 启动在线开发环境 (Notebook)

• 在项目详情页点击新建任务 -> 选择Notebook。
• 选择镜像（支持预置 PyTorch/TensorFlow 镜像或自定义镜像）。
• 选择算力规格（如：1 核 2G 或 1 张 T4 GPU）。
• 点击提交，等待状态变为“运行中”。
• 点击“访问链接”，即可在浏览器中打开 JupyterLab 进行代码开发与数据探索。

4. 提交训练任务 (Pipeline)

• 准备好训练代码并上传至 Git 或对象存储。
• 进入流水线 (Pipeline) 模块，新建工作流。
• 拖拽组件构建流程：数据加载 -> 模型训练 -> 模型评估。
• 配置超参数搜索策略（可选）。
• 提交运行，平台将自动调度集群资源执行训练，并实时展示日志与监控指标。

5. 模型部署与服务化

• 训练完成后，在模型仓库中注册生成的模型文件。
• 点击部署服务，选择推理镜像与资源规格。
• 平台将自动生成 API 接口，支持公网/内网访问，并提供 QPS、延迟等监控看板。

---

更多高级功能（如计量计费、多集群调度、国产芯片适配）请参考官方文档：https://github.com/tencentmusic/cube-studio/wiki