快速安装

只需一条命令即可快速启动并运行：

curl -O https://raw.githubusercontent.com/logicalclocks/hopsworks-k8s-installer/master/install-hopsworks.py
python3 install-hopsworks.py

什么是 Hopsworks？

Hopsworks 是一个面向机器学习的 实时 AI 数据湖仓，配备以 Python 为中心的特征存储和 MLOps 能力。Hopsworks 是一个模块化平台。您可以将其用作独立的特征存储，也可以用于管理、治理和部署您的模型，甚至可以用来开发和运维特征管道与训练管道。Hopsworks 为机器学习团队提供协作支持，打造一个安全、受治理的平台，用于开发、管理和共享机器学习资产——包括特征、模型、训练数据、批量评分数据、日志等。

🚀 快速入门

APP - 无服务器（测试版）

→ 前往 app.hopsworks.ai

Hopsworks 现已推出无服务器应用版本，您只需访问 app.hopsworks.ai，使用您的 Gmail 或 Github 账户注册即可。注册后，您就可以运行教程或直接体验 Hopsworks。在深入探索更高级的功能及安装要求之前，这是体验该平台的首选方式。

Azure、AWS 和 GCP

Managed Hopsworks 是我们在云端运行 Hopsworks 和特征存储的平台，可直接与客户的 AWS/Azure/GCP 环境集成。它还能无缝对接 Databricks、SageMaker 和 KubeFlow 等第三方平台。

如果您希望在 Azure、AWS 或 GCP 环境中运行 Hopsworks，请参考我们文档中的以下指南：

• AWS 指南
• Azure 指南
• GCP 指南

安装程序 - 本地部署

Hopsworks 支持本地部署，这意味着企业可以在自有硬件和基础设施上运行机器学习工作负载，而不必依赖云服务提供商。这种方式能够带来更高的灵活性、更强的控制能力以及成本节约，同时帮助企业满足特定的合规性和安全性要求。

在本地环境中使用 Hopsworks 通常需要与 Hopsworks 工程团队密切合作，因为每个企业的基础设施都独一无二，部署和配置也需要量身定制。这一过程始于对企业现有基础设施和需求的评估，包括网络拓扑、安全策略以及硬件规格。

如需了解更多关于本地部署的信息，请 联系我们。

系统要求

您至少需要一台服务器或虚拟机来安装 Hopsworks，其最低配置如下：

• CentOS/RHEL 8.x 或 Ubuntu 22.04；
• 至少 32GB 内存，
• 至少 8 个 CPU 核心，
• 100 GB 的可用磁盘空间，
• 具有 sudo 权限的 UNIX 用户账户。

🎓 文档与 API

文档

Hopsworks 文档包含用户指南、特征存储文档以及管理指南。此外，我们还提供了相关概念，帮助用户理解特征存储和 MLOps 的抽象逻辑：

• 特征存储： https://docs.hopsworks.ai/latest/concepts/fs/
• 项目： https://docs.hopsworks.ai/latest/concepts/projects/governance/
• MLOps： https://docs.hopsworks.ai/latest/concepts/mlops/prediction_services/

API

Hopsworks API 文档分为三大类：Hopsworks API 涵盖项目级别的接口，Feature Store API 涉及特征组、特征视图和连接器，而 MLOps API 则专注于模型注册表、模型服务和部署。

• Hopsworks API - https://docs.hopsworks.ai/hopsworks-api/latest.1/generated/api/connection/
• Feature Store API - https://docs.hopsworks.ai/feature-store-api/latest/generated/api/connection_api/
• MLOps API - https://docs.hopsworks.ai/machine-learning-api/latest/generated/connection_api/

教程

大多数教程要求您至少在 app.hopsworks.ai 上拥有一个账户。您可以浏览专门的 https://github.com/logicalclocks/hopsworks-tutorials 仓库，其中包含了我们的教程，或者直接进入现有的用例之一：

• 欺诈检测（批处理）：https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
• 欺诈检测（在线）：https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
• 客户流失预测：https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn

📦 主要特性

基于项目的企业级多租户与团队协作

Hopsworks 提供项目作为安全的沙盒环境，团队可以在其中协作并共享机器学习资产。Hopsworks 独特的多租户项目模型甚至允许将敏感数据存储在共享集群中，同时仍能实现跨项目边界的细粒度 ML 资产共享能力。项目可用于组织团队，使他们从原始数据到管理特征和模型都拥有端到端的责任。此外，项目还可以用于为数据团队创建开发、预发布和生产环境。所有 ML 资产均支持版本控制、血缘关系追踪和溯源功能，从而为所有 Hopsworks 用户提供从特征工程到模型服务的完整 MLOps 生命周期视图。

开发与运维

Hopsworks 为数据科学提供了丰富的开发工具，包括 Python 的 conda 环境、Jupyter 笔记本、作业调度任务，甚至可以直接将笔记本作为作业运行。您可以使用内置的 Airflow 构建生产级流水线，甚至在 Airflow 上通过 GPU 运行机器学习训练任务。您可以在 Hopsworks 集群中利用所有已安装的 GPU 训练模型，并轻松地在用户之间共享这些模型。此外，您还可以在 Hopsworks 上运行 Spark、Spark Streaming 或 Flink 程序，并支持云端弹性计算节点（动态添加或移除工作节点）。

跨平台部署

Hopsworks 既可在 AWS、Azure 和 GCP 等公有云上以托管平台的形式使用，也可以安装在任何基于 Linux 的虚拟机上（兼容 Ubuntu/Redhat），甚至适用于气隙数据中心。Hopsworks 还提供无服务器平台，可管理和部署您的特征及模型。

🧑‍🤝‍🧑 社区

贡献

我们正在构建市场上最全面、最模块化的机器学习平台，并期待您的支持，持续改进 Hopsworks。欢迎您随时提出建议、报告问题 或为我们的库添加新功能。

加入社区

• 在 Hopsworks 社区 提问并反馈；
• 加入我们的公共 Slack 频道；
• 关注我们的 Twitter；
• 查看我们所有的最新 产品发布。

开源

Hopsworks 采用 AGPL-V3 许可证 开源。简单来说，这意味着您可以自由使用 Hopsworks，甚至在其基础上构建付费服务；但如果您对源代码进行修改，则必须以 AGPL-V3 许可证公开您的修改内容以及基于此构建的所有系统。

Hopsworks 快速上手指南

Hopsworks 是一个实时 AI 数据湖仓（AI Lakehouse），核心提供以 Python 为中心的特征存储（Feature Store）和 MLOps 能力。它支持团队协作、模型治理、特征管道开发及模型服务化，适用于从独立特征存储到完整 ML 生命周期管理的多种场景。

1. 环境准备

在本地或服务器部署前，请确保满足以下硬件与系统要求：

• 操作系统：CentOS/RHEL 8.x 或 Ubuntu 22.04
• 内存：至少 32GB RAM
• CPU：至少 8 核
• 磁盘空间：至少 100GB 可用空间
• 用户权限：拥有 sudo 权限的 UNIX 用户账户
• 依赖环境：已安装 Python 3 和 curl

提示：如果您希望快速体验而无需配置基础设施，推荐直接使用 Hopsworks Serverless App（支持 Gmail 或 GitHub 账号登录），这是最便捷的入门方式。

2. 安装步骤

对于希望在自有基础设施（On-premise）上运行的用户，可以通过单条命令脚本快速启动安装程序。

执行以下命令下载并运行安装脚本：

curl -O https://raw.githubusercontent.com/logicalclocks/hopsworks-k8s-installer/master/install-hopsworks.py
python3 install-hopsworks.py

注：该安装程序将自动处理 Kubernetes 集群的配置与 Hopsworks 组件的部署。生产环境部署通常建议联系官方工程团队进行定制化评估。

3. 基本使用

安装完成后（或登录 Serverless App 后），您可以通过以下方式开始使用：

访问平台

打开浏览器访问您的 Hopsworks 实例地址（本地部署通常为 https://<your-ip>:443，云端则直接访问 App 地址）。

运行教程示例

Hopsworks 提供了丰富的开源教程，涵盖欺诈检测、客户流失预测等场景。您可以克隆官方教程仓库并直接在 Jupyter Notebook 中运行：

git clone https://github.com/logicalclocks/hopsworks-tutorials.git
cd hopsworks-tutorials

典型使用流程：

1. 创建项目：在 UI 中创建一个新项目（Project），作为团队协作和安全隔离的沙箱。
2. 导入特征：使用 Python API 连接特征存储，上传或注册特征组（Feature Groups）。

import hopsworks

# 连接到 Hopsworks
project = hopsworks.login()
fs = project.get_feature_store()

# 获取或创建特征视图并进行训练
feature_view = fs.get_feature_view(name="fraud_detection", version=1)
X_train, X_test, y_train, y_test = feature_view.train_test_split(test_size=0.2)

3. 开发与训练：利用内置的 Jupyter Notebook 环境（支持 Conda 和 GPU）进行模型训练。
4. 模型注册与服务：将训练好的模型注册到 Model Registry，并一键部署为在线预测服务。

更多详细 API 文档请参考：

• Hopsworks 文档中心
• Feature Store API 文档
• MLOps API 文档