Veles

用于快速深度学习应用开发的分布式平台

由以下组件组成：

• 平台 - https://github.com/Samsung/veles

• Znicz 插件 - 神经网络引擎

• Mastodon - Veles 与 Java 的桥接工具，用于 Hadoop 等

• SoundFeatureExtraction - 音频特征提取库

主页：https://velesnet.ml

以 https://en.wikipedia.org/wiki/Veles_(god) 中的韦莱斯命名

采用 Apache 2.0 许可证发布。版权所有 © 三星电子株式会社，2013-2015 年。

Veles 快速上手指南

Veles 是一个用于快速开发深度学习应用的分布式平台，由三星电子开源。本指南将帮助您快速搭建基础环境并运行首个示例。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 14.04/16.04 或更高版本)，macOS 也可支持，Windows 需通过 WSL 或虚拟机运行。
• 编译器：GCC 4.8+ 或 Clang 3.4+ (需支持 C++11 标准)。
• 构建工具：CMake 3.0+。
• 依赖库：
  • Boost C++ Libraries
  • Protocol Buffers (protobuf)
  • ZeroMQ
  • HDF5
  • OpenBLAS 或 Intel MKL (用于矩阵运算加速)
• Python：Python 2.7 或 Python 3.x (取决于具体插件需求，建议安装 pip 和 virtualenv)。

提示：国内用户可使用清华源或阿里源加速 apt/yum 包管理及 pip 依赖的安装。

安装步骤

1. 克隆主平台代码

git clone https://github.com/Samsung/veles.git
cd veles

2. 安装系统依赖 (以 Ubuntu 为例)

sudo apt-get update
sudo apt-get install -y build-essential cmake libboost-all-dev libprotobuf-dev \
protobuf-compiler libzmq3-dev libhdf5-dev libopenblas-dev python-dev python-pip

3. 编译与构建

创建构建目录并执行编译：

mkdir build
cd build
cmake ..
make -j$(nproc)

4. 获取核心插件 (可选但推荐)

Veles 的核心功能依赖于插件，最常用的是 Znicz (神经网络引擎)：

cd ..
git clone https://github.com/Samsung/veles.znicz.git
# 按照 znicz 仓库内的说明进行编译并链接到主平台

基本使用

Veles 采用客户端 - 服务器架构。以下是启动服务并运行简单任务的最简流程。

1. 启动 Veles 服务器

在终端中运行编译好的服务器程序（假设当前位于 build 目录）：

./bin/veles_server

默认情况下，服务器将监听本地端口等待客户端连接。

2. 连接并运行客户端

打开新的终端窗口，使用 Python 客户端或 C++ 客户端连接服务器。以下是一个简单的 Python 交互示例（需确保已安装对应的 Python 绑定）：

import veles

# 连接到本地服务器
client = veles.Client("tcp://127.0.0.1:3131")

# 加载插件 (例如 Znicz)
client.load_plugin("znicz")

# 定义简单的网络结构或加载模型
# 此处仅为伪代码示意，具体 API 需参考各插件文档
network = client.create_network()
network.add_layer("input", shape=[28, 28, 1])
network.add_layer("conv2d", filters=32, kernel_size=3)

# 执行训练或推理
result = network.run(data=input_data)

print(result)

3. 验证分布式特性

您可以在多台机器上部署 veles_server，并在客户端配置中指定多个节点地址，即可利用集群资源进行分布式训练或数据处理。

---

注：由于 Veles 项目较早期，部分高级功能（如 Hadoop 桥接 Mastodon 或音频特征提取）需要单独克隆对应子模块并编译。详细 API 请参考各子仓库的 README 文档。