分布式机器学习通用代码库

DMLC-Core 是支持所有 DMLC 项目的骨干库，提供了构建高效且可扩展的分布式机器学习库所需的基石。

开发者交流频道

新内容

• 关于机器学习参数模块的说明

目录

• 文档与教程
• 贡献指南

已知问题

• RecordIO 格式在不同处理器字节序之间不兼容。因此，无法在 x86 架构的机器上保存 RecordIO 文件，然后在 SPARC 架构的机器上加载它；这是因为 x86 是小端序，而 SPARC 是大端序。

贡献指南

欢迎为 dmlc-core 做出贡献！dmlc-core 遵循 Google 的 C++ 风格指南。如果您有兴趣参与贡献，请查看 功能愿望清单，并提出新的议题以添加您希望实现的功能。

• DMLC-Core 使用 C++14 标准。请确保您的 C++ 编译器支持 C++14。
• 尽可能减少依赖项。

提交代码前检查清单

• 运行 make lint 并修复所有风格问题。
• 运行 make doc 并修复所有警告。

注意

依赖：

libcurl4-openssl-dev

dmlc-core 快速上手指南

dmlc-core 是分布式机器学习项目（DMLC）的核心基础库，为构建高效、可扩展的分布式机器学习算法提供底层支持。

环境准备

系统要求

• 编译器：必须支持 C++14 标准（如 GCC 5+ 或 Clang 3.4+）。
• 操作系统：Linux / macOS / Windows (需配置相应编译环境)。

前置依赖

在开始编译前，请确保安装以下系统依赖：

Ubuntu/Debian:

sudo apt-get update
sudo apt-get install -y libcurl4-openssl-dev

CentOS/RHEL:

sudo yum install -y libcurl-devel

注意：dmlc-core 设计原则是尽量减少外部依赖，除 libcurl 外通常无需额外安装重型库。

安装步骤

dmlc-core 通常作为子模块被其他 DMLC 项目（如 XGBoost, LightGBM 等）引用，若需独立编译测试，请按以下步骤操作：

1. 克隆代码库

   git clone --recursive https://github.com/dmlc/dmlc-core.git
   cd dmlc-core
   

   (国内开发者如遇网络缓慢，可尝试使用 Gitee 镜像或配置 Git 代理)

2. 编译与检查 该项目主要通过 Makefile 进行构建管理和代码检查：

   # 编译文档（可选，需安装 Doxygen）
   make doc
   
   # 运行代码风格检查（提交代码前必做）
   make lint
   

3. 集成使用 大多数情况下，你不需要单独安装它，而是通过 CMake 或 Make 将其作为依赖库链接到你的项目中。在 CMake 中通常这样引用：

   add_subdirectory(dmlc-core)
   target_link_libraries(your_target dmlc)
   

基本使用

dmlc-core 主要提供数据加载、参数解析和分布式通信接口。以下是一个最简单的 C++ 使用示例，展示如何引入头文件并使用其日志功能：

示例代码 (main.cpp)：

#include <dmlc/logging.h>
#include <dmlc/parameter.h>

int main(int argc, char *argv[]) {
  // 初始化日志系统
  dmlc::InitLogging(argv[0]);

  // 输出一条信息日志
  LOG(INFO) << "dmlc-core initialized successfully!";

  // 输出一条警告日志
  LOG(WARNING) << "This is a sample warning message.";

  return 0;
}

编译命令： 假设 dmlc-core 位于当前目录下的 dmlc-core 文件夹：

g++ -std=c++14 -I./dmlc-core/include main.cpp -o demo -lcurl

运行结果：

[INFO] ./demo: dmlc-core initialized successfully!
[WARNING] ./demo: This is a sample warning message.

提示：开发时请遵循 Google C++ 风格指南，并在提交代码前务必执行 make lint 修复所有风格问题。