统计机器智能与学习引擎

目标

SMILE（Statistical Machine Intelligence & Learning Engine，统计机器智能与学习引擎）是一个快速且全面的 Java 机器学习框架。SMILE v5.x 需要 Java 25，v4.x 需要 Java 21，所有早期版本需要 Java 8。SMILE 还提供 Scala 和 Kotlin 的 API，并遵循相应的语言范式。凭借先进的数据结构和算法，SMILE 能够提供最先进的性能。 SMILE 涵盖机器学习的各个方面，包括深度学习（Deep Learning）、大语言模型（Large Language Models, LLM）、分类（Classification）、回归（Regression）、聚类（Clustering）、关联规则挖掘（Association Rule Mining）、特征选择与提取（Feature Selection and Extraction）、流形学习（Manifold Learning）、多维缩放（Multidimensional Scaling）、遗传算法（Genetic Algorithms）、缺失值插补（Missing Value Imputation）、高效最近邻搜索（Nearest Neighbor Search）等。此外，SMILE 还提供图论、线性代数、数值分析、插值、符号运算的计算机代数系统（Computer Algebra System）以及数据可视化的高级算法。

特性

SMILE 实现了以下主要机器学习算法：

• 大语言模型（LLM）： Llama 3.1 的原生 Java 实现、tiktoken 分词器、具有 OpenAI 兼容 API 和基于 SSE 的聊天流式传输的高性能 LLM 推理服务器、功能完整的前端界面。

• 深度学习（Deep Learning）： 支持 CPU 和 GPU 的深度学习。用于图像分类的 EfficientNet 模型。

• 分类（Classification）： 支持向量机（Support Vector Machines, SVM）、决策树（Decision Trees）、AdaBoost、梯度提升（Gradient Boosting）、随机森林（Random Forest）、逻辑回归（Logistic Regression）、神经网络（Neural Networks）、径向基函数网络（RBF Networks）、最大熵分类器（Maximum Entropy Classifier）、K 近邻（KNN）、朴素贝叶斯（Naïve Bayesian）、Fisher/线性/二次/正则化判别分析（Fisher/Linear/Quadratic/Regularized Discriminant Analysis）。

• 回归（Regression）： 支持向量回归（Support Vector Regression, SVR）、高斯过程（Gaussian Process）、回归树（Regression Trees）、梯度提升（Gradient Boosting）、随机森林（Random Forest）、径向基函数网络（RBF Networks）、普通最小二乘法（OLS）、LASSO、弹性网络（ElasticNet）、岭回归（Ridge Regression）。

• 特征选择（Feature Selection）： 基于遗传算法的特征选择、基于集成学习的特征选择、TreeSHAP、信噪比（Signal Noise ratio）、平方和比（Sum Squares ratio）。

• 聚类（Clustering）： BIRCH、CLARANS、DBSCAN、DENCLUE、确定性退火（Deterministic Annealing）、K-Means、X-Means、G-Means、神经气（Neural Gas）、生长神经气（Growing Neural Gas）、层次聚类（Hierarchical Clustering）、序列信息瓶颈（Sequential Information Bottleneck）、自组织映射（Self-Organizing Maps, SOM）、谱聚类（Spectral Clustering）、最小熵聚类（Minimum Entropy Clustering）。

• 关联规则与频繁项集挖掘（Association Rule & Frequent Itemset Mining）： FP-growth 挖掘算法。

• 流形学习（Manifold Learning）： 等距映射（IsoMap）、局部线性嵌入（LLE）、拉普拉斯特征映射（Laplacian Eigenmap）、t-SNE、UMAP、主成分分析（PCA）、核主成分分析（Kernel PCA）、概率主成分分析（Probabilistic PCA）、广义 Hebbian 算法（GHA）、随机投影（Random Projection）、独立成分分析（ICA）。

• 多维缩放（Multi-Dimensional Scaling）： 经典多维缩放（Classical MDS）、等距多维缩放（Isotonic MDS）、Sammon 映射（Sammon Mapping）。

• 最近邻搜索（Nearest Neighbor Search）： BK-Tree、覆盖树（Cover Tree）、KD-Tree、SimHash、局部敏感哈希（LSH）。

• 序列学习（Sequence Learning）： 隐马尔可夫模型（Hidden Markov Model, HMM）、条件随机场（Conditional Random Field, CRF）。

• 自然语言处理（Natural Language Processing）： 句子分割与分词（Sentence Splitter and Tokenizer）、二元语法统计测试（Bigram Statistical Test）、短语提取器（Phrase Extractor）、关键词提取器（Keyword Extractor）、词干提取器（Stemmer）、词性标注（POS Tagging）、相关性排序（Relevance Ranking）

许可证

SMILE 采用双重许可模式，旨在满足商业分销商（如 OEM、ISV 和 VAR）以及开源项目的开发和分发需求。详情请参见 LICENSE。如需获取商业许可证，请联系 smile.sales@outlook.com。

问题/讨论

• 讨论/问题： 如果您想询问关于 SMILE 的问题，我们在 GitHub Discussions 和 Stack Overflow 上都很活跃。

• 文档： SMILE 文档完善，我们的文档可在线获取，您可以在那里找到教程、编程指南和更多信息。如果您想帮助改进文档，它们位于本仓库的 web/src 目录中。Java 文档、Scala 文档、Kotlin 文档 和 Clojure 文档 也可获取。

• 问题/功能请求： 最后，任何 bug 或功能需求，请报告到我们的 问题追踪器。

安装

您可以通过 Maven 中央仓库使用这些库，将以下内容添加到项目的 pom.xml 文件中。

    <dependency>
      <groupId>com.github.haifengl</groupId>
      <artifactId>smile-core</artifactId>
      <version>5.2.3</version>
    </dependency>

对于深度学习和自然语言处理，请分别使用 artifactId smile-deep 和 smile-nlp。

对于 Scala API，请将以下内容添加到您的 sbt 脚本中。

    libraryDependencies += "com.github.haifengl" %% "smile-scala" % "5.2.3"

对于 Kotlin API，将以下内容添加到 Gradle 构建脚本的 dependencies 部分。

    implementation("com.github.haifengl:smile-kotlin:5.2.3")

某些算法依赖于 BLAS 和 LAPACK（例如流形学习、某些聚类算法、高斯过程回归、多层感知器（MLP）等）。要在 SMILE v5.x 中使用这些算法，您应该安装 OpenBLAS 和 ARPACK 以进行优化的矩阵计算。对于 Windows，您可以从发布包的 bin 目录中找到预构建的 DLL 文件。请确保将此目录添加到 PATH 环境变量中。

要在 Linux（例如 Ubuntu）上安装，请运行

sudo apt update
sudo apt install libopenblas-dev libarpack2

在 Mac 上，我们使用 macOS 提供的 Accelerate 框架中的 BLAS 库。但您应该通过运行以下命令安装 ARPACK

brew install arpack

然而，macOS 系统完整性保护（SIP）会清除动态链接器（DYLD）环境变量（如 DYLD_LIBRARY_PATH），从而显著影响 JVM 处理动态库加载的方式。一个简单的解决方法是将 /opt/homebrew/lib/libarpack.dylib 复制到您的工作目录，以便 JVM 能够成功加载它。

对于 SMILE v4.x，可以使用以下依赖项将 OpenBLAS 和 ARPACK 库添加到您的项目中。

    libraryDependencies ++= Seq(
      "org.bytedeco" % "javacpp"   % "1.5.11"        classifier "macosx-arm64" classifier "macosx-x86_64" classifier "windows-x86_64" classifier "linux-x86_64",
      "org.bytedeco" % "openblas"  % "0.3.28-1.5.11" classifier "macosx-arm64" classifier "macosx-x86_64" classifier "windows-x86_64" classifier "linux-x86_64",
      "org.bytedeco" % "arpack-ng" % "3.9.1-1.5.11"  classifier "macosx-x86_64" classifier "windows-x86_64" classifier "linux-x86_64"
    )

在此示例中，我们包含所有支持的 64 位平台，并过滤掉 32 位平台。用户应仅包含所需平台以节省空间。

Studio

SMILE Studio 是一款交互式桌面应用程序，可帮助您更高效地使用 SMILE 构建和服务模型。与 Jupyter Notebooks 类似，SMILE Studio 是一个 REPL（Read-Evaluate-Print-Loop，读取-求值-输出-循环），包含一个有序的输入/输出单元格列表。

从 releases 页面 下载预打包的 SMILE。 解压包后，在终端中进入 SMILE 的 bin 目录，输入

    ./smile

即可进入 SMILE Studio。如果您在没有图形界面的无头（headless）环境中工作，可以运行 ./smile shell 进入 SMILE Shell for Java，它会预导入所有主要的 SMILE 包。如果您更喜欢 Scala，请输入 ./smile scala 进入 SMILE Shell for Scala。

默认情况下，Studio/Shell 最多使用 4GB 内存。如果您需要更多内存来处理大数据，请使用选项 -J-Xmx 或 -XX:MaxRAMPercentage。例如，

    ./smile -J-Xmx30G

您也可以修改配置文件 conf/smile.ini 来设置内存和其他 JVM（Java Virtual Machine，Java 虚拟机）参数。

Model Serialization（模型序列化）##

大多数模型支持 Java Serializable 接口（所有分类器都支持 Serializable 接口），因此您可以序列化模型并将其部署到生产环境中进行推理（inference）。您还可以在其他系统（如 Spark）中使用序列化后的模型。

Visualization（可视化）##

一图胜千言。在机器学习中，我们通常处理高维数据，这无法直接在显示器上绘制。但各种统计图表对于我们理解大量数据点的特征具有巨大价值。SMILE 提供了数据可视化工具，如绘图（plots）和地图（maps），帮助研究人员更轻松、更快速地理解信息。要使用 smile-plot，请在依赖项中添加以下内容

    <dependency>
      <groupId>com.github.haifengl</groupId>
      <artifactId>smile-plot</artifactId>
      <version>5.2.3</version>
    </dependency>

在基于 Swing 的系统中，用户可以利用 smile.plot.swing 包创建各种图表，如散点图（scatter plot）、折线图（line plot）、阶梯图（staircase plot）、条形图（bar plot）、箱线图（box plot）、直方图（histogram）、3D 直方图、树状图（dendrogram）、热图（heatmap）、六边形图（hexmap）、QQ 图（QQ plot）、等高线图（contour plot）、曲面图（surface）和线框图（wireframe）。

该库还支持声明式（declarative）方法的数据可视化。通过 smile.plot.vega 包，我们可以创建一个规范（specification），将可视化描述为从数据到图形标记（如点或条）属性的映射。该规范基于 Vega-Lite。在 Web 浏览器中，Vega-Lite 编译器会自动生成可视化组件，包括坐标轴、图例和比例尺。然后，它根据一组精心设计的规则确定这些组件的属性。

Contributing（贡献）##

请阅读 contributing.md 了解如何构建和测试 SMILE。

Maintainers（维护者）##

• Haifeng Li (@haifengl)
• Karl Li (@kklioss)

图库

SMILE 快速上手指南

环境准备

系统要求

版本	Java 要求
SMILE 5.x	Java 25
SMILE 4.x	Java 21
SMILE 3.x 及更早	Java 8

前置依赖（可选但推荐）

部分算法（流形学习、聚类、高斯过程、MLP 等）依赖 BLAS/LAPACK：

Linux (Ubuntu)

sudo apt update
sudo apt install libopenblas-dev libarpack2

macOS

brew install arpack

注意：macOS SIP 会清除 DYLD 环境变量，建议将 /opt/homebrew/lib/libarpack.dylib 复制到工作目录。

Windows 从 Releases 下载预编译 DLL，将 bin 目录添加到 PATH。

---

安装步骤

Maven (Java)

<dependency>
  <groupId>com.github.haifengl</groupId>
  <artifactId>smile-core</artifactId>
  <version>5.2.3</version>
</dependency>

扩展模块：

• 深度学习：smile-deep
• NLP：smile-nlp
• 可视化：smile-plot

SBT (Scala)

libraryDependencies += "com.github.haifengl" %% "smile-scala" % "5.2.3"

Gradle (Kotlin)

implementation("com.github.haifengl:smile-kotlin:5.2.3")

---

基本使用

1. 使用 SMILE Studio（推荐入门）

下载预打包版本：

# 解压后进入 bin 目录
cd smile-*/bin

# 启动交互式环境
./smile

# 或纯命令行模式
./smile shell      # Java Shell
./smile scala      # Scala Shell

# 调整内存（默认 4GB）
./smile -J-Xmx30G

2. Java 代码示例（K-Means 聚类）

import smile.clustering.KMeans;
import smile.data.DataFrame;
import smile.data.formula.Formula;
import smile.io.Read;

public class QuickStart {
    public static void main(String[] args) throws Exception {
        // 加载数据
        DataFrame iris = Read.arff("https://raw.githubusercontent.com/haifengl/smile/master/data/weka/iris.arff");
        
        // 训练 K-Means 模型（3个簇）
        KMeans<double[]> kmeans = KMeans.fit(iris.drop("class").toArray(), 3);
        
        // 预测
        int cluster = kmeans.predict(new double[]{5.1, 3.5, 1.4, 0.2});
        System.out.println("所属簇: " + cluster);
    }
}

3. Scala 代码示例

import smile.clustering._
import smile.data._
import smile.io._

val iris = Read.arff("https://raw.githubusercontent.com/haifengl/smile/master/data/weka/iris.arff")
val kmeans = kmeans(iris.drop("class").toArray, 3)
val prediction = kmeans.predict(Array(5.1, 3.5, 1.4, 0.2))

4. 模型序列化

import java.io.*;

// 保存模型
try (ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("kmeans.model"))) {
    out.writeObject(kmeans);
}

// 加载模型
try (ObjectInputStream in = new ObjectInputStream(new FileInputStream("kmeans.model"))) {
    KMeans<double[]> loaded = (KMeans<double[]>) in.readObject();
}

---

参考资源

资源	链接
官方文档	https://haifengl.github.io/
Java API	https://haifengl.github.io/api/java/index.html
Scala API	https://haifengl.github.io/api/scala/index.html
GitHub 讨论区	https://github.com/haifengl/smile/discussions