ELKI

基于索引结构支持的KDD应用开发环境

快速概览

ELKI是一款用Java编写的开源（AGPLv3）数据挖掘软件。ELKI的重点是算法研究，尤其侧重于聚类分析和异常检测中的无监督方法。 为了实现高性能和可扩展性，ELKI提供了多种数据索引结构，例如R*-树，这些结构能够显著提升性能。 ELKI的设计宗旨是便于该领域的研究人员和学生进行扩展，并特别欢迎对新方法的贡献。ELKI旨在提供大量高度可参数化的算法，以便轻松、公正地评估和基准测试各种算法。

下载

您可以从主页上下载预编译的ELKI发布版本，也可以使用Gradle和Maven等标准的Java依赖管理工具。

Gradle:

dependencies {
    compile group: 'io.github.elki-project', name: 'elki', version:'0.8.0'
}

Maven:

<!-- https://mvnrepository.com/artifact/io.github.elki-project/elki -->
<dependency>
    <groupId>io.github.elki-project</groupId>
    <artifactId>elki</artifactId>
    <version>0.8.0</version>
</dependency>

背景

数据挖掘研究产生了许多用于相似任务的算法。然而，由于以下几个原因，对这些算法进行公平且有意义的比较十分困难：

• 参与比较的算法实现往往难以获得。
• 即使提供了不同作者的实现，基于效率的评估也容易偏向于衡量不同作者在高效编程方面的努力，而非算法本身的优劣。

另一方面，高效的 数据管理工具（如索引结构）可以对数据挖掘任务产生显著影响，因此适用于多种算法。

在ELKI中，数据挖掘算法与数据管理任务被分离，从而允许独立评估。这种分离使ELKI在Weka或Rapidminer等数据挖掘框架以及GiST等索引结构框架中独树一帜。同时，ELKI支持任意数据类型、距离或相似度度量，以及多种文件格式。其核心理念是将文件解析器或数据库连接、数据类型、距离度量、距离函数以及数据挖掘算法相互独立。此外，ELKI还为所有算法提供了平等使用的辅助类，例如用于代数或分析计算的工具。

通过开发和发布ELKI，我们谦逊地希望为数据挖掘和数据库研究社区带来有益的帮助。该框架对于科学研究用途是免费的（“免费”即“开源”，详情请参阅许可证）。如果在科学出版物中使用ELKI，我们非常感谢您能以引用相应出版物的形式致谢（请参阅我们的出版物列表)，即与您所使用的ELKI版本相关的那篇论文。

ELKI背后的团队成员信息可在团队页面中找到。

ELKI维基：教程、操作指南、文档

初学者可以从操作指南文档、示例和教程开始，以帮助解决复杂的配置问题并入门ELKI开发。

本网站既是社区开发中心，也是任务跟踪平台，用于处理错误报告、教程、常见问题解答、一般性问题及开发任务。

最重要的文档页面包括：教程、JavaDoc、常见问题解答、输入格式、数据类型、距离函数、数据集、开发、参数化、可视化、基准测试，以及算法列表和相关文献。

获取ELKI：下载与引用政策

您可以在发布页面下载包含源代码的ELKI。
ELKI采用广为人知的开源许可证——AGPLv3许可证。

ELKI发布时会附带一份出版物列表。在您的科学研究中使用ELKI时，请引用与您所使用的ELKI版本相对应的那篇论文，以表示感谢。这也有助于提高实验的可重复性。此外，如果您愿意将自己的算法贡献给ELKI，我们将不胜感激，这样其他人就可以复现您的结果并与您的算法进行比较，而这也很可能为您带来更多的引用。我们尽量记录每一篇用于实现ELKI的出版物：相关文献页面正是根据源代码注释生成的。

使用ELKI进行效率基准测试

ELKI的速度相当快（请参阅部分基准测试结果)，但其重点在于广泛的算法覆盖及其变体。 我们不建议进行跨平台的基准测试，因为将不同的系统或实现放在一起比较很容易得出误导性的结论。为了确保比较的公正性，您应当在ELKI内部实现所有算法，并使用相同的API。此外，我们还观察到Java JDK版本会对运行时性能产生较大影响。为使您的结果具有可重复性，请务必引用您所使用的版本。更多信息请参阅基准测试。

错误报告与联系方式

您可以浏览当前未解决的错误报告或创建一个新的错误报告。

我们也非常欢迎任何评论、建议以及代码贡献。
您可以通过电子邮件联系核心开发团队：elki () dbs ifi lmu de

设计目标

• 可扩展性 - ELKI 采用高度模块化的设计。我们希望支持数据类型、距离函数、算法、输入格式、索引结构和评估方法之间的任意组合。
• 社区参与 - ELKI 的发展速度取决于社区贡献者的参与程度。通过模块化设计，允许小型贡献（如单个距离函数或单个算法），我们可以吸引学生和外部贡献者参与到 ELKI 的发展中。
• 完整性 - 为了对各种方法进行详尽的比较，我们的目标是尽可能涵盖已发表且被广泛认可的研究成果。
• 公平性 - 如果实现竞争对手的方法时不够严谨，很容易导致不公平的比较结果。因此，我们力求以尽可能高质量的方式实现每种方法，并通过公开源代码来促进外部改进。同时，我们会积极采纳所有提出的改进建议，例如用于加速范围查询和 kNN 查询的索引结构。
• 性能 - ELKI 的模块化架构使得算法和索引结构能够被优化，从而提升运行效率。
• 持续进步 - ELKI 在每次发布中都在不断变化。为了引入新功能和提升性能，API 的破坏性变更在所难免。我们期望在 1.0 版本中达到稳定的 API，但目前尚未实现。

构建 ELKI

ELKI 使用 Gradle 封装脚本来构建：

./gradlew shadowJar

将生成一个名为 elki-bundle-<VERSION>.jar 的可执行 JAR 文件。

如果需要单独构建 JAR 文件，可以使用以下命令：

./gradlew jar

要执行完整的构建（包括测试和 JavaDoc，这可能需要几分钟），可以运行：

./gradlew build

Eclipse 也可以用来构建 ELKI，最简单的方式是将 elki-bundle 作为类路径，它包含了所有已启用的功能。

ELKI 快速上手指南

ELKI 是一个用 Java 编写的开源数据挖掘软件，专注于聚类分析和异常检测等无监督学习算法的研究。它提供了丰富的索引结构（如 R*-tree）以提升性能，并支持高度可配置的算法评估与基准测试。

环境准备

• 操作系统：Windows、Linux 或 macOS（跨平台）。
• Java 环境：需安装 JDK 11 或更高版本（推荐 JDK 17+ 以获得更佳性能）。
  • 验证安装：java -version
• 构建工具（仅源码编译时需要）：项目内置了 Gradle Wrapper，无需单独安装 Gradle。
• 内存建议：处理大型数据集时，建议分配足够的 JVM 堆内存。

安装步骤

你可以选择下载预编译包或通过依赖管理工具集成到项目中。

方式一：下载预编译包（推荐新手）

1. 访问 ELKI 发布页面 下载最新版本的 elki-bundle-<VERSION>.jar。
2. 将下载的 JAR 文件放置在任意目录即可使用。

方式二：通过 Maven/Gradle 集成

如果你正在开发 Java 项目，可直接在配置文件中添加依赖（当前稳定版本为 0.8.0）：

Maven (pom.xml):

<dependency>
    <groupId>io.github.elki-project</groupId>
    <artifactId>elki</artifactId>
    <version>0.8.0</version>
</dependency>

Gradle (build.gradle):

dependencies {
    compile group: 'io.github.elki-project', name: 'elki', version:'0.8.0'
}

方式三：源码编译

如需自定义构建或贡献代码，可克隆仓库并编译：

git clone https://github.com/elki-project/elki.git
cd elki

# 构建可执行的 bundle JAR 文件
./gradlew shadowJar

# 或者构建完整项目（包含测试和文档）
./gradlew build

编译完成后，可执行文件位于 elki-bundle/build/libs/ 目录下。

基本使用

ELKI 主要通过命令行运行，也支持作为库调用。以下是最简单的命令行使用示例。

1. 准备数据

ELKI 支持多种格式，最常用的是 CSV。创建一个名为 data.csv 的文件，内容如下（每行代表一个数据点）：

1.0, 2.0
2.0, 2.5
3.0, 3.0
8.0, 8.0
8.5, 8.5
9.0, 9.0

2. 运行算法

使用下载的 elki-bundle-<VERSION>.jar 运行一个简单的 DBSCAN 聚类算法：

java -jar elki-bundle-0.8.0.jar dbscan -input data.csv -dbscan.epsilon 0.5 -dbscan.minpts 2

• -input: 指定输入数据文件路径。
• -dbscan.epsilon: 设置邻域半径参数。
• -dbscan.minpts: 设置核心点的最小邻居数。

3. 查看结果

运行结束后，ELKI 会在控制台输出聚类统计信息，并在当前目录生成可视化文件（通常是 .png 或 .svg），展示聚类效果和异常点。

提示：ELKI 拥有大量可配置参数。对于复杂的配置场景，建议查阅官方 Tutorials 和 算法列表 获取详细参数说明。