tech.ml.dataset

tech.ml.dataset（TMD）是一个 Clojure 库，用于表格数据处理，类似于 Python 的 Pandas 或 R 的 data.table。它通过提供强大的抽象，简化了在 JVM 上实现高效解决方案的过程，从而支持实用的数据密集型工作。数据集通过列式存储、使用原始数组、紧凑的日期时间类型和字符串表，在内存中显著减少占用空间。

与 Python 或 R 不同，TMD 数据集是函数式的，这意味着它们更容易理解和推理。

安装

您可以在 Clojars 上找到针对您喜欢的构建系统的安装说明（lein、deps.edn 等），该库托管在 Clojars 上：

• https://clojars.org/techascent/tech.ml.dataset

验证安装

user> (require 'tech.v3.dataset)
nil
user> (->> (System/getProperties)
           (map (fn [[k v]] {:k k :v (apply str (take 40 (str v)))}))
           (tech.v3.dataset/->>dataset {:dataset-name "My Truncated System Properties"}))

My Truncated System Properties [53 2]:

|                         :k |                                       :v |
|----------------------------|------------------------------------------|
|                sun.desktop |                                    gnome |
|                awt.toolkit |                     sun.awt.X11.XToolkit |
| java.specification.version |                                       11 |
|            sun.cpu.isalist |                                          |
|           sun.jnu.encoding |                                    UTF-8 |
|            java.class.path | src:resources:target/classes:/home/harol |
|             java.vm.vendor |                                   Ubuntu |
|        sun.arch.data.model |                                       64 |
|            java.vendor.url |                      https://ubuntu.com/ |
|              user.timezone |                           America/Denver |
|                        ... |                                      ... |
|                    os.arch |                                    amd64 |
| java.vm.specification.name |       Java Virtual Machine Specification |
|        java.awt.printerjob |                   sun.print.PSPrinterJob |
|         sun.os.patch.level |                                  unknown |
|          java.librarypath | /usr/java/packages/lib:/usr/lib/x86_64-l |
|               java.vm.info |                      mixed mode, sharing |
|                java.vendor |                                   Ubuntu |
|            java.vm.version |      11.0.17+8-post-Ubuntu-1ubuntu222.04 |
|    sun.io.unicode.encoding |                            UnicodeLittle |
|        apple.awt.UIElement |                                     true |
|         java.class.version |                                     55.0 |

📚 文档 📚

最好的起点是文档中的“入门”部分：https://techascent.github.io/tech.ml.dataset/000-getting-started.html

“演练”部分提供了处理真实数据的详细示例：https://techascent.github.io/tech.ml.dataset/100-walkthrough.html

“快速参考”部分总结了许多最常用的功能：https://techascent.github.io/tech.ml.dataset/200-quick-reference.html

API 文档记录了所有可用的函数：https://techascent.github.io/tech.ml.dataset/

提供的 Java API（javadoc / 带框架）和示例程序（源代码）展示了如何从 Java 中使用 TMD。

问题 / 社区

• 提交一个 issue!
• 访问 zulip 讨论组.
• 或者访问 slack 数据科学频道.

---

相关项目和注释

• 另一个具有重要附加功能的前沿 API 可以通过 tablecloth 获得。
• tech.v3.datatype 为 TMD 提供了底层的数值子系统。
• 在 tech.ml 中可以找到简单的回归/分类机器学习路径。
• 一些 独立基准测试 表明了 TMD 的 速度。
• 与一个 高性能进程内 SQL 数据库 的绑定。
• 一个 Graal 原生 示例项目。
• scicloj.ml 教程 可能是直接进入数据科学的好方法。
• R 的 data.table、R 的 dplyr 和 TMD 的旧版本之间的 比较。
• genme 对一些可用功能的另一个概述：Some Functions

许可证

版权所有 © 2023 TechAscent, LLC

根据 Eclipse 公共许可证第 1.0 版或（由您选择）任何后续版本进行分发。

tech.ml.dataset 快速上手指南

tech.ml.dataset (简称 TMD) 是一个用于 Clojure 的表格数据处理库，功能类似于 Python 的 Pandas 或 R 的 data.table。它专为 JVM 设计，通过列式存储、原始数组和字符串表等技术优化内存占用，并提供函数式编程接口，使数据操作更易于推理和维护。

环境准备

• 系统要求:
  • JDK 11 或更高版本（推荐 JDK 17+）。
  • 支持 Linux, macOS, Windows。
• 前置依赖:
  • 已安装 Clojure 构建工具，如 Leiningen 或 deps.edn。
  • 无需额外安装系统级依赖，TMD 纯 Java/Clojure 实现。

注意：目前该库主要托管在 Clojars 上，国内暂无官方镜像源。如遇下载缓慢，可配置 Maven/Gradle 代理或使用国内通用的 Clojars 镜像（如有维护）。

安装步骤

根据你的构建工具，在配置文件中添加以下依赖：

方案 A: Leiningen (project.clj)

在 :dependencies 向量中添加：

[techascent/tech.ml.dataset "7.0.0"] ;; 请替换为 Clojars 上的最新版本号

方案 B: deps.edn (deps.edn)

在 :deps 映射中添加：

{:deps {techascent/tech.ml.dataset {:mvn/version "7.0.0"}}} ;; 请替换为最新版本号

获取最新版本号请访问：https://clojars.org/techascent/tech.ml.dataset

基本使用

加载命名空间后，你可以立即创建和操作数据集。以下示例演示了如何将 Java 系统属性转换为数据集并预览前几行。

1. 引入命名空间

(require 'tech.v3.dataset)

2. 创建并查看数据集

运行以下代码将创建一个包含截断系统属性的数据集：

(->> (System/getProperties)
     (map (fn [[k v]] {:k k :v (apply str (take 40 (str v)))}))
     (tech.v3.dataset/->>dataset {:dataset-name "My Truncated System Properties"}))

输出示例：

My Truncated System Properties [53 2]:

|                         :k |                                       :v |
|----------------------------|------------------------------------------|
|                sun.desktop |                                    gnome |
|                awt.toolkit |                     sun.awt.X11.XToolkit |
| java.specification.version |                                       11 |
|            sun.cpu.isalist |                                          |
|           sun.jnu.encoding |                                    UTF-8 |
|            java.class.path | src:resources:target/classes:/home/harol |
|             java.vm.vendor |                                   Ubuntu |
|        sun.arch.data.model |                                       64 |
|            java.vendor.url |                      https://ubuntu.com/ |
|              user.timezone |                           America/Denver |
|                        ... |                                      ... |

3. 下一步学习

• 入门教程: Getting Started
• 实战演练: Walkthrough
• 函数速查: Quick Reference
• 完整 API 文档: API Docs