MiNLP

小米自然语言处理平台（MiNLP）具备词法、句法、语义分析等数十个功能模块，已经在公司业务中得到了广泛应用。

MiNLP-Tokenizer中文分词工具经过不断优化和实战打磨，已于2020年11月正式对外开源。

我们计划在2021年Q2完成所有词法工具（词性标注和命名实体识别）的开源，从2021年Q3开始，我们将逐步开源句法分析和部分语义分析工具，和开发者一起打造功能强大、效果领先的NLP平台。

duckling-fork-chinese中文结构化解析工具，是在facebook/duckling的基础上做的一个JVM fork，满足从文本到结构化对象的转换。目前工具在小爱生产环境大量使用，最重要的应用是在数字和时间上的解析。

模块

中文分词：MiNLP-Tokenizer（传送门）

词性标注：施工中，敬请期待

命名实体识别：敬请期待

依存句法分析：敬请期待

结构化解析：duckling-fork-chinese

MiNLP 快速上手指南

MiNLP 是小米自然语言处理平台，提供词法、句法及语义分析等核心能力。目前主要开源模块包括中文分词工具 (MiNLP-Tokenizer) 和 中文结构化解析工具 (duckling-fork-chinese)。以下指南将帮助您快速部署并使用这两个核心组件。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• 编程语言：
  • MiNLP-Tokenizer：Python 3.6+
  • duckling-fork-chinese：Java (JDK 8+) 或 Scala
• 前置依赖：
  • Python 包管理工具：pip
  • Java 构建工具：Maven 或 Gradle (用于 duckling)
  • 网络环境：建议配置国内镜像源以加速依赖下载（如阿里云 PyPI 镜像、Maven 中央仓库镜像）。

安装步骤

1. 安装 MiNLP-Tokenizer (中文分词)

推荐使用 pip 直接从 PyPI 安装，国内用户可指定阿里云镜像加速：

pip install minlp-tokenizer -i https://mirrors.aliyun.com/pypi/simple/

若需从源码安装（适用于开发调试）：

git clone https://github.com/XiaoMi/MiNLP.git
cd MiNLP/minlp-tokenizer
pip install .

2. 安装 duckling-fork-chinese (结构化解析)

该工具基于 JVM，通常作为依赖库集成到 Java/Scala 项目中。请在项目的 pom.xml (Maven) 中添加以下依赖：

<dependency>
    <groupId>com.xiaomi.minlp</groupId>
    <artifactId>duckling-fork-chinese</artifactId>
    <version>1.0.0</version> <!-- 请替换为最新可用版本 -->
</dependency>

或者在 build.gradle (Gradle) 中添加：

implementation 'com.xiaomi.minlp:duckling-fork-chinese:1.0.0'

注：具体版本号请参考 Maven Central 或项目 Release 页面。

基本使用

MiNLP-Tokenizer 使用示例

导入模块后，即可对中文文本进行分词：

from minlp_tokenizer import Tokenizer

# 初始化分词器
tokenizer = Tokenizer()

# 待分词文本
text = "小米自然语言处理平台已在业务中广泛应用"

# 执行分词
words = tokenizer.tokenize(text)

# 输出结果
print(words)
# 预期输出：['小米', '自然语言处理', '平台', '已', '在', '业务', '中', '广泛', '应用']

duckling-fork-chinese 使用示例

该工具主要用于提取文本中的时间、数字等结构化信息。以下为 Java 调用示例：

import com.xiaomi.minlp.duckling.Duckling;
import com.xiaomi.minlp.duckling.Dimension;
import java.util.List;
import java.util.Map;

public class DucklingDemo {
    public static void main(String[] args) {
        // 初始化 Duckling 实例
        Duckling duckling = new Duckling();
        
        String text = "明天下午三点开会";
        
        // 解析时间实体
        List<Map<String, Object>> results = duckling.parse(
            text, 
            Dimension.TIME, 
            System.currentTimeMillis()
        );
        
        // 打印解析结果
        results.forEach(System.out::println);
        // 预期包含解析后的时间戳或标准化时间字符串
    }
}

通过以上步骤，您已成功接入 MiNLP 的核心分词与结构化解析能力。其他模块（如词性标注、命名实体识别等）将在后续季度逐步开源，敬请期待。