Whatlang

专注于简洁和性能的 Rust 自然语言检测库。

在线试用演示。

目录

• 功能
• 入门指南
• 谁在使用 Whatlang？
• 文档
• 支持的语言
• 功能开关
• 工作原理
• Make 任务
• 与替代方案的比较
• 移植版本和克隆
• 捐赠
• 衍生来源
• 许可证
• 贡献者

功能

• 支持 70 种语言
• 100% 使用 Rust 编写
• 轻量、快速且简单
• 不仅能识别语言，还能识别书写系统（拉丁文、西里尔文等）
• 提供可靠性信息

入门指南

示例：

use whatlang::{detect, Lang, Script};

fn main() {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!";

    let info = detect(text).unwrap();
    assert_eq!(info.lang(), Lang::Epo);
    assert_eq!(info.script(), Script::Latin);
    assert_eq!(info.confidence(), 1.0);
    assert!(info.is_reliable());
}

更多详情（例如如何屏蔽某些语言），请查看 文档。

谁在使用 Whatlang？

Whatlang 被用于以下大型项目中，作为语言识别的直接或间接依赖。 使用 Whatlang，你将与优秀的公司为伍：

• Sonic - 快速、轻量且无模式的 Rust 搜索后端。
• Meilisearch - 一个开源、易于使用、极速且高度相关的 Rust 搜索引擎。

功能开关

功能	描述
enum-map	Lang 和 Script 实现来自 enum-map 的 Enum 特征
arbitrary	支持 Arbitrary
serde	为 Lang 和 Script 实现 Serialize 和 Deserialize
dev	启用 whatlang::dev 模块，该模块提供一些内部 API。 它仅用于性能分析目的，不建议普通用户依赖此 API。

工作原理

语言识别是如何工作的？

该算法基于三元组语言模型（trigram language models），这是 n-gram（n-元语法）的一个特例。 要理解这一概念，请查阅原始白皮书 Cavnar and Trenkle '94: N-Gram-Based Text Categorization'。

is_reliable 是如何计算的？

它基于以下因素：

• 给定文本中有多少个唯一的三元组（unique trigrams）
• 第一个和第二个（未返回的）检测到的语言之间的差异有多大？代码库中将此指标称为 rate。

因此，它可以表示为一个带有阈值函数的二维空间，将其划分为“可靠”和“不可靠”区域。 这个函数是一个双曲线，看起来像下面这样：

更多详情，请查看博客文章 Rust Whatlang 库与自然语言识别算法介绍。

Make 任务

• make bench - 运行性能基准测试
• make doc - 生成并打开文档
• make test - 运行测试
• make watch - 监控变化并运行测试

与替代方案的比较

	Whatlang	CLD2	CLD3
实现语言	Rust	C++	C++
语言数量	70	83	107
算法	三元组	四元组	神经网络
支持的编码	UTF-8	UTF-8	?
HTML 支持	否	是	?

移植版本和克隆

• whatlang-ffi - C 绑定
• whatlanggo - 用于 Go 语言的 whatlang 克隆版
• whatlang-py - Python 绑定
• whatlang-rb - Ruby 绑定
• whatlangex - Elixir 绑定

捐赠

你可以通过捐赠 NEAR 代币 来支持该项目。

我们的 NEAR 钱包地址是 whatlang.near

衍生来源

Whatlang 是基于 Franc（JavaScript，MIT）由 Titus Wormer 开发的衍生作品。

许可证

MIT © Sergey Potapov

贡献者

• greyblake Potapov Sergey - 创建者，维护者。
• Dr-Emann Zachary Dremann - 优化和改进
• BaptisteGelez Baptiste Gelez - 改进
• Vishesh Chopra - 设计了标志
• Joel Natividad - 支持塔加洛语
• ManyTheFish - 疯狂优化
• Kerollmops Clément Renault - 疯狂优化

whatlang-rs 快速上手指南

whatlang-rs 是一个专注于简洁性和性能的 Rust 自然语言检测库。它支持 70 种语言，不仅能识别语言，还能识别脚本（如拉丁文、西里尔文等），并提供可靠性评估。

环境准备

• 操作系统: Linux, macOS, Windows 等支持 Rust 的系统。
• 开发语言: Rust (建议版本 1.60+)。
• 前置依赖: 确保已安装 Rust 工具链 (rustup)。

安装步骤

在您的 Rust 项目根目录下，通过 Cargo 添加依赖：

cargo add whatlang

或者手动编辑 Cargo.toml 文件：

[dependencies]
whatlang = "0.16" # 请根据 crates.io 最新版本调整

提示: 如需序列化支持，可在依赖中添加特性 serde。例如：whatlang = { version = "0.16", features = ["serde"] }。

基本使用

引入 whatlang 模块并调用 detect 函数即可开始检测文本语言。

use whatlang::{detect, Lang, Script};

fn main() {
    let text = "Ĉu vi ne volas eklerni Esperanton? Bonvolu! Estas unu de la plej bonaj aferoj!";

    let info = detect(text).unwrap();
    
    // 获取语言代码
    assert_eq!(info.lang(), Lang::Epo);
    
    // 获取脚本类型
    assert_eq!(info.script(), Script::Latin);
    
    // 获取置信度 (0.0 - 1.0)
    assert_eq!(info.confidence(), 1.0);
    
    // 判断检测结果是否可靠
    assert!(info.is_reliable());
}

核心 API 说明

方法	描述
detect(text)	执行语言检测，返回 DetectResult 对象。
info.lang()	返回检测到的语言枚举 (Lang)。
info.script()	返回使用的字符集脚本 (Script)。
info.confidence()	返回检测的置信度分数。
info.is_reliable()	基于唯一三igrams 数量和语言差异率判断结果是否可信。

更多高级功能（如黑名单过滤）请参考 官方文档。