Limdu.js

Limdu 是一个用于 Node.js 的机器学习框架。它支持多标签分类、在线学习和实时分类。因此，它特别适用于对话系统和聊天机器人中的自然语言理解任务。

Limdu 目前处于“alpha”阶段——部分功能已经实现（请参阅此 README），但仍有部分功能缺失或尚未经过充分测试。欢迎贡献代码！

Limdu 目前支持 Node.js 0.12 及更高版本。

安装

npm install limdu

演示

您可以运行该项目中的演示：limdu-demo。

目录 由 DocToc 自动生成

• 二分类
  • 批量学习——从输入输出对数组中学习：
  • 在线学习
  • 绑定
  • 解释
  • 其他二分类器
• 多标签分类
  • 其他多标签分类器
• 特征工程
  • 特征提取——将输入样本转换为特征-值对：
  • 输入归一化
  • 特征查找表——将自定义特征转换为整数特征
• 序列化
• 交叉验证
• 反向分类（又称生成）
• SVM 包装器
• 未文档化的功能
• 贡献
• 许可证

二分类

批量学习——从输入输出对数组中学习：

var limdu = require('limdu');

var colorClassifier = new limdu.classifiers.NeuralNetwork();

colorClassifier.trainBatch([
	{input: { r: 0.03, g: 0.7, b: 0.5 }, output: 0},  // 黑色
	{input: { r: 0.16, g: 0.09, b: 0.2 }, output: 1}, // 白色
	{input: { r: 0.5, g: 0.5, b: 1.0 }, output: 1}   // 白色
	]);

console.log(colorClassifier.classify({ r: 1, g: 0.4, b: 0 }));  // 0.99 - 几乎是白色

鸣谢：本示例使用了 brain.js，作者为 Heather Arthur。

在线学习

var birdClassifier = new limdu.classifiers.Winnow({
	default_positive_weight: 1,
	default_negative_weight: 1,
	threshold: 0
});

birdClassifier.trainOnline({'wings': 1, 'flight': 1, 'beak': 1, 'eagle': 1}, 1);  // 鹰是鸟类（1）
birdClassifier.trainOnline({'wings': 0, 'flight': 0, 'beak': 0, 'dog': 1}, 0);    // 狗不是鸟类（0）
console.dir(birdClassifier.classify({'wings': 1, 'flight': 0, 'beak': 0.5, 'penguin':1})); // 初始时，企鹅被错误地分类为 0——“不是鸟类”
console.dir(birdClassifier.classify({'wings': 1, 'flight': 0, 'beak': 0.5, 'penguin':1}, /*解释级别=*/4)); // 为什么？因为它不会飞。

birdClassifier.trainOnline({'wings': 1, 'flight': 0, 'beak': 1, 'penguin':1}, 1);  // 学习到企鹅是鸟类，尽管它不会飞 
birdClassifier.trainOnline({'wings': 0, 'flight': 1, 'beak': 0, 'bat': 1}, 0);     // 学习到蝙蝠不是鸟类，尽管它会飞
console.dir(birdClassifier.classify({'wings': 1, 'flight': 0, 'beak': 1, 'chicken': 1})); // 现在，鸡被正确地分类为鸟类，尽管它不会飞。  
console.dir(birdClassifier.classify({'wings': 1, 'flight': 0, 'beak': 1, 'chicken': 1}, /*解释级别=*/4)); // 为什么？因为它有翅膀和喙。

鸣谢：本示例使用了改进的平衡间隔 Winnow 算法（Carvalho 和 Cohen，2006 年）。关于“解释”功能将在下文说明。

基于绑定的自定义分类器

利用 JavaScript 的绑定特性，可以创建由现有分类器和预设参数组成的自定义类：

var MyWinnow = limdu.classifiers.Winnow.bind(0, {
	default_positive_weight: 1,
	default_negative_weight: 1,
	threshold: 0
});

var birdClassifier = new MyWinnow();
...
// 继续如上

解释

某些分类器可以返回“解释”——即附加信息，用以说明分类结果是如何得出的：

var colorClassifier = new limdu.classifiers.Bayesian();

colorClassifier.trainBatch([
	{input: { r: 0.03, g: 0.7, b: 0.5 }, output: 'black'}, 
	{input: { r: 0.16, g: 0.09, b: 0.2 }, output: 'white'},
	{input: { r: 0.5, g: 0.5, b: 1.0 }, output: 'white'},
	]);

console.log(colorClassifier.classify({ r: 1, g: 0.4, b: 0 }, 
		/* 解释级别 = */1));

鸣谢：本示例使用了 classifier.js，作者为 Heather Arthur 中的代码。

解释功能目前仍处于实验阶段，并且不同分类器的支持方式有所不同。例如，对于贝叶斯分类器，它会返回每个类别的概率：

{ classes: 'white',
	explanation: [ 'white: 0.0621402182289608', 'black: 0.031460948468170505' ] }

而对于 Winnow 分类器，则会返回每个特征的相关性（特征值乘以特征权重）：

{ classification: 1,
	explanation: [ 'bias+1.12', 'r+1.08', 'g+0.25', 'b+0.00' ] }

警告：解释的内部格式可能会在未经通知的情况下发生变化。解释应仅用于展示目的（而不应用于提取实际数值等用途）。

其他二分类器

除了 Winnow 和 NeuralNetwork 外，版本 0.2 还包含以下二分类器：

• 贝叶斯分类器——基于 classifier.js，作者为 Heather Arthur。
• 感知器——大致基于 perceptron.js，作者为 John Chesley。
• SVM——基于 svm.js，作者为 Andrej Karpathy。
• 线性 SVM——封装了 SVM-Perf 和 Lib-Linear（见下文）。
• 决策树——基于 node-decision-tree-id3，作者为 Ankit Kuwadekar 或 ID3-Decision-Tree，作者为 Will Kurt。

该库仍在开发中，并非所有功能都适用于所有分类器。有关已实现功能的完整列表，请参阅“test”文件夹。

多标签分类

在二分类中，输出是 0 或 1；

而在多标签分类中，输出是一组零个或多个标签。

var MyWinnow = limdu.classifiers.Winnow.bind(0, {retrain_count: 10});

var intentClassifier = new limdu.classifiers.multilabel.BinaryRelevance({
	binaryClassifierType: MyWinnow
});

intentClassifier.trainBatch([
	{input: {I:1,want:1,an:1,apple:1}, output: "APPLE"},
	{input: {I:1,want:1,a:1,banana:1}, output: "BANANA"},
	{input: {I:1,want:1,chips:1}, output: "CHIPS"}
	]);

console.dir(intentClassifier.classify({I:1,want:1,an:1,apple:1,and:1,a:1,banana:1}));  // ['APPLE','BANANA']

其他多标签分类器

除了 BinaryRelevance 之外，版本 0.2 还包含了以下多标签分类器类型（参见 multilabel 文件夹）：

• 跨语言语言模型分类器（基于 Anton Leusky 和 David Traum, 2008）
• HOMER - 多标签分类器层次结构（基于 Tsoumakas 等人, 2007）
• 元标签器（基于 Lei Tang、Suju Rajan、Vijay K. Narayanan, 2009）
• 联合识别与分段（基于 Fabrizio Morbini、Kenji Sagae, 2011）
• 被动-攻击性算法（基于 Koby Crammer、Ofer Dekel、Joseph Keshet、Shai Shalev-Shwartz、Yoram Singer, 2006）
• 阈值分类器（通过寻找最佳阈值将多类分类器转换为多标签分类器）

该库仍在开发中，并非所有功能都适用于所有分类器。有关已实现功能的完整列表，请参阅“test”文件夹。

特征工程

特征提取——将输入样本转换为特征-值对：

// 首先，定义我们的基础分类器类型（基于 winnow 的多标签分类器）：
var TextClassifier = limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
	binaryClassifierType: limdu.classifiers.Winnow.bind(0, {retrain_count: 10})
});

// 现在定义我们的特征提取器——一个接收样本并将特征添加到给定特征集合中的函数：
var WordExtractor = function(input, features) {
	input.split(" ").forEach(function(word) {
		features[word]=1;
	});
};

// 使用基础分类器类型和特征提取器初始化分类器：
var intentClassifier = new limdu.classifiers.EnhancedClassifier({
	classifierType: TextClassifier,
	featureExtractor: WordExtractor
});

// 训练和测试：
intentClassifier.trainBatch([
	{input: "I want an apple", output: "apl"},
	{input: "I want a banana", output: "bnn"},
	{input: "I want chips", output:    "cps"},
	]);

console.dir(intentClassifier.classify("I want an apple and a banana"));  // ['apl','bnn']
console.dir(intentClassifier.classify("I WANT AN APPLE AND A BANANA"));  // []

正如最后一个示例所示，默认情况下，特征提取是区分大小写的。 我们将在下一个示例中解决这个问题。

除了定义自己的特征提取器外，您还可以使用 limdu 自带的特征提取器：

limdu.features.NGramsOfWords
limdu.features.NGramsOfLetters
limdu.features.HypernymExtractor

您还可以将“featureExtractor”设置为包含多个特征提取器的数组，这些提取器将按照您指定的顺序依次执行。

输入归一化

// 使用特征提取器和大小写归一化器初始化分类器：
intentClassifier = new limdu.classifiers.EnhancedClassifier({
	classifierType: TextClassifier,  // 与前一个示例相同
	normalizer: limdu.features.LowerCaseNormalizer,
	featureExtractor: WordExtractor  // 与前一个示例相同
});

// 训练和测试：
intentClassifier.trainBatch([
	{input: "I want an apple", output: "apl"},
	{input: "I want a banana", output: "bnn"},
	{input: "I want chips", output: "cps"},
	]);

console.dir(intentClassifier.classify("I want an apple and a banana"));  // ['apl','bnn']
console.dir(intentClassifier.classify("I WANT AN APPLE AND A BANANA"));  // ['apl','bnn'] 

当然，您也可以使用其他任何函数作为输入归一化器。例如，如果您会编写拼写检查器，就可以创建一个能够纠正输入中错别字的归一化器。

此外，您还可以将“normalizer”设置为包含多个归一化器的数组。这些归一化器将按照您指定的顺序依次执行。

特征查找表——将自定义特征转换为整数特征

本示例使用了二次 SVM 实现 svm.js，由 Andrej Karpathy 开发。 由于该 SVM（与大多数 SVM 实现类似）仅支持整数特征，因此我们需要一种方法将基于字符串的特征转换为整数。

var limdu = require('limdu');

// 首先，定义我们的基础分类器类型（基于 svm.js 的多标签分类器）：
var TextClassifier = limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
	binaryClassifierType: limdu.classifiers.SvmJs.bind(0, {C: 1.0})
});

// 使用特征提取器和查找表初始化分类器：
var intentClassifier = new limdu.classifiers.EnhancedClassifier({
	classifierType: TextClassifier,
	featureExtractor: limdu.features.NGramsOfWords(1),  // 每个词（1-gram）都作为一个特征  
	featureLookupTable: new limdu.features.FeatureLookupTable()
});

// 训练和测试：
intentClassifier.trainBatch([
	{input: "I want an apple", output: "apl"},
	{input: "I want a banana", output: "bnn"},
	{input: "I want chips", output: "cps"},
	]);

console.dir(intentClassifier.classify("I want an apple and a banana"));  // ['apl','bnn']

FeatureLookupTable 会处理数字部分，而您可以继续使用文本进行操作！

序列化

假设你想在自己的家用电脑上训练一个分类器，并将其部署到远程服务器上使用。要做到这一点，你需要将训练好的分类器转换成字符串，然后将该字符串发送到远程服务器，并在那里进行反序列化。

你可以使用 serialization.js 包来实现这一过程：

npm install serialization

在你的家用电脑上，执行以下操作：

var serialize = require('serialization');

// 首先，定义一个函数来创建一个新的（未训练的）分类器。
// 这段代码应该是独立的——它应该包含创建分类器所需的所有 `require` 语句。
function newClassifierFunction() {
	var limdu = require('limdu');
	var TextClassifier = limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
		binaryClassifierType: limdu.classifiers.Winnow.bind(0, {retrain_count: 10})
	});

	var WordExtractor = function(input, features) {
		input.split(" ").forEach(function(word) {
			features[word]=1;
		});
	};
	
	// 使用特征提取器初始化分类器：
	return new limdu.classifiers.EnhancedClassifier({
		classifierType: TextClassifier,
		featureExtractor: WordExtractor,
		pastTrainingSamples: [], // 以便支持重新训练
	});
}

// 使用上述函数创建一个新的分类器：
var intentClassifier = newClassifierFunction();

// 训练并测试：
var dataset = [
	{input: "I want an apple", output: "apl"},
	{input: "I want a banana", output: "bnn"},
	{input: "I want chips", output: "cps"},
	];
intentClassifier.trainBatch(dataset);

console.log("原始分类器：");
intentClassifier.classifyAndLog("I want an apple and a banana");  // ['apl','bnn']
intentClassifier.trainOnline("I want a doughnut", "dnt");
intentClassifier.classifyAndLog("I want chips and a doughnut");  // ['cps','dnt']
intentClassifier.retrain();
intentClassifier.classifyAndLog("I want an apple and a banana");  // ['apl','bnn']
intentClassifier.classifyAndLog("I want chips and a doughnut");  // ['cps','dnt']

// 将分类器序列化（转换为字符串）
var intentClassifierString = serialize.toString(intentClassifier, newClassifierFunction);

// 将字符串保存到文件中，并发送到远程服务器。

在远程服务器上，执行以下操作：

// 从文件中读取字符串后：

var intentClassifierCopy = serialize.fromString(intentClassifierString, __dirname);

console.log("反序列化后的分类器：");
intentClassifierCopy.classifyAndLog("I want an apple and a banana");  // ['apl','bnn']
intentClassifierCopy.classifyAndLog("I want chips and a doughnut");  // ['cps','dnt']
intentClassifierCopy.trainOnline("I want an elm tree", "elm");
intentClassifierCopy.classifyAndLog("I want doughnut and elm tree");  // ['dnt','elm']

注意：序列化功能尚未针对所有可能的分类器和增强方法组合进行全面测试。请在使用前充分测试！

交叉验证

// 创建一个包含大量输入输出对的数据集：
var dataset = [ ... ];

// 决定你希望使用的 k 折交叉验证的折数：
var numOfFolds = 5;

// 定义你要测试的分类器类型：
var IntentClassifier = limdu.classifiers.EnhancedClassifier.bind(0, {
	classifierType: limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
		binaryClassifierType: limdu.classifiers.Winnow.bind(0, {retrain_count: 10})
	}),
	featureExtractor: limdu.features.NGramsOfWords(1),
});

var microAverage = new limdu.utils.PrecisionRecall();
var macroAverage = new limdu.utils.PrecisionRecall();

limdu.utils.partitions.partitions(dataset, numOfFolds, function(trainSet, testSet) {
	console.log("在 "+trainSet.length+" 个样本上训练，在 "+testSet.length+" 个样本上测试");
	var classifier = new IntentClassifier();
	classifier.trainBatch(trainSet);
	limdu.utils.test(classifier, testSet, /* verbosity = */0,
		microAverage, macroAverage);
});

macroAverage.calculateMacroAverageStats(numOfFolds);
console.log("\n\nMACRO AVERAGE："); console.dir(macroAverage.fullStats());

microAverage.calculateStats();
console.log("\n\nMICRO AVERAGE："); console.dir(microAverage.fullStats());

反向分类（也称生成）

使用此选项可以获取具有给定类别的所有样本列表。

var intentClassifier = new limdu.classifiers.EnhancedClassifier({
	classifierType: limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
		binaryClassifierType: limdu.classifiers.Winnow.bind(0, {retrain_count: 10})
	}),
	featureExtractor: limdu.features.NGramsOfWords(1),
	pastTrainingSamples: [],
});

// 训练和测试：
intentClassifier.trainBatch([
	{input: "I want an apple", output: "apl"},
	{input: "I want a banana", output: "bnn"},
	{input: "I really want an apple", output: "apl"},
	{input: "I want a banana very much", output: "bnn"},
	]);

console.dir(intentClassifier.backClassify("apl"));  // [ 'I want an apple', 'I really want an apple' ]

SVM 包装器

原生的 svm.js 实现训练时间较长——与训练样本数量呈二次方关系。 有两种常用的包可以在与训练样本数量线性相关的时间内完成训练，它们是：

• SVM-Perf —— 由 Thorsten Joachims 开发；
• LibLinear —— 由 Fan、Chang、Hsieh、Wang 和 Lin 共同开发。

limdu.js 包提供了这些实现的包装器。要使用这些包装器，你必须在系统路径中拥有用于训练的二进制文件，即：

• svm_perf_learn —— 来自 [SVM-Perf]；
• liblinear_train —— 来自 [LibLinear]。

一旦安装了其中任何一个，你就可以用相应的分类器替代之前演示中使用的任何二元分类器，只要有一个特征查找表即可。例如，使用 SvmPerf：

var intentClassifier = new limdu.classifiers.EnhancedClassifier({
	classifierType: limdu.classifiers.multilabel.BinaryRelevance.bind(0, {
		binaryClassifierType: limdu.classifiers.SvmPerf.bind(0, 	{
			learn_args: "-c 20.0" 
		})
	}),
	featureExtractor: limdu.features.NGramsOfWords(1),
	featureLookupTable: new limdu.features.FeatureLookupTable()
});

同样地，也可以使用 SvmLinear。

有关选项的详细信息，请参阅 classifiers/svm/SvmPerf.js 和 classifiers/svm/SvmLinear.js 文件。

未文档化的功能

一些高级功能目前仍在开发中，尚未记录在文档中。如果你需要这些功能，请提交一个问题，我会尽量补充文档。

• 基于正则表达式的自定义输入归一化；
• 多标签分类中的输入分段——既可以手动（通过正则表达式），也可以自动；
• 用于模型适应的特征提取；
• 拼写检查功能；
• 上位词特征；
• 基于跨语言语言模型的分类；
• 格式转换——ARFF、JSON、svm-light、TSV。

许可证

LGPL

贡献

欢迎代码贡献。合理的拉取请求，附带适当的文档和单元测试，都将被接受。

你喜欢 limdu 吗？别忘了给它点个星哦 :-)

Limdu.js 快速上手指南

Limdu 是一个专为 Node.js 设计的机器学习框架，支持多标签分类、在线学习和实时分类。它特别适用于对话系统和聊天机器人的自然语言理解（NLU）场景。

注意：目前该库处于 Alpha 阶段，部分功能可能尚未完善或未经过充分测试。

环境准备

• 操作系统：支持 Windows、macOS 及 Linux。
• 运行环境：Node.js 0.12 或更高版本（建议使用最新的 LTS 版本）。
• 前置依赖：无需额外系统级依赖，仅需 npm 包管理器。

安装步骤

使用 npm 直接安装即可：

npm install limdu

国内加速建议：如果下载速度较慢，可配置淘宝镜像源进行安装：

npm install limdu --registry=https://registry.npmmirror.com

基本使用

以下示例演示了如何使用 Limdu 进行最简单的二分类批量学习（根据 RGB 颜色值判断是黑色还是白色）。

1. 引入模块并创建分类器

var limdu = require('limdu');

// 创建一个神经网络分类器
var colorClassifier = new limdu.classifiers.NeuralNetwork();

2. 训练模型

通过 trainBatch 方法传入输入输出对数组进行训练：

colorClassifier.trainBatch([
	{input: { r: 0.03, g: 0.7, b: 0.5 }, output: 0},  // 黑色
	{input: { r: 0.16, g: 0.09, b: 0.2 }, output: 1}, // 白色
	{input: { r: 0.5, g: 0.5, b: 1.0 }, output: 1}    // 白色
]);

3. 进行预测

使用 classify 方法对新数据进行分类：

// 输出结果接近 1 (白色)
console.log(colorClassifier.classify({ r: 1, g: 0.4, b: 0 })); 

进阶：在线学习示例

Limdu 也支持逐条数据的在线学习（Online Learning），适合动态更新模型：

var birdClassifier = new limdu.classifiers.Winnow({
	default_positive_weight: 1,
	default_negative_weight: 1,
	threshold: 0
});

// 在线训练：鹰是鸟 (1)，狗不是鸟 (0)
birdClassifier.trainOnline({'wings': 1, 'flight': 1, 'beak': 1, 'eagle': 1}, 1);
birdClassifier.trainOnline({'wings': 0, 'flight': 0, 'beak': 0, 'dog': 1}, 0);

// 预测
console.dir(birdClassifier.classify({'wings': 1, 'flight': 0, 'beak': 0.5, 'penguin':1}));