winkNLP

开发者友好的自然语言处理 ✨

WinkNLP 是一个用于自然语言处理（NLP）的 JavaScript 库。它专为使 NLP 应用程序的开发更加 简单 和 快速 而设计，同时在性能与准确度之间实现了最佳平衡。

其对 词嵌入 的支持（wink-embeddings-sg-100d）能够解锁更深层次的文本分析能力。您可以轻松地将单词和文本表示为数值向量，在语义相似性、文本分类等任务中获得更高的准确性——甚至可以直接在 浏览器 中使用。

该库从零开始构建，没有任何外部依赖（Snyk 测试结果），并且拥有一个 精简的代码库，压缩后仅约 10KB（BundlePhobia）。此外，测试覆盖率接近 100%（Coveralls），并符合 开源安全基金会的最佳实践（CII 最佳实践），使得 WinkNLP 成为构建生产级系统的理想工具，让您充满信心。

WinkNLP 完全支持 TypeScript（类型定义文件），可在 Node.js、Web 浏览器（如何在浏览器中安装）以及 Deno（如何在 Deno 中运行）环境中运行。

快速构建精彩应用

维基百科文章时间线	上下文感知词云	关键句子检测

更多示例请访问 在线演示。

极速运行

WinkNLP 可以轻松处理大量原始文本，在 M1 MacBook Pro 上，无论是在浏览器还是 Node.js 环境中，都能达到 每秒超过 65 万个 token 的处理速度。即使在低端智能手机的浏览器上，它也能流畅运行。

环境	基准测试命令
Node.js	node benchmark/run
浏览器	如何测量 WinkNLP 在浏览器中的速度？

功能特性

WinkNLP 拥有一套 全面的自然语言处理流水线（processing-pipeline），涵盖分词、句子边界检测（SBD）、否定句处理、情感分析、词性标注（POS）、命名实体识别（NER）、自定义实体识别（CER）等功能。它提供了丰富的功能：

🐎 快速、无损且多语言的分词器	例如，多语言文本字符串 "¡Hola! नमस्कार! Hi! Bonjour chéri" 会被分词为 ["¡", "Hola", "!", "नमस्कार", "!", "Hi", "!", "Bonjour", "chéri"]。该分词器在 M1 MBP 的浏览器中，处理速度接近 **400 万个 token/秒**。
✨ 开发者友好且直观的 API	使用 WinkNLP，只需简单的声明式语法即可处理任何文本；大多数 实时示例 的代码行数仅为 **30–40 行**。
🖼 一流的 文本可视化	可以使用 HTML 标记或其他您选择的标签，以编程方式 **标记** 词、句子、实体等。
♻️ 丰富的文本处理功能	您可以移除或保留具有特定属性的 token，例如词性、命名实体类型、token 类型、停用词、形状等；计算弗莱施阅读易度分数；生成 n-gram；进行归一化、词形还原或词干提取。通过适当的文本预处理，即使是 朴素贝叶斯分类器，在情感分析和聊天机器人意图分类任务中也能达到 **令人印象深刻的（≥90%）** 准确度。
🔠 预训练的 语言模型	模型体积小巧，最小仅约 **1MB（压缩后）**（[BundlePhobia](https://bundlephobia.com/package/wink-eng-lite-web-model)），能够在 4G 网络下将模型加载时间大幅缩短至约 1 秒。
↗️ 词向量	针对超过 35 万种英语词汇提供的 100 维英语词嵌入，专为 WinkNLP 优化。可轻松计算句子或文档的嵌入向量。

工具与实用程序 💼

• BM25 向量化器
• 相似度方法 – 余弦相似度、特沃斯基系数、索伦森-戴斯系数、大冢-落合系数
• its 和 as 辅助函数，用于获取词袋模型、词频表、词元、词干、停用词过滤、否定处理等更多功能。

文档

• 概念 — 您开始使用所需了解的一切。
• API 参考 — 通过示例解释 API 的使用方法。
• 变更日志 — 版本历史，包括任何重大变更的详细信息。
• 示例 — 带代码的实时示例，帮助您快速上手。

安装

使用 npm 进行安装：

npm install wink-nlp --save

在安装 winkNLP 后，您还需要根据所使用的 Node.js 版本安装相应的语言模型。下表列出了特定版本的安装命令：

Node.js 版本	安装命令
16 或 18	npm install wink-eng-lite-web-model --save
14 或 12	node -e "require('wink-nlp/models/install')"

wink-eng-lite-web-model 专为 Node.js 16 或 18 版本设计。它也可以在浏览器中运行，具体说明见下一节。这是推荐使用的模型。

第二条命令会安装 wink-eng-lite-model，适用于 Node.js 14 或 12 版本。

如何配置 TypeScript 项目

在 tsconfig.json 文件中启用 esModuleInterop 和 allowSyntheticDefaultImports：

"compilerOptions": {
    "esModuleInterop": true,
    "allowSyntheticDefaultImports": true,
    ...
}

如何在 Web 浏览器中安装

如果您在浏览器中使用 winkNLP，请使用 wink-eng-lite-web-model。请参阅我们的浏览器中使用 winkNLP 指南，了解其安装和使用方法。您还可以在 Observable 上探索 winkNLP 食谱，获取基于浏览器的实时示例。

如何在 Deno 上运行

请按照 replit 上的示例 进行操作。

快速入门

以下是 winkNLP 的“Hello World!”示例：

// 加载 wink-nlp 包。
const winkNLP = require( 'wink-nlp' );
// 加载英语语言模型。
const model = require( 'wink-eng-lite-web-model' );
// 实例化 winkNLP。
const nlp = winkNLP( model );
// 获取 "its" 辅助函数以提取项目属性。
const its = nlp.its;
// 获取 "as" 归约辅助函数以归约集合。
const as = nlp.as;
 
// NLP 代码。
const text = 'Hello   World🌎! How are you?';
const doc = nlp.readDoc( text );
 
console.log( doc.out() );
// -> Hello   World🌎! How are you?
 
console.log( doc.sentences().out() );
// -> [ 'Hello   World🌎!', 'How are you?' ]
 
console.log( doc.entities().out( its.detail ) );
// -> [ { value: '🌎', type: 'EMOJI' } ]
 
console.log( doc.tokens().out() );
// -> [ 'Hello', 'World', '🌎', '!', 'How', 'are', 'you', '?' ]
 
console.log( doc.tokens().out( its.type, as.freqTable ) );
// -> [ [ 'word', 5 ], [ 'punctuation', 2 ], [ 'emoji', 1 ] ]

您可以在 RunKit 上体验 winkNLP。

速度与准确率

winkNLP 使用 wink-eng-lite-web-model 处理原始文本时，速度可达 每秒约 65 万个标记，该测试是在配备 16GB 内存的 M1 MacBook Pro 上，使用詹姆斯·乔伊斯《尤利西斯》第 13 章进行基准测试。整个 NLP 流程——分词、句子边界检测、否定处理、情感分析、词性标注和命名实体识别——均包含在内。这一速度远超当前的主流基准测试结果。

该基准测试是在 Node.js 16 和 18 版本 上进行的。

它对 WSJ 语料库的一个子集进行词性标注，准确率为 约 95% ——这包括在词性标注之前对原始文本进行分词。目前最先进的技术准确率约为 97%，但速度较慢，且通常基于预先分词的黄金标准语料库进行计算。

其通用情感分析在使用亚马逊产品评论 情感标签句子数据集 和 UCI 机器学习存储库 验证时，F1 分数达到 约 84.5%。而专门训练的模型当前基准准确率可达到约 95%。

内存需求

Wink NLP 在提供如此高性能的同时，对内存的占用却非常低。例如，它处理整部 印度史 第一卷 时，峰值内存占用始终低于 80MB。该书约有 350 页，相当于超过 12.5 万个标记。

需要帮助吗？

使用问题 👩🏽‍💻

请在 Stack Overflow 提问，或在 Wink JS GitHub 讨论区 讨论，亦可在 Wink JS Gitter 论坛 与我们交流。

错误报告 🐛

如果您发现了一个尚未报告的错误，请提交一个新的 issue，或者考虑修复它并提交一个 PR。

新功能 🌟

如果您希望添加新功能，可以通过 新功能与想法讨论区 提出请求，或考虑成为 贡献者。

关于 winkJS

WinkJS 是一组开源软件包，用于在 NodeJS 中进行 自然语言处理、机器学习 和 统计分析。其代码 文档详尽，便于人类理解，并且具有 近 100% 的测试覆盖率，确保构建生产级解决方案的可靠性。

版权与许可

Wink NLP 的版权归属 2017–2025 年 GRAYPE Systems Private Limited。

它采用 MIT 许可证授权。

winkNLP 快速上手指南

winkNLP 是一款专为开发者设计的 JavaScript 自然语言处理（NLP）库。它无外部依赖、体积轻量（压缩后约 10KB），并在 Node.js、浏览器和 Deno 环境中均能高效运行，兼顾了高性能与高准确率。

环境准备

• 运行时环境：
  • Node.js: 推荐版本 16 或 18（也可用于 12/14，但模型安装方式不同）。
  • 浏览器: 支持现代主流浏览器。
  • Deno: 支持 Deno 运行时。
• 包管理器: npm, yarn 或 pnpm。
• TypeScript (可选): 若使用 TS，需在 tsconfig.json 中启用以下配置：

  {
    "compilerOptions": {
      "esModuleInterop": true,
      "allowSyntheticDefaultImports": true
    }
  }
  

安装步骤

1. 安装核心库

在项目目录下执行以下命令安装 winkNLP：

npm install wink-nlp --save

国内加速提示：如遇网络问题，可配置淘宝镜像源： npm config set registry https://registry.npmmirror.com

2. 安装语言模型

winkNLP 需要配合语言模型使用。请根据你的 Node.js 版本选择对应的安装命令：

• Node.js 16 或 18 (推荐) 安装专为 Web 和新版 Node 优化的轻量模型：

  npm install wink-eng-lite-web-model --save
  

• Node.js 14 或 12 运行以下脚本安装兼容旧版的模型：

  node -e "require('wink-nlp/models/install')"
  

• 浏览器环境 请确保安装 wink-eng-lite-web-model，具体引入方式参考浏览器专用指南。

基本使用

以下是一个最简单的"Hello World"示例，展示如何初始化引擎、读取文档并提取句子、实体和词频统计。

// 1. 加载 wink-nlp 核心包
const winkNLP = require( 'wink-nlp' );

// 2. 加载英语语言模型 (根据安装步骤选择的模型名称可能不同)
const model = require( 'wink-eng-lite-web-model' );

// 3. 实例化 winkNLP
const nlp = winkNLP( model );

// 4. 获取辅助工具
// its: 用于提取项的属性 (如类型、细节等)
const its = nlp.its;
// as: 用于归约集合 (如生成频率表、数组等)
const as = nlp.as;
 
// 5. 开始处理文本
const text = 'Hello   World🌎! How are you?';
const doc = nlp.readDoc( text );
 
// 输出原始文档
console.log( doc.out() );
// -> Hello   World🌎! How are you?
 
// 输出句子列表
console.log( doc.sentences().out() );
// -> [ 'Hello   World🌎!', 'How are you?' ]
 
// 输出命名实体及其详细信息
console.log( doc.entities().out( its.detail ) );
// -> [ { value: '🌎', type: 'EMOJI' } ]
 
// 输出分词列表
console.log( doc.tokens().out() );
// -> [ 'Hello', 'World', '🌎', '!', 'How', 'are', 'you', '?' ]
 
// 输出词性类型及其频率统计表
console.log( doc.tokens().out( its.type, as.freqTable ) );
// -> [ [ 'word', 5 ], [ 'punctuation', 2 ], [ 'emoji', 1 ] ]

你可以直接在 RunKit 上在线尝试上述代码。