catalyst 是一个为速度而构建的 C# 自然语言处理库。它受到 spaCy 的设计 启发，提供了预训练模型、开箱即用的词和文档嵌入训练支持，以及灵活的实体识别模型。

⚡ 特性

• 快速、现代的纯 C# NLP 库，支持 .NET 标准 2.0
• 跨平台，可在任何支持 .NET Core 的环境中运行——Windows、Linux、macOS 甚至 ARM
• 非破坏性 分词，>99.9% 无正则表达式 ，在现代 CPU 上超过 100 万个标记/秒
• 命名实体识别（词汇表、基于规则 和 基于感知器)
• 基于 Universal Dependencies 项目的预训练模型
• 自定义模型用于学习 缩写 和 语义
• 开箱即用的支持 FastText 和 StarSpace 嵌入的训练（预训练模型即将推出）
• 词性标注
• 使用 FastText 或 cld3 进行语言检测
• 基于 MessagePack 的高效二进制序列化
• 针对 语言包 的预构建模型 ✨
• 词形还原 ✨（使用从 spaCy 移植的查找表）

语言包 ✨

所有特定语言的数据和模型都以 NuGet 包的形式提供，您可以在 这里 找到所有包。

新模型是在最新发布的 Universal Dependencies v2.7 数据集上训练的。

我们还添加了使用流存储和加载模型的功能：

// 创建并存储模型
var isApattern = new PatternSpotter(Language.English, 0, tag: "is-a-pattern", captureTag: "IsA");
isApattern.NewPattern(
    "Is+Noun",
    mp => mp.Add(
        new PatternUnit(P.Single().WithToken("is").WithPOS(PartOfSpeech.VERB)),
        new PatternUnit(P.Multiple().WithPOS(PartOfSpeech.NOUN, PartOfSpeech.PROPN, PartOfSpeech.AUX, PartOfSpeech.DET, PartOfSpeech.ADJ))
));
using(var f = File.OpenWrite("my-pattern-spotter.bin"))
{
    await isApattern.StoreAsync(f);
}

// 从磁盘加载模型
var isApattern2 = new PatternSpotter(Language.English, 0, tag: "is-a-pattern", captureTag: "IsA");

using(var f = File.OpenRead("my-pattern-spotter.bin"))
{
    await isApattern2.LoadAsync(f);
}

✨ 入门

使用 catalyst 就像安装它的 NuGet 包 并将存储设置为我们在线仓库一样简单。这样，模型将按需从磁盘加载或从我们的在线仓库下载。请参阅一些 示例项目，以获取更多关于如何使用 catalyst 的示例。

Catalyst.Models.English.Register(); // 您需要预先注册每种语言（并安装相应的 NuGet 包）

Storage.Current = new DiskStorage("catalyst-models");
var nlp = await Pipeline.ForAsync(Language.English);
var doc = new Document("The quick brown fox jumps over the lazy dog", Language.English);
nlp.ProcessSingle(doc);
Console.WriteLine(doc.ToJson());

您还可以利用 C# 的惰性求值和原生多线程支持，并行处理大量文档：

var docs = GetDocuments();
var parsed = nlp.Process(docs);
DoSomething(parsed);

IEnumerable<IDocument> GetDocuments()
{
    // 生成几份文档，以演示多线程和惰性求值
    for(int i = 0; i < 1000; i++)
    {
        yield return new Document("The quick brown fox jumps over the lazy dog", Language.English);
    }
}

void DoSomething(IEnumerable<IDocument> docs)
{
    foreach(var doc in docs)
    {
        Console.WriteLine(doc.ToJson());
    }
}

训练一个新的 FastText word2vec 嵌入模型就像下面这样简单：

var nlp = await Pipeline.ForAsync(Language.English);
var ft = new FastText(Language.English, 0, "wiki-word2vec");
ft.Data.Type = FastText.ModelType.CBow;
ft.Data.Loss = FastText.LossType.NegativeSampling;
ft.Train(nlp.Process(GetDocs()));
ft.StoreAsync();

为了快速进行嵌入搜索，我们还在 NuGet 上发布了 "分层可导航小世界" (HNSW) 算法的 C# 版本，该版本基于我们对 Microsoft 的 HNSW.Net 的分支。此外，我们还在 GitHub 和 NuGet 上发布了用于降维的 ["均匀流形近似与投影" (UMAP) 算法的 C# 版本。

📖 链接

文档
贡献	如何为 catalyst 代码库做出贡献。
示例	展示 catalyst 功能的示例项目
	加入我们的 Gitter 论坛

Catalyst 快速上手指南

Catalyst 是一个专为速度打造的 C# 自然语言处理（NLP）库，灵感来源于 Python 的 spaCy。它支持跨平台运行，提供预训练模型、实体识别、词性标注、语言检测以及 FastText/StarSpace 嵌入训练等功能。

环境准备

• 操作系统：Windows、Linux、macOS 或 ARM 架构设备
• 运行时要求：.NET Core 3.1+ 或 .NET 5/6/7/8（需支持 .NET Standard 2.0）
• 开发工具：Visual Studio 2019+、VS Code 或 JetBrains Rider
• 前置依赖：无额外系统级依赖，所有功能通过 NuGet 包管理

💡 提示：国内开发者若遇到 NuGet 下载缓慢，可配置国内镜像源（如阿里云、腾讯云或清华源）加速包安装。

安装步骤

1. 打开终端或包管理器控制台。
2. 安装核心库：

   dotnet add package Catalyst
   

3. 根据所需语言安装对应的模型包（以英语为例）：

   dotnet add package Catalyst.Models.English
   

   其他语言模型包可在 NuGet 搜索页 查找，例如 Catalyst.Models.Chinese（如有）。

基本使用

以下是最简单的文本处理示例，展示分词、实体识别和结果输出：

using Catalyst;
using Catalyst.Models;

// 注册语言模型（必须先执行）
English.Register();

// 设置模型存储路径（可选，默认使用在线仓库懒加载）
Storage.Current = new DiskStorage("catalyst-models");

// 创建 NLP 流水线
var nlp = await Pipeline.ForAsync(Language.English);

// 创建文档对象
var doc = new Document("The quick brown fox jumps over the lazy dog", Language.English);

// 处理单个文档
nlp.ProcessSingle(doc);

// 输出 JSON 结果
Console.WriteLine(doc.ToJson());

批量处理示例（利用多线程与懒加载）

var docs = GetDocuments();
var parsed = nlp.Process(docs);
DoSomething(parsed);

IEnumerable<IDocument> GetDocuments()
{
    for(int i = 0; i < 1000; i++)
    {
        yield return new Document("The quick brown fox jumps over the lazy dog", Language.English);
    }
}

void DoSomething(IEnumerable<IDocument> docs)
{
    foreach(var doc in docs)
    {
        Console.WriteLine(doc.ToJson());
    }
}

训练自定义 FastText 词向量模型

var nlp = await Pipeline.ForAsync(Language.English);
var ft = new FastText(Language.English, 0, "wiki-word2vec");
ft.Data.Type = FastText.ModelType.CBow;
ft.Data.Loss = FastText.LossType.NegativeSampling;
ft.Train(nlp.Process(GetDocs()));
await ft.StoreAsync();

📌 更多示例项目请参考官方 samples 目录。