cltk
cltk(Classical Language Toolkit)是一个专为处理古代语言而设计的 Python 自然语言处理库。它主要解决了现有 NLP 工具大多基于现代口语假设,难以有效分析拉丁语、古希腊语等“前现代”历史语言的痛点,填补了古典学研究中的技术空白。
这款工具非常适合从事数字人文研究的学者、计算语言学家以及需要处理古籍文本的开发者使用。无论是进行文本分词、词形还原,还是复杂的句法分析,cltk 都能提供专业支持。其独特的技术亮点在于灵活的架构设计:不仅内置了针对古典语言的专用算法,还创新性地集成了生成式 AI 能力。用户既可以调用 OpenAI 等云端大模型进行智能标注,也能通过 Ollama 本地部署开源大模型(如 Llama 3.1、Qwen 等),在保护数据隐私的同时享受前沿 AI 带来的效率提升。对于希望用现代技术手段探索古老文明的研究者而言,cltk 是一座连接传统学术与人工智能的坚实桥梁。
使用场景
一位数字人文研究员正在处理数千份未经标点的中世纪拉丁文手稿,试图从中提取人名、地名及动词变位以构建历史知识图谱。
没有 cltk 时
- 通用 NLP 工具(如 spaCy)完全无法识别拉丁文的复杂屈折变化,导致分词和词性标注准确率极低。
- 研究者需手动编写大量正则表达式来匹配特定的语法结构,耗时数周且难以覆盖古语的特殊拼写变异。
- 缺乏针对古典语言的预训练模型,若要引入 AI 辅助,必须从零收集语料并训练专用模型,技术门槛过高。
- 不同时期的拉丁文(如古典期与中世纪)差异巨大,单一规则库无法适配,导致跨时代文本分析经常报错或失效。
使用 cltk 后
- 直接调用 cltk 内置的拉丁语专用流水线,瞬间完成高精度的分词、词干提取及形态学分析,无需自定义规则。
- 利用 cltk 集成的 OpenAI 或 Ollama 后端,通过几行代码即可让大模型对生僻的古拉丁词汇进行上下文消歧和注释。
- 轻松切换针对不同历史时期优化的语言模型,同一套代码即可流畅处理从西塞罗到修道院抄本的各种文本风格。
- 原本需要数月的数据清洗工作缩短至几天,研究者能将精力集中在历史逻辑推演而非底层算法调试上。
cltk 将古典语言研究的门槛从“精通计算语言学”降低为“掌握基础 Python",让历史学者能直接驾驭现代 AI 力量挖掘古籍价值。
运行环境要求
- 未说明
- 非必需
- 若使用本地大语言模型(Ollama 后端),需根据所选模型(如 llama3.1:70b)配置相应的 GPU 显存
- 若仅使用 OpenAI 云端或 Stanza 判别式后端,无明确 GPU 要求
未说明(取决于是否运行本地大模型及模型大小)

快速开始
古典语言工具包(CLTK)是一个 Python 库,为前现代语言提供自然语言处理(NLP)功能。
安装
安装 CLTK 的最新版本:
pip install cltk
可选扩展:
- GenAI(由 OpenAI 提供支持的标注):
pip install "cltk[openai]"
- Stanza(基于斯坦福 Stanza 的判别式 NLP 后端):
pip install "cltk[stanza]"
您可以组合使用这些扩展,例如:
pip install "cltk[openai,stanza]"
# 或者同时包含本地 LLM 支持
pip install "cltk[openai,stanza,ollama]"
- 通过 Ollama 使用本地 LLM:
安装可选扩展,并确保本地已运行 Ollama 服务器:
pip install "cltk[ollama]"
默认情况下,当 backend='ollama' 时,CLTK 使用模型 llama3.1:8b。要选择其他本地模型,可以将 model 参数传递给 NLP(...),例如 qwen2.5:14b、gemma2:27b、llama3.1:70b,或任何 Ollama 模型名称。
选择模型
- OpenAI 后端(云端 GenAI):
from cltk import NLP
# 默认模型是 "gpt-5-mini",当 backend='openai' 时
nlp = NLP('lati1261', backend='openai')
# 选择特定模型
nlp_big = NLP('lati1261', backend='openai', model='gpt-5')
# 需要在环境中设置 OPENAI_API_KEY
# (例如通过 .env 文件或 shell 环境变量)
- Ollama 后端(本地 LLM):
from cltk import NLP
# 默认模型是 "llama3.1:8b",当 backend='ollama' 时
nlp_local = NLP('lati1261', backend='ollama')
# 选择特定本地模型(任何已安装或可拉取的 Ollama 模型)
nlp_qwen = NLP('lati1261', backend='ollama', model='qwen2.5:14b')
# 若要使用托管的 Ollama Cloud,需设置 OLLAMA_CLOUD_API_KEY
# 并选择 backend='ollama-cloud'。同样适用上述模型名称。
如需更多信息,请参阅 安装文档,或从源代码安装,请参考 开发指南。
1.0 版本之前的软件仍可在 v0.1.x 分支 上找到,相关文档位于 https://legacy.cltk.org。可通过 pip install "cltk<1.0" 进行安装。
文档
文档位于 https://docs.cltk.org。
引用
在使用 CLTK 时,请引用以下出版物,并注明 DOI:
Johnson, Kyle P., Patrick J. Burns, John Stewart, Todd Cook, Clément Besnier, 和 William J. B. Mattingly. “古典语言工具包:面向前现代语言的 NLP 框架。” 载于《第 59 届计算语言学协会年会暨第 11 届国际自然语言处理联合会议:系统演示》,页 20–29。2021 年。10.18653/v1/2021.acl-demo.3
完整的 BibTeX 条目如下:
@inproceedings{johnson-etal-2021-classical,
title = "The {C}lassical {L}anguage {T}oolkit: {A}n {NLP} Framework for Pre-Modern Languages",
author = "Johnson, Kyle P. and
Burns, Patrick J. and
Stewart, John and
Cook, Todd and
Besnier, Cl{\'e}ment and
Mattingly, William J. B.",
booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
month = aug,
year = "2021",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.acl-demo.3",
doi = "10.18653/v1/2021.acl-demo.3",
pages = "20--29",
abstract = "本文宣布古典语言工具包(CLTK)1.0 版本的发布,该工具包是一个用于前现代语言的 NLP 框架。目前大多数 NLP 技术及其算法和软件都是基于对现代语言的假设而设计的,因此忽略了大量非口语历史语言的一些重要特性。此外,研究前现代语言的学者通常与研究现代语言的研究者有着不同的目标。为了填补这一空白,CLTK 借鉴了几种领先的 NLP 框架的思想,构建了一种新颖的软件架构,以满足前现代语言及其研究者的独特需求。其核心是一个模块化的处理流程,能够在算法多样性与预设默认值之间取得平衡。CLTK 目前为近 20 种语言提供了包括模型在内的处理流程。"
}
许可证
版权所有 © 2014–至今 Kyle P. Johnson,采用 MIT 许可证。
版本历史
2.0.0a32025/09/21v1.5.02025/05/04v1.4.02025/05/04v1.3.02024/05/12v1.2.62024/05/13v1.2.52024/05/13v1.2.22024/05/13v1.2.12023/12/27v1.2.02023/12/27v1.1.72023/11/04v1.1.7a62023/11/01v1.1.7a42023/10/27v1.1.7a32023/10/27v1.1.7a22023/10/27v1.1.7a12023/10/231.0.152021/06/101.0.142021/05/211.0.132021/05/211.0.122021/04/301.0.112021/04/13常见问题
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。
markitdown
MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具,专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片(含 OCR)、音频(含语音转录)、HTML 乃至 YouTube 链接等多种格式的解析,能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天,大语言模型(LLM)虽擅长处理文本,却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点,它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式,成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外,它还提供了 MCP(模型上下文协议)服务器,可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用,尤其是那些需要构建文档检索增强生成(RAG)系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性,但其核心优势在于为机器
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备