[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-THUNLP-MT--THUMT":3,"tool-THUNLP-MT--THUMT":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",145895,2,"2026-04-08T11:32:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":76,"owner_url":77,"languages":78,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":10,"env_os":87,"env_gpu":88,"env_ram":87,"env_deps":89,"category_tags":95,"github_topics":96,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":100,"updated_at":101,"faqs":102,"releases":133},5520,"THUNLP-MT\u002FTHUMT","THUMT","An open-source neural machine translation toolkit developed by Tsinghua Natural Language Processing Group","THUMT 是由清华大学自然语言处理实验室研发的开源神经机器翻译工具包，旨在帮助开发者和研究人员高效构建、训练及部署自动翻译系统。面对传统统计翻译方法在流畅度与语境理解上的局限，THUMT 提供了基于深度学习的端到端解决方案，显著提升了翻译质量。\n\n该工具包主要服务于算法工程师、NLP 研究者以及对机器翻译技术感兴趣的高校师生。它目前提供 PyTorch、TensorFlow 和 Theano 三种主流框架的实现版本，其中基于 PyTorch 和 TensorFlow 的新版因性能更优而被重点推荐。THUMT 的核心亮点在于全面支持业界主流的 Transformer 模型，同时也兼容经典的 Seq2Seq 与 RNNsearch 架构。此外，早期版本还集成了最小风险训练（MRT）、半监督学习（SST）以及层间相关性传播（LRP）等高级功能，前者有助于利用单语数据优化模型指标，后者则能可视化分析神经网络决策过程，为科研调试提供有力支持。配合其在线演示平台，用户可快速体验涵盖古汉语、英语、日语等十余种语言的互译效果，是探索前沿翻译技术的理想起点。","# THUMT: An Open Source Toolkit for Neural Machine Translation\n\n## Contents\n\n* [Introduction](#introduction)\n* [Online Demo](#online-demo)\n* [Implementations](#implementations)\n* [Notable Features](#notable-features)\n* [Documentation](#documentation)\n* [License](#license)\n* [Citation](#citation)\n* [Development Team](#development-team)\n* [Contact](#contact)\n* [Derivative Repositories](#derivative-repositories)\n\n## Introduction\n\nMachine translation is a natural language processing task that aims to translate natural languages using computers automatically. Recent several years have witnessed the rapid development of end-to-end neural machine translation, which has become the new mainstream method in practical MT systems.\n\nTHUMT is an open-source toolkit for neural machine translation developed by [the Natural Language Processing Group at Tsinghua University](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002Fsite2\u002Findex.php?lang=en). The website of THUMT is: [http:\u002F\u002Fthumt.thunlp.org\u002F](http:\u002F\u002Fthumt.thunlp.org\u002F).\n\n## Online Demo\n\nThe online demo of THUMT is available at [http:\u002F\u002Ftranslate.thumt.cn\u002F](http:\u002F\u002F101.6.5.207:3892\u002F). The languages involved include Ancient Chinese, Arabic, Chinese, English, French, German, Indonesian, Japanese, Portuguese, Russian, and Spanish.\n\n## Implementations\n\nTHUMT has currently three main implementations:\n\n* [THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT): a new implementation developed with [PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch). It implements the Transformer model (**Transformer**) ([Vaswani et al., 2017](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)).\n\n* [THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow): an implementation developed with [TensorFlow](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow). It implements the sequence-to-sequence model (**Seq2Seq**) ([Sutskever et al., 2014](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F5346-sequence-to-sequence-learning-with-neural-networks.pdf)), the standard attention-based model (**RNNsearch**) ([Bahdanau et al., 2014](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.0473.pdf)), and the Transformer model (**Transformer**) ([Vaswani et al., 2017](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)).\n\n* [THUMT-Theano](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftheano): the original project developed with [Theano](https:\u002F\u002Fgithub.com\u002FTheano\u002FTheano), which is no longer updated because MLA put an end to [Theano](https:\u002F\u002Fgithub.com\u002FTheano\u002FTheano). It implements the standard attention-based model (**RNNsearch**) ([Bahdanau et al., 2014](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1409.0473.pdf)), minimum risk training (**MRT**) ([Shen et al., 2016](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002F~ly\u002Fpapers\u002Facl2016_mrt.pdf)) for optimizing model parameters with respect to evaluation metrics, semi-supervised training (**SST**) ([Cheng et al., 2016](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002F~ly\u002Fpapers\u002Facl2016_semi.pdf)) for exploiting monolingual corpora to learn bi-directional translation models, and layer-wise relevance propagation (**LRP**) ([Ding et al., 2017](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002F~ly\u002Fpapers\u002Facl2017_dyz.pdf)) for visualizing and anlayzing RNNsearch.\n\nThe following table summarizes the features of three implementations:\n\n| Implementation | Model | Criterion | Optimizer | LRP |\n| :------------: | :---: | :--------------: | :--------------: | :----------------: |\n| Theano       |  RNNsearch | MLE, MRT, SST | SGD, AdaDelta, Adam | RNNsearch |\n| TensorFlow   |  Seq2Seq, RNNsearch, Transformer | MLE| Adam | RNNsearch, Transformer |\n| PyTorch | Transformer | MLE | SGD, Adadelta, Adam | N.A. |\n\nWe recommend using [THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT) or [THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow), which delivers better translation performance than [THUMT-Theano](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftheano). We will keep adding new features to [THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT) and [THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow).\n\n## Notable Features\n\n* Transformer ([Vaswani et al., 2017](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762))\n* Multi-GPU training & decoding\n* Multi-worker distributed training\n* Mixed precision training & decoding\n* Model ensemble & averaging\n* Gradient aggregation\n* TensorBoard for visualization\n\n## Documentation\n\nThe documentation of PyTorch implementation is avaiable at [here](docs\u002Findex.md).\n\n## License\n\nThe source code is dual licensed. Open source licensing is under the [BSD-3-Clause](https:\u002F\u002Fopensource.org\u002Flicenses\u002FBSD-3-Clause), which allows free use for research purposes. For commercial licensing, please email [thumt17@gmail.com](mailto:thumt17@gmail.com).\n\n## Citation\n\nPlease cite the following paper:\n\n> Zhixing Tan, Jiacheng Zhang, Xuancheng Huang, Gang Chen, Shuo Wang, Maosong Sun, Huanbo Luan, Yang Liu. [THUMT: An Open Source Toolkit for Neural Machine Translation](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.amta-research.11\u002F). AMTA 2020.\n\n> Jiacheng Zhang, Yanzhuo Ding, Shiqi Shen, Yong Cheng, Maosong Sun, Huanbo Luan, Yang Liu. 2017. [THUMT: An Open Source Toolkit for Neural Machine Translation](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.06415). arXiv:1706.06415.\n\n## Development Team\n\nProject leaders: [Maosong Sun](http:\u002F\u002Fwww.thunlp.org\u002Fsite2\u002Findex.php\u002Fzh\u002Fpeople?id=16), [Yang Liu](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002F~ly\u002F), Huanbo Luan\n\nProject members:\n\nTheano: Jiacheng Zhang, Yanzhuo Ding, Shiqi Shen, Yong Cheng\n\nTensorFlow: Zhixing Tan, Jiacheng Zhang, Xuancheng Huang, Gang Chen, Shuo Wang, Zonghan Yang\n\nPyTorch: Zhixing Tan, Gang Chen\n\n## Contact\n\nIf you have questions, suggestions and bug reports, please email [thumt17@gmail.com](mailto:thumt17@gmail.com).\n\n## Derivative Repositories\n\n* [UCE4BT](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FUCE4BT) (Improving Back-Translation with Uncertainty-based Confidence Estimation)\n* [L2Copy4APE](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FL2Copy4APE) (Learning to Copy for Automatic Post-Editing)\n* [Document-Transformer](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FDocument-Transformer) (Improving the Transformer Translation Model with Document-Level Context)\n* [PR4NMT](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FPR4NMT) (Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization)\n","# THUMT：面向神经机器翻译的开源工具包\n\n## 目录\n\n* [简介](#introduction)\n* [在线演示](#online-demo)\n* [实现方案](#implementations)\n* [特色功能](#notable-features)\n* [文档](#documentation)\n* [许可证](#license)\n* [引用](#citation)\n* [开发团队](#development-team)\n* [联系方式](#contact)\n* [衍生仓库](#derivative-repositories)\n\n## 简介\n\n机器翻译是自然语言处理领域的一项任务，旨在利用计算机自动完成自然语言之间的转换。近年来，端到端的神经机器翻译技术发展迅速，已成为当前实际应用中主流的方法。\n\nTHUMT是由[清华大学自然语言处理组](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002Fsite2\u002Findex.php?lang=en)开发的神经机器翻译开源工具包。THUMT的官方网站为：[http:\u002F\u002Fthumt.thunlp.org\u002F](http:\u002F\u002Fthumt.thunlp.org\u002F)。\n\n## 在线演示\n\nTHUMT的在线演示地址为：[http:\u002F\u002Ftranslate.thumt.cn\u002F](http:\u002F\u002F101.6.5.207:3892\u002F)。支持的语言包括古汉语、阿拉伯语、中文、英语、法语、德语、印尼语、日语、葡萄牙语、俄语和西班牙语。\n\n## 实现方案\n\n目前，THUMT主要有三种实现方案：\n\n* [THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT)：基于[PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch)开发的新实现。它实现了Transformer模型（**Transformer**）（Vaswani等，2017年）。\n\n* [THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow)：基于[TensorFlow](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow)开发的实现。它实现了序列到序列模型（**Seq2Seq**）（Sutskever等，2014年），标准的注意力机制模型（**RNNsearch**）（Bahdanau等，2014年），以及Transformer模型（**Transformer**）（Vaswani等，2017年）。\n\n* [THUMT-Theano](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftheano)：最初基于[Theano](https:\u002F\u002Fgithub.com\u002FTheano\u002FTheano)开发的项目，由于MLA已停止对[Theano](https:\u002F\u002Fgithub.com\u002FTheano\u002FTheano)的支持，该项目不再更新。它实现了标准的注意力机制模型（**RNNsearch**）（Bahdanau等，2014年），基于评估指标优化模型参数的最小风险训练（**MRT**）（Shen等，2016年），利用单语语料库学习双向翻译模型的半监督训练（**SST**）（Cheng等，2016年），以及用于可视化和分析RNNsearch的逐层相关性传播（**LRP**）（Ding等，2017年）。\n\n下表总结了三种实现方案的功能对比：\n\n| 实现方案 | 模型 | 损失函数 | 优化器 | LRP |\n| :------------: | :---: | :--------------: | :--------------: | :----------------: |\n| Theano       |  RNNsearch | MLE, MRT, SST | SGD, AdaDelta, Adam | RNNsearch |\n| TensorFlow   |  Seq2Seq, RNNsearch, Transformer | MLE| Adam | RNNsearch, Transformer |\n| PyTorch | Transformer | MLE | SGD, Adadelta, Adam | 不适用 |\n\n我们推荐使用[THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT)或[THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow)，它们的翻译性能优于[THUMT-Theano](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftheano)。我们将继续为[THUMT-PyTorch](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT)和[THUMT-TensorFlow](https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT\u002Ftree\u002Ftensorflow)添加新功能。\n\n## 特色功能\n\n* Transformer（Vaswani等，2017年）\n* 多GPU训练与解码\n* 多工作节点分布式训练\n* 混合精度训练与解码\n* 模型集成与平均\n* 梯度聚合\n* TensorBoard可视化\n\n## 文档\n\nPyTorch实现的文档可在[这里](docs\u002Findex.md)查阅。\n\n## 许可证\n\n源代码采用双重许可。开源许可遵循[BSD-3-Clause](https:\u002F\u002Fopensource.org\u002Flicenses\u002FBSD-3-Clause)，允许免费用于研究目的。如需商业许可，请发送邮件至[thumt17@gmail.com](mailto:thumt17@gmail.com)。\n\n## 引用\n\n请引用以下论文：\n\n> 谭志兴、张嘉诚、黄宣成、陈刚、王硕、孙茂松、栾焕博、刘洋。[THUMT：面向神经机器翻译的开源工具包](https:\u002F\u002Fwww.aclweb.org\u002Fanthology\u002F2020.amta-research.11\u002F)。AMTA 2020。\n\n> 张嘉诚、丁彦卓、沈世奇、程勇、孙茂松、栾焕博、刘洋。2017年。[THUMT：面向神经机器翻译的开源工具包](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.06415)。arXiv:1706.06415。\n\n## 开发团队\n\n项目负责人：[孙茂松](http:\u002F\u002Fwww.thunlp.org\u002Fsite2\u002Findex.php\u002Fzh\u002Fpeople?id=16)、[刘洋](http:\u002F\u002Fnlp.csai.tsinghua.edu.cn\u002F~ly\u002F)、栾焕博\n\n项目成员：\n\nTheano：张嘉诚、丁彦卓、沈世奇、程勇\n\nTensorFlow：谭志兴、张嘉诚、黄宣成、陈刚、王硕、杨宗翰\n\nPyTorch：谭志兴、陈刚\n\n## 联系方式\n\n如有任何问题、建议或错误报告，请发送邮件至[thumt17@gmail.com](mailto:thumt17@gmail.com)。\n\n## 辐射性项目\n\n* [UCE4BT](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FUCE4BT)（基于不确定性置信度估计改进反向翻译）\n* [L2Copy4APE](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FL2Copy4APE)（学习复制以进行自动后期编辑）\n* [Document-Transformer](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FDocument-Transformer)（利用文档级上下文改进Transformer翻译模型）\n* [PR4NMT](https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FPR4NMT)（通过后验正则化将先验知识融入神经机器翻译）","# THUMT 快速上手指南\n\nTHUMT 是由清华大学自然语言处理实验室（THUNLP）开发的开源神经机器翻译工具包，支持 Transformer、Seq2Seq 等主流模型，具备多卡训练、混合精度训练及分布式训练等特性。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐) 或 macOS\n- **Python**: 3.6+\n- **GPU**: 支持 CUDA 的 NVIDIA GPU（用于加速训练和推理）\n\n### 前置依赖\n根据你选择的实现版本（推荐 PyTorch 或 TensorFlow），需安装对应深度学习框架：\n\n- **THUMT-PyTorch (推荐)**:\n  - PyTorch >= 1.4.0\n  - torchvision\n  - tensorboardX (可选，用于可视化)\n\n- **THUMT-TensorFlow**:\n  - TensorFlow >= 1.13.0\n\n> **提示**：国内开发者建议使用清华镜像源加速 Python 包安装：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>\n> ```\n\n## 安装步骤\n\n以下以推荐的 **THUMT-PyTorch** 版本为例：\n\n1. **克隆代码仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fthumt\u002FTHUMT.git\n   cd THUMT\n   ```\n\n2. **安装依赖**\n   确保已安装 PyTorch，然后安装其他必要依赖：\n   ```bash\n   pip install -r requirements.txt\n   ```\n   *若需加速，可使用：*\n   ```bash\n   pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple -r requirements.txt\n   ```\n\n3. **验证安装**\n   进入 `thumt` 目录，尝试运行帮助命令确认环境正常：\n   ```bash\n   python thumt\u002Fbin\u002Ftrain.py --help\n   ```\n\n## 基本使用\n\n以下是一个基于 Transformer 模型的最小化训练示例（假设已准备好双语语料 `train.src`, `train.tgt`, `valid.src`, `valid.tgt` 及词汇表）。\n\n### 1. 数据预处理\n生成二进制数据文件（以 PyTorch 后端为例）：\n```bash\npython thumt\u002Fbin\u002Fpreprocess.py \\\n    --source train.src \\\n    --target train.tgt \\\n    --output data_prefix \\\n    --source_vocab source_vocab.txt \\\n    --target_vocab target_vocab.txt \\\n    --dataset_type torch\n```\n\n### 2. 模型训练\n启动单卡或多卡训练：\n```bash\npython thumt\u002Fbin\u002Ftrain.py \\\n    --model transformer \\\n    --input data_prefix \\\n    --output output_dir \\\n    --gpus [0] \\\n    --max_epoch 10 \\\n    --batch_size 4096 \\\n    --update_freq 1\n```\n*注：多卡训练只需修改 `--gpus` 参数，例如 `--gpus [0,1,2,3]`。*\n\n### 3. 模型推理（翻译）\n使用训练好的模型对测试集进行翻译：\n```bash\npython thumt\u002Fbin\u002Ftranslate.py \\\n    --model output_dir\u002Fmodel.best.pt \\\n    --input test.src \\\n    --output trans.txt \\\n    --gpu 0 \\\n    --beam_size 5\n```\n\n生成的 `trans.txt` 即为翻译结果。更详细的参数配置和高级用法请参考项目根目录下的 `docs\u002Findex.md` 文档。","某高校研究团队正致力于构建一个支持“文言文到现代汉语”的高精度神经机器翻译系统，以辅助古籍数字化工程。\n\n### 没有 THUMT 时\n- **模型复现困难**：团队需从零编写复杂的 Transformer 或 RNNsearch 架构代码，耗时数月且极易引入底层逻辑错误。\n- **训练策略单一**：缺乏对最小风险训练（MRT）和半监督训练（SST）等高级优化算法的原生支持，导致模型在低资源古文数据上收敛慢、效果差。\n- **可解释性缺失**：无法直观可视化模型注意力机制，研究人员难以分析翻译错误的具体成因，调优过程如同“盲人摸象”。\n- **多框架适配成本高**：若需对比不同深度学习框架（如 TensorFlow 与 PyTorch）的性能，必须重复开发多套代码库，维护成本极高。\n\n### 使用 THUMT 后\n- **开箱即用架构**：直接调用 THUMT-PyTorch 或 THUMT-TensorFlow 中预置的 Transformer 及 RNNsearch 模型，将环境搭建与模型构建时间从数月缩短至几天。\n- **高级训练赋能**：利用 THUMT-Theano 或 TensorFlow 版本内置的 MRT 和 SST 功能，有效挖掘单语古籍语料，显著提升了小样本场景下的翻译流畅度与准确性。\n- **深度可视化分析**：通过集成的层间相关性传播（LRP）技术，团队能清晰看到模型在翻译生僻字词时的注意力分布，快速定位并修复逻辑缺陷。\n- **灵活框架切换**：凭借 THUMT 对多种主流框架的统一接口支持，研究人员可无缝切换后端进行性能比对，专注于算法创新而非工程琐事。\n\nTHUMT 通过提供全栈式的神经机器翻译解决方案，让科研团队从繁琐的代码工程中解放出来，专注于语言模型本身的突破与优化。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUNLP-MT_THUMT_591d039d.png","THUNLP-MT","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTHUNLP-MT_c57a3d3d.png","Machine Translation Group, Natural Language Processing Lab at Tsinghua University (THUNLP). Please refer to https:\u002F\u002Fgithub.com\u002Fthunlp for more NLP resources.",null,"https:\u002F\u002Fthumtblog.github.io\u002F","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT",[79],{"name":80,"color":81,"percentage":82},"Python","#3572A5",100,705,196,"2026-03-21T12:46:22","BSD-3-Clause","未说明","支持多 GPU 训练与解码，混合精度训练；具体型号、显存大小及 CUDA 版本未在文档中明确说明（依赖底层 PyTorch 或 TensorFlow 环境配置）",{"notes":90,"python":87,"dependencies":91},"该工具包含三个主要实现版本：THUMT-PyTorch（推荐，仅支持 Transformer 模型）、THUMT-TensorFlow（推荐，支持 Seq2Seq、RNNsearch 和 Transformer）以及 THUMT-Theano（已停止更新）。功能特性包括多卡训练、多 worker 分布式训练、混合精度训练、模型集成及 TensorBoard 可视化。商业使用需单独联系获取授权，研究用途遵循 BSD-3-Clause 协议。",[92,93,94],"PyTorch (针对 THUMT-PyTorch 版本)","TensorFlow (针对 THUMT-TensorFlow 版本)","Theano (针对已停止更新的 THUMT-Theano 版本)",[35,14],[97,98,99],"neural-machine-translation","machine-translation","deep-learning","2026-03-27T02:49:30.150509","2026-04-08T20:31:37.091796",[103,108,113,118,123,128],{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},25048,"如何在多 GPU 环境下使用 PyTorch 进行训练？遇到 'arguments are located on different GPUs' 错误怎么办？","该问题通常是因为在执行数据加载后默认设备设置丢失导致的。解决方法是在 `trainer.py` 文件中（约第 402 行，在 `while True` 循环之前）重新设置默认设备。请插入以下代码：\n\nif args.distributed:\n    torch.cuda.set_device(args.local_rank)\n    torch.set_default_tensor_type(torch.cuda.FloatTensor)\nelse:\n    torch.cuda.set_device(params.device_list[args.local_rank])\n    torch.set_default_tensor_type(torch.cuda.FloatTensor)\n\n此外，确保通过命令 `conda install pytorch=1.3.1 -c pytorch` 正确安装了 PyTorch。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F86",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},25049,"为什么计算 BLEU 分数时结果为 0 或数值异常低？","这通常是因为使用了 Python 3 运行代码导致的兼容性问题。目前代码主要支持 Python 2.7，在 Python 3 下会出现字符串解码错误导致 BLEU 计算失败。建议切换到 Python 2.7 环境进行训练和测试。另外，验证时请使用未进行 BPE 处理（unBPEd）的参考文件，因为代码会自动对假设输出进行 unBPE 处理，如果参考文件也经过 BPE 处理会导致匹配失败。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F65",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},25050,"如何优化推理（Inference）速度？每次翻译都很慢怎么办？","推理速度慢的主要原因可能是每次翻译请求都重新加载了模型。优化的关键在于仅在**初始化**阶段加载模型，并将其保留在 GPU 显存中，而不是在每次**翻译**时都加载。只要翻译服务成功初始化，模型就会驻留在内存中，后续翻译请求（除第一次外）的耗时应小于 1 秒。请检查代码逻辑，确保模型加载发生在服务启动时而非单次调用中。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F59",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},25051,"在 WMT14 en-de 等任务上验证时，BLEU 分数远低于预期或不正确，可能是什么原因？","最常见的原因是验证集参考文件（reference file）的处理方式不当。代码会自动对生成的假设句子进行 unBPE（去除子词单元）处理，因此验证时使用的参考文件必须是**未经过 BPE 处理**的原始文本（unBPEd reference）。如果在验证前对参考文件进行了 BPE 处理，会导致评分脚本无法正确匹配，从而得到错误的低分。请勿对验证用的参考文件进行 BPE 操作。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F71",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},25052,"使用 TensorFlow 1.4.0 时遇到 'MonitoredSession object has no attribute run_step_fn' 错误如何解决？","官方建议使用最新版本的 TensorFlow，因为旧版本的兼容性可能会在不通知的情况下被移除。如果必须使用 TensorFlow 1.4.0，维护者表示已测试过相关的补丁代码在该版本下没有问题。如果遇到此错误，建议尝试应用社区提供的补丁代码，或者升级 TensorFlow 版本以获取原生支持。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F24",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},25053,"单语数据（Monolingual data）在训练中似乎没有被使用，这是 Bug 吗？","是的，这是一个已知的大型数据加载 Bug。用户反馈单语数据虽然被加载到数组中，但在训练循环中从未被读取。维护者已确认该问题并在新版本中进行了修复。如果您发现单语数据未生效，请确保您使用的是修复后的最新版本代码。","https:\u002F\u002Fgithub.com\u002FTHUNLP-MT\u002FTHUMT\u002Fissues\u002F9",[]]