红鲑鱼

红鲑鱼已进入维护模式，不再添加新功能。我们感谢所有在开发过程中通过提交拉取请求、报告问题等方式为红鲑鱼做出贡献的人们。

Sockeye 是一个基于 PyTorch 的开源序列到序列框架，用于神经机器翻译。它实现了分布式训练和针对最先进模型的优化推理，为 Amazon Translate 和其他机器翻译应用提供支持。近期的开发和变更记录在我们的 CHANGELOG 中。

如需快速开始训练任意规模数据的标准 NMT 模型，请参阅 WMT 2014 英德教程。

如有任何问题或需要报告问题，请在 GitHub 上 提交 issue。

版本 3.1.x：仅支持 PyTorch

在版本 3.1.x 中，我们移除了对 MXNet 2.x 的支持。使用 PyTorch 和 Sockeye 3.0.x 训练的模型仍然与 Sockeye 3.1.x 兼容。而使用 MXNet 训练并在 Sockeye 3.0.x 的转换工具中转为 PyTorch 格式的 2.3.x 模型，则无法在 Sockeye 3.1.x 中使用。

版本 3.0.0：同时支持 PyTorch 和 MXNet

从版本 3.0.0 开始，Sockeye 也基于 PyTorch 构建。我们保持了与 2.3.x 版本 MXNet 模型的向后兼容性。如果安装了 MXNet 2.x，Sockeye 可以同时使用 PyTorch 或 MXNet 运行。

所有使用 MXNet 训练的 2.3.x 模型都可以通过转换 CLI (sockeye.mx_to_pt) 转换为 PyTorch 模型。这将生成一个 PyTorch 参数文件 (<model>/params.best)，并将现有的 MXNet 参数文件备份为 <model>/params.best.mx。请注意，此操作仅适用于已完成训练并用于推理的模型。继续使用 PyTorch 对 MXNet 模型进行训练是不被支持的（因为我们不会转换训练和优化器状态）。

sockeye.mx_to_pt 需要环境中已安装 MXNet。

版本 3.0.0 的所有 CLI 现默认使用 PyTorch，例如 sockeye-{train,translate,score}。基于 MXNet 的 CLI/模块仍然可用，可通过 sockeye-{train,translate,score}-mx 访问。

Sockeye 3 可以在没有 MXNet 的情况下安装和运行，但如果安装了 MXNet，则会执行扩展测试套件，以确保 PyTorch 和 MXNet 模型之间的等效性。需要注意的是，使用 MXNet 运行 Sockeye 3.0.0 需要安装 MXNet 2.x（pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021'）。

安装

下载当前版本的 Sockeye：

git clone https://github.com/awslabs/sockeye.git

安装 sockeye 模块及其依赖项：

cd sockeye && pip3 install --editable .

为了加速 GPU 训练，建议安装 NVIDIA Apex。NVIDIA 还提供了包含 Apex 的 PyTorch Docker 容器。

文档

• 如需了解如何使用 Sockeye，请访问 我们的文档。
• 开发者可能对我们的 开发者指南 感兴趣。

较旧版本

• 基于 PyTorch 和 MXNet 2.x 的 Sockeye 3.0 可在 sockeye_30 分支中找到。
• 基于 MXNet Gluon API 的 Sockeye 2.x 可在 sockeye_2 分支中找到。
• 基于 MXNet Module API 的 Sockeye 1.x 可在 sockeye_1 分支中找到。

引用

有关 Sockeye 的更多信息，请参阅我们的论文（BibTeX）。

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3：使用 PyTorch 的快速神经机器翻译。ArXiv e-prints。

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heafield. AMTA 2020 上的 Sockeye 2 神经机器翻译工具包。第14届美洲机器翻译协会会议（AMTA'20）论文集。

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar。 Sockeye 2：神经机器翻译工具包。第22届欧洲机器翻译协会年度会议项目赛道（EAMT'20）论文集。

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post。 AMTA 2018 上的 Sockeye 神经机器翻译工具包。第13届美洲机器翻译协会会议（AMTA'18）论文集。

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov、Ann Clifton 和 Matt Post。2017年。 Sockeye：神经机器翻译工具包。ArXiv e-prints。

使用 Sockeye 的研究

Sockeye 已被用于学术和工业研究。以下列出了已知使用 Sockeye 的出版物清单。如果您了解更多，请告知我们或提交拉取请求（最后更新：2022年5月）。

2023年

• Zhang, Xuan, Kevin Duh, Paul McNamee. “用于神经机器翻译研究的超参数优化工具包”。ACL 2023 年论文集。

2022年

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. “MT-GenEval：用于评估机器翻译性别准确性的反事实与上下文数据集”。EMNLP会议论文集（2022年）。
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne 和 Felix Hieber. “魔鬼藏在细节中：关于神经机器翻译中词汇选择的陷阱”。NAACL-HLT会议论文集（2022年）。
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. “16世纪拉丁文书信到德语的机器翻译”。历史与古代语言技术研讨会（2022年）。
• Knowles, Rebecca, Patrick Littell. “翻译记忆库作为低资源机器翻译的基线”。LREC会议论文集（2022年）。
• McNamee, Paul, Kevin Duh. “多语言微型博客翻译语料库：改进与评估用户生成文本的翻译”。LREC会议论文集（2022年）。
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. “CoCoA-MT：一种用于对比控制式机器翻译的数据集与基准，应用于正式度任务”。NAACL会议论文集（2022年）。
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. “神经机器翻译中目标端形态建模：策略比较”。arXiv预印本 arXiv:2203.13550（2022年）

2021年

• Bergmanis, Toms, Mārcis Pinnis. “借助目标词形标注促进术语翻译”。arXiv预印本 arXiv:2101.10035（2021年）。
• Briakou, Eleftheria, Marine Carpuat. “超越噪声：缓解细粒度语义差异对神经机器翻译的影响”。arXiv预印本 arXiv:2105.15087（2021年）。
• Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne、Felix Hieber. “改善神经机器翻译多领域适应中的质量权衡”。EMNLP会议论文集（2021年）。
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. “重新审视神经机器翻译中的否定表达”。计算语言学协会汇刊第9卷（2021年）。
• Vu, Thuy, Alessandro Moschitti. “通过从网络自动选择训练数据实现机器翻译定制化”。arXiv预印本 arXiv:2102.1024（2021年）。
• Xu, Weijia, Marine Carpuat. “EDITOR：一种基于编辑操作并具有重排功能的Transformer模型，适用于带有软性词汇约束的神经机器翻译”。计算语言学协会汇刊第9卷（2021年）。
• Müller, Mathias, Rico Sennrich. “理解神经机器翻译中最小贝叶斯风险解码的特性”。第59届计算语言学协会年会暨第11届自然语言处理国际联合会议论文集（第一卷：长篇论文）（2021年）。
• Popović, Maja, Alberto Poncelas. “关于用户评论的机器翻译”。RANLP会议论文集（2021年）。
• Popović, Maja. “关于观测到的机器翻译错误的本质与成因”。第18届机器翻译峰会论文集（第一卷：研究专题）（2021年）。
• Jain, Nishtha, Maja Popović, Declan Groves, Eva Vanmassenhove. “为自然语言处理生成性别增强型数据”。第三届自然语言处理中的性别偏见研讨会论文集（2021年）。
• Vilar, David, Marcello Federico. “字节对编码的统计扩展”。IWSLT会议论文集（2021年）。

2020年

• Dinu, Georgiana、Prashant Mathur、Marcello Federico、Stanislas Lauly、Yaser Al-Onaizan. “端到端定位中的联合翻译与单位转换”。IWSLT会议论文集（2020）
• Exel, Miriam、Bianka Buschbeck、Lauritz Brandt、Simona Doneva. “SAP公司的术语约束神经机器翻译”。EAMT会议论文集（2020）
• Hisamoto, Sorami、Matt Post、Kevin Duh. “序列到序列模型的成员推断攻击：我的数据是否在你的机器翻译系统中？”计算语言学协会汇刊，第8卷（2020）
• Naradowsky, Jason、Xuan Zhan、Kevin Duh. “基于赌博机反馈的机器翻译系统选择”。arXiv预印本 arXiv:2002.09646（2020）
• Niu, Xing、Prashant Mathur、Georgiana Dinu、Yaser Al-Onaizan. “神经机器翻译对输入扰动的鲁棒性评估”。arXiv预印本 arXiv:2005.00580（2020）
• Niu, Xing、Marine Carpuat. “利用合成监督控制神经机器翻译的正式程度”。AAAI会议论文集（2020）
• Keung, Phillip、Julian Salazar、Yichao Liu、Noah A. Smith. “基于自训练上下文嵌入的无监督双语文本挖掘与翻译”。arXiv预印本 arXiv:2010.07761（2020）
• Sokolov, Alex、Tracy Rohlin、Ariya Rastrow. “用于多语言字素到音素转换的神经机器翻译”。arXiv预印本 arXiv:2006.14194（2020）
• Stafanovičs, Artūrs、Toms Bergmanis、Mārcis Pinnis. “通过目标语性别标注缓解机器翻译中的性别偏见”。arXiv预印本 arXiv:2010.06203（2020）
• Stojanovski, Dario、Alexander Fraser. “利用文档级上下文解决零资源领域问题的神经机器翻译”。arXiv预印本 arXiv:2004.14927（2020）
• Stojanovski, Dario、Benno Krojer、Denis Peskov、Alexander Fraser. “ContraCAT：用于机器翻译的对比型共指分析模板”。COLING会议论文集（2020）
• Zhang, Xuan、Kevin Duh. “神经机器翻译系统超参数优化的可复现且高效的基准测试”。计算语言学协会汇刊，第8卷（2020）
• Swe Zin Moe、Ye Kyaw Thu、Hnin Aye Thant、Nandar Win Min以及Thepchai Supnithi，“缅甸手语与缅甸语之间的无监督神经机器翻译”，《智能信息与智能技术期刊》，2020年4月1日刊，第53–61页。（2019年12月21日提交；2020年3月6日接受；2020年3月16日修订；2020年4月30日在线发表）
• Thazin Myint Oo、Ye Kyaw Thu、Khin Mar Soe以及Thepchai Supnithi，“缅甸语（缅语）与德威语（塔沃语）之间的神经机器翻译”，载于第18届国际计算机应用大会（ICCA 2020），2020年2月27–28日，缅甸仰光，第219–227页
• Müller, Mathias、Annette Rios、Rico Sennrich. “神经机器翻译中的领域鲁棒性”。AMTA会议论文集（2020）
• Rios, Annette、Mathias Müller、Rico Sennrich. “子词分割与单一桥接语言对零样本神经机器翻译的影响”。第五届WMT研究论文集（2020）
• Popović, Maja、Alberto Poncelas. “相似南斯拉夫语种间的神经机器翻译”。第五届WMT研究论文集（2020）
• Popović, Maja、Alberto Poncelas. “利用字符n-gram匹配从不干净的平行数据中提取正确对齐的片段”。语言技术与数字人文会议论文集（JTDH 2020）
• Popović, Maja、Alberto Poncelas、Marija Brkic、Andy Way. “用于克罗地亚语和塞尔维亚语互译的神经机器翻译”。第七届面向相似语言、变体及方言的自然语言处理研讨会论文集（2020）

2019年

• Agrawal, Sweta、Marine Carpuat. “控制神经机器翻译中的文本复杂度”。EMNLP会议论文集（2019）
• Beck, Daniel、Trevor Cohn、Gholamreza Haffari. “使用格变换和图网络的神经语音翻译”。TextGraphs-13（EMNLP 2019）会议论文集
• Currey, Anna、Kenneth Heafield. “基于单语枢纽数据的零资源神经机器翻译”。EMNLP会议论文集（2019）
• Gupta, Prabhakar、Mayank Sharma. “针对数字娱乐内容字幕的无监督翻译质量评估”。IEEE语义计算国际期刊（2019）
• Hu, J. Edward、Huda Khayrallah、Ryan Culkin、Patrick Xia、Tongfei Chen、Matt Post以及Benjamin Van Durme. “改进的基于词汇约束的解码方法，用于翻译和单语改写”。NAACL-HLT会议论文集（2019）
• Rosendahl, Jan、Christian Herold、Yunsu Kim、Miguel Graça、Weiyue Wang、Parnia Bahar、Yingbo Gao以及Hermann Ney，“亚琛工业大学2019年WMT机器翻译系统”。第四届WMT研究论文集（2019）
• Thompson, Brian、Jeremy Gwinnup、Huda Khayrallah、Kevin Duh以及Philipp Koehn. “克服神经机器翻译领域适应过程中的灾难性遗忘现象”。NAACL-HLT 2019会议论文集（2019）
• Tättar, Andre、Elizaveta Korotkova、Mark Fishel，“塔尔图大学多语言多领域WMT19新闻翻译共享任务提交”。第四届WMT研究论文集（2019）
• Thazin Myint Oo、Ye Kyaw Thu以及Khin Mar Soe，“缅甸语（缅语）与若开语（阿拉干语）之间的神经机器翻译”，载于第六届面向相似语言、变体及方言的自然语言处理研讨会，NAACL-2019，2019年6月7日，美国明尼阿波利斯，第80–88页

2018年

• 多曼，托比亚斯。“你需要多少注意力？神经机器翻译架构的细粒度分析”。第56届ACL会议论文集（2018）
• 金允洙、高英博和赫尔曼·奈伊。“在无共享词表的情况下有效实现神经机器翻译模型的跨语言迁移”。arXiv预印本arXiv:1905.05475（2019）
• 科罗特科娃，叶利扎维塔、马克西姆·德尔和马克·费舍尔。“单语与跨语言零样本风格转换”。arXiv预印本arXiv:1808.00179（2018）
• 牛星、迈克尔·登科夫斯基和玛丽娜·卡普阿特。“利用合成平行数据的双向神经机器翻译”。arXiv预印本arXiv:1805.11213（2018）
• 牛星、苏达·拉奥和玛丽娜·卡普阿特。“用于同语种及跨语种风格间翻译的多任务神经网络模型”。COLING会议（2018）
• 波斯特和大卫·维拉尔。“基于动态束宽分配的快速词汇约束解码在神经机器翻译中的应用”。NAACL-HLT会议论文集（2018）
• 沙姆珀，朱利安、扬·罗森达尔、帕尔尼亚·巴哈尔、金允洙、阿尔内·尼克斯和赫尔曼·奈伊。“亚琛工业大学在WMT 2018上的有监督机器翻译系统”。第三届WMT共享任务论文集（2018）
• 舒尔茨，菲利普、威尔克·阿齐兹和特雷弗·科恩。“一种用于神经机器翻译的随机解码器”。arXiv预印本arXiv:1805.10844（2018）
• 塔梅尔、阿尔库利、加布里埃尔·布雷施纳和赫尔曼·奈伊。“关于多头注意力机制神经机器翻译中的对齐问题”。第三届WMT研究论文集（2018）
• 唐功波、里科·森尼希和约阿基姆·尼夫雷。“注意力机制分析：以神经机器翻译中的词义消歧为例”。第三届WMT研究论文集（2018）
• 汤普森，布莱恩、胡达·海拉拉、安东尼奥斯·阿纳斯塔索普洛斯、艾莉娅·麦卡锡、凯文·杜、丽贝卡·马文、保罗·麦克纳米、杰里米·格温纳普、蒂姆·安德森和菲利普·科恩。“冻结子网络以分析神经机器翻译中的领域适应”。arXiv预印本arXiv:1809.05218（2018）
• 维拉尔，大卫。“学习隐藏单元贡献以适配神经机器翻译模型”。NAACL-HLT会议论文集（2018）
• 维亚斯，约加尔希、牛星和玛丽娜·卡普阿特“在无标注情况下识别平行文本中的语义差异”。NAACL-HLT会议论文集（2018）
• 王伟悦、朱德瑞、塔梅尔·阿尔库利、甘子轩和赫尔曼·奈伊。“用于机器翻译的神经隐马尔可夫模型”。第56届ACL会议论文集（2018）
• 张璇、高拉夫·库马尔、胡达·海拉拉、肯顿·默里、杰里米·格温纳普、玛丽安娜·J·马丁代尔、保罗·麦克纳米、凯文·杜以及玛丽娜·卡普阿特。“神经机器翻译中课程学习的实证探索”。arXiv预印本arXiv:1811.00739（2018）
• 斯韦·津·莫、耶·乔·图、欣·艾·坦特和南达尔·温·敏，“缅甸手语与缅甸书面语之间的神经机器翻译”，载于2018年第二届东盟语言光学字符识别与自然语言处理技术区域会议（ONA 2018），2018年12月13日至14日，柬埔寨金边。
• 唐功波、马蒂亚斯·穆勒、阿内特·里奥斯和里科·森尼希。“为什么是自注意力？神经机器翻译架构的针对性评估”。EMNLP会议论文集（2018）

2017年

• 多曼，托比亚斯和费利克斯·希伯。“通过多任务学习利用目标端单语数据进行神经机器翻译”。EMNLP会议论文集（2017）。

Sockeye 快速上手指南

环境准备

• 系统要求：Linux/macOS（Windows 需额外配置）
• 前置依赖：Python 3.6+，PyTorch 1.7+（安装时自动处理依赖）
• GPU 加速：可选 NVIDIA GPU + CUDA（推荐用于训练）
• 国内加速：安装时使用清华镜像源加速依赖下载

安装步骤

git clone https://github.com/awslabs/sockeye.git
cd sockeye
pip3 install --editable . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

使用预训练模型进行翻译（示例）：

sockeye-translate --models /path/to/model --source input.txt --target output.txt

完整训练与翻译教程：WMT 2014 English-German 快速入门