开放翻译服务的工具与资源

• 基于 Marian-NMT 框架
• 使用 OPUS 数据，并通过 OPUS-MT-train 训练（新增：排行榜）
• 主要采用 SentencePiece 进行分词
• 大多基于 eflomal 生成的词对齐结果进行有指导的对齐训练
• 提供可下载的预训练翻译模型（矩阵视图），采用 CC-BY 4.0 许可证
• 此外，还有来自 Tatoeba 翻译挑战 的更多免费可用翻译模型（结果汇总），同样采用 CC-BY 4.0 许可证

本仓库包含两种部署方案：

• 方案一：基于 Tornado 的 Web 应用程序，提供用于处理多种语言对的 Web 界面和 API（由维基媒体基金会的 Santhosh Thottingal 及其团队开发）
• 方案二：一个简单的 WebSocket 服务部署，附带一些实验性 API 扩展

此外，还提供了用于训练模型的脚本，但目前这些脚本仅适用于赫尔辛基大学及其 IT 服务提供商 CSC 的计算环境。

如果您使用 OPUS-MT 软件和模型，请引用以下论文：

@article{tiedemann2023democratizing,
  title={Democratizing neural machine translation with {OPUS-MT}},
  author={Tiedemann, J{\"o}rg and Aulamo, Mikko and Bakshandaeva, Daria and Boggia, Michele and Gr{\"o}nroos, Stig-Arne and Nieminen, Tommi and Raganato\
, Alessandro and Scherrer, Yves and Vazquez, Raul and Virpioja, Sami},
  journal={Language Resources and Evaluation},
  number={58},
  pages={713--755},
  year={2023},
  publisher={Springer Nature},
  issn={1574-0218},
  doi={10.1007/s10579-023-09704-w}
}

@InProceedings{TiedemannThottingal:EAMT2020,
  author = {J{\"o}rg Tiedemann and Santhosh Thottingal},
  title = {{OPUS-MT} — {B}uilding open translation services for the {W}orld},
  booktitle = {Proceedings of the 22nd Annual Conferenec of the European Association for Machine Translation (EAMT)},
  year = {2020},
  address = {Lisbon, Portugal}
 }

Tornado 基础 Web 应用的安装

从 GitHub 下载最新版本：

git clone https://github.com/Helsinki-NLP/Opus-MT.git

选项 1：手动部署

安装 Marian MT。请参考 https://marian-nmt.github.io/docs/ 中的文档（别忘了添加编译服务器二进制文件的 CMake 选项 -DCOMPILE_SERVER=ON）。 安装完成后，应能在系统路径中找到 marian-server。如果找不到，请将其放置在 /usr/local/bin 目录下。

安装依赖项。建议使用虚拟环境。

pip install -r requirements.txt

从 https://github.com/Helsinki-NLP/Opus-MT-train/tree/master/models 下载翻译模型，并将其放入 models 目录。

然后编辑 services.json 文件，使其指向这些模型。

最后启动 Web 服务器：

python server.py

默认情况下，它会使用 8888 端口。打开浏览器访问 localhost:8888 即可进入 Web 界面。services.json 中配置的语言对将可供使用。

选项 2：使用 Docker

docker-compose up

或者

docker build . -t opus-mt
docker run -p 8888:8888 opus-mt:latest

然后打开浏览器访问 localhost:8888。

选项 2.1：使用 CUDA GPU 的 Docker 镜像

docker build -f Dockerfile.gpu . -t opus-mt-gpu
nvidia-docker run -p 8888:8888 opus-mt-gpu:latest

然后打开浏览器访问 localhost:8888。

配置

server.py 程序接受 JSON 格式的配置文件。默认情况下，它会尝试使用当前目录下的 services.json 文件。但您也可以通过 -c 参数指定自定义配置文件。

示例配置文件如下：

{
    "en": {
        "es": {
            "configuration": "./models/en-es/decoder.yml",
            "host": "localhost",
            "port": "10001"
        },
        "fi": {
            "configuration": "./models/en-fi/decoder.yml",
            "host": "localhost",
            "port": "10002"
        },
    }
}

此示例配置可以为 en→es 和 en→fi 语言对提供机器翻译服务。

• configuration 指向一个 YAML 文件，其中包含 marian-server 可以使用的解码器配置。如果未提供此值，则 OPUS-MT 将假定服务已在远程主机上运行，并按其他选项中的设置进行调用。如果提供了该值，则会使用 marian-server 创建一个新的子进程。
• host：服务器运行的主机地址。
• port：marian-server 将监听的端口。

在 Ubuntu 上部署 WebSocket 服务

还有一种使用 WebSocket 和 Linux 服务来搭建翻译服务的方式。详细信息请参阅 doc/WebSocketServer.md。

公开的 MT 模型

我们将在 https://github.com/Helsinki-NLP/Opus-MT-train/tree/master/models 中存储公开模型（CC-BY 4.0 许可证）。这些模型都应能与 OPUS-MT 服务兼容，您可以通过指定语言对来安装它们。安装脚本会自动选取该目录下的最新模型。如需进一步自定义，您需要调整安装流程（例如在 Makefile 中或其他地方）。

此外，还有一些开发版本的模型，通常更具实验性且质量较低。不过它们支持更多的语言对，您可以从 https://github.com/Helsinki-NLP/Opus-MT-train/tree/master/work-spm/models 下载这些模型。

训练 MT 模型

在 Opus-MT-train 仓库中，有一个用于根据 OPUS 数据训练新模型的 Makefile，但该 Makefile 是为 CSC 和赫尔辛基大学的特定工作环境高度定制的。未来有望变得更加通用，以便能够在不同的环境和部署中运行。

已知问题

• 大多数自动评估是在 Tatoeba 数据集中的简单短句上进行的；当使用其他更贴近实际场景的数据集运行这些模型时，评估分数会显得过于乐观。
• 一些（较旧的）测试结果并不可靠，因为它们使用了软件本地化数据（即 GNOME 系统消息），而这些数据与训练数据中包含的其他本地化数据（如 Ubuntu 系统消息）存在大量重叠。
• 当前的所有模型均未经过滤、数据增强（如反向翻译）、领域适应等优化处理；除了基于自动选择的测试集进行的自动评估外，缺乏质量控制。对于某些语对，至少还有来自官方 WMT 测试集的基准分数。
• 大多数模型在 1 或 4 张 GPU 上最多训练 72 小时；并非所有模型都在此时间限制内收敛。
• 验证和早停机制基于自动选择的验证数据，通常来自 Tatoeba；然而，这些验证数据对于许多应用场景并不具有代表性。

待办事项与愿望清单

• 支持更多语言及语对
• 构建更好、更具多语言能力的模型
• 优化翻译性能
• 添加反向翻译数据
• 构建特定领域的模型
• 提供支持 GPU 的容器
• 实现 Docker 化的微调
• 开发文档级模型
• 进行负载均衡及其他服务优化
• 建立公开的机器翻译服务网络
• 构建反馈循环并实现个性化服务

链接及相关工作

• OPUS-translator：一个简单的在线翻译接口实现。
• OPUS-CAT：Trados Studio 的 NMT 插件实现，可运行 OPUS-MT 模型。
• fiskmö：一项致力于开发芬兰语与瑞典语互译资源与工具的项目。
• Tatoeba MT 挑战赛 及其大量预训练的 NMT 模型。
• NMT 地图：以地图形式展示 Tatoeba NMT 模型的状态。
• OPUS-MT 排行榜。
• 预训练的多语言模型，基于 OPUS-100 使用 zero 工具链训练而成。

致谢

本研究得到了以下项目的资助：欧洲语言网格 的试点项目 2866；由欧洲研究理事会 (ERC) 在欧盟“地平线 2020”研究与创新计划下资助的FoTran 项目，资助协议编号为 771113；由欧盟“地平线 2020”研究与创新计划资助的MeMAD 项目，资助协议编号为 780069；以及由欧盟“地平线欧洲”研究与创新计划资助的HPLT 项目，资助协议编号为 101070350。同时，我们衷心感谢芬兰CSC — 科学信息技术中心提供的慷慨计算资源与 IT 基础设施。

Opus-MT 快速上手指南

Opus-MT 是一个基于 Marian-NMT 的开源神经机器翻译工具，提供预训练模型和 Web 服务接口，支持多种语言对的互译。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu) 或 macOS
• 硬件:
  • CPU: 支持 AVX2 指令集
  • GPU (可选): NVIDIA GPU (需安装 CUDA)，用于加速推理
• 内存: 建议 8GB 以上，具体取决于模型大小

前置依赖

• Python: 3.6+
• Marian-NMT: 核心翻译引擎
• Docker (可选): 用于容器化部署
• nvidia-docker (可选): 如需使用 GPU 加速

注意: 国内用户若遇到 GitHub 克隆或 pip 下载缓慢，可配置国内镜像源（如清华源、阿里源）或使用代理加速。

安装步骤

方式一：手动安装（推荐开发者）

1. 克隆项目代码

   git clone https://github.com/Helsinki-NLP/Opus-MT.git
   cd Opus-MT
   

2. 安装 Marian-NMT 请参考 Marian 官方文档 进行编译安装。 关键步骤：编译时必须开启服务器支持：

   cmake .. -DCOMPILE_SERVER=ON
   make
   sudo make install
   

   确保 marian-server 命令可在终端直接运行（或将其路径加入 /usr/local/bin）。

3. 安装 Python 依赖 建议使用虚拟环境：

   python -m venv venv
   source venv/bin/activate  # Windows 使用 venv\Scripts\activate
   pip install -r requirements.txt
   # 国内加速示例：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

4. 下载并配置模型

   • 从 模型仓库 下载所需语言对的模型文件（例如 en-es）。
   • 将模型文件夹放入项目根目录下的 models 文件夹中。
   • 编辑 services.json 文件，指向你的模型配置。示例如下：

     {
         "en": {
             "es": {
                 "configuration": "./models/en-es/decoder.yml",
                 "host": "localhost",
                 "port": "10001"
             }
         }
     }
     

5. 启动服务

   python server.py
   

   默认监听端口为 8888。

方式二：Docker 部署（最简便）

1. 普通 CPU 版本

   docker-compose up
   # 或者手动构建运行
   docker build . -t opus-mt
   docker run -p 8888:8888 opus-mt:latest
   

2. GPU 加速版本

   docker build -f Dockerfile.gpu . -t opus-mt-gpu
   nvidia-docker run -p 8888:8888 opus-mt-gpu:latest
   

基本使用

安装并启动服务后，您可以通过以下方式访问：

1. Web 界面访问

打开浏览器访问：

http://localhost:8888

在网页中选择配置好的源语言和目标语言，输入文本即可实时翻译。

2. API 调用

服务启动后会自动提供 API 接口。您可以向 http://localhost:8888/translate 发送 POST 请求进行集成开发。

请求示例 (curl):

curl -X POST http://localhost:8888/translate \
     -H "Content-Type: application/json" \
     -d '{"q": "Hello world", "source": "en", "target": "es"}'

响应示例:

{
  "translatedText": "Hola mundo",
  "detectedLanguage": { "language": "en", "score": 1.0 }
}

3. 自定义配置

若需修改端口或加载特定配置文件，可使用 -c 参数：

python server.py -c /path/to/custom_services.json