表单 OCR 测试工具

帮助我们改进表单识别器。请参与我们的调查！

功能预览

这是一个用于 表单识别器 的开源标注工具，属于表单 OCR 测试工具集 (FOTT) 的一部分。

这是该工具的 MAIN 分支，包含了所有最新功能。由于这只是一个预览版本，因此并非最稳定的版本。

本仓库的目的是让客户能够在使用 Microsoft Forms 和 OCR 服务时测试可用的工具。目前，我们在此提供的第一个工具是标注工具。用户可以提供反馈，并根据自身需求进行定制化修改。Microsoft Azure 表单识别器团队将定期更新源代码。如果您希望贡献代码，请参阅贡献指南部分。

• 如果您想查看我们最新的正式发布版，请访问 Form-Recognizer-Toolkit，或使用 Form Recognizer Studio。
• 如果您想查看该工具的 V2.1 正式发布版，请访问此链接：link。
• 如果您想查看该工具的 V2.0 正式发布版，请访问此链接：link。

---

FOTT 的标注工具是一个基于 React + Redux 的 Web 应用程序，使用 TypeScript 编写。该项目通过 Create React App 进行初始化。

标注工具当前功能如下：（您可在此观看简短演示 here）

• 支持对 PDF、JPEG 或 TIFF 格式的表单进行标注。
• 可以通过 表单识别器 使用已标注数据训练模型。
• 使用训练好的模型对单个表单进行预测/分析，提取表单中的键值对预测结果。

快速入门

从源码构建并运行

表单标注工具需要 NodeJS (>= 10.x, Dubnium) 和 NPM。

 git clone https://github.com/Microsoft/OCR-Form-Tools.git
 cd OCR-Form-Tools
 yarn install
 yarn build
 yarn start

使用 Docker 部署此工具

请参阅此处的说明，并访问我们的 Docker Hub 仓库 here 获取最新的容器镜像信息。

• latest 镜像标签对应 FOTT 的正式发布版本。
• latest-preview 镜像标签对应 FOTT 的预览版本。
• latest-preview-private 镜像标签对应 FOTT 的私有预览版本。

作为 Web 应用运行

使用现代 Web 浏览器，可以直接访问以下地址运行 FOTT：

• https://fott-2-1.azurewebsites.net/

注意：这些 Web 应用仅用于测试目的。除非是在本地主机上，否则必须使用 HTTPS。

作为桌面应用运行

在完成初始设置后，FOTT 可以作为桌面应用运行。

 yarn electron-start

桌面应用程序具有额外的功能，例如：

• 支持将本地文件系统用作存储来源。
• 支持跨域资源请求。

打包为桌面应用发布

FOTT 可以被打包成可分发的桌面应用程序。

 yarn release

生成的可分发安装包将保存在克隆仓库的 releases 文件夹中。

使用标注工具

准备输入数据

要完成完整的标注-训练-分析流程，您需要至少六份相同类型的表单。其中五份用于训练模型，一份用于测试模型。您可以将示例文件上传到 Azure 存储账户中的 Blob 存储容器根目录。您可以使用 Azure Storage Explorer 上传数据。对于格式差异较大的高级场景，您可以根据相似的格式将表单组织到不同的子文件夹中。当您准备从某一特定格式的表单中训练模型时，需要在项目设置页面中指定相应的子文件夹。

配置跨域资源共享 (CORS)

在您的存储账户上启用 CORS。在 Azure 门户中选择您的存储账户，然后单击左侧窗格中的 CORS 选项卡。在底部填写以下内容，然后单击顶部的 保存 按钮。

• 允许的来源 = *
• 允许的方法 = [全选]
• 允许的标头 = *
• 暴露的标头 = *
• 最大缓存时间 = 200

创建连接

Form OCR 测试工具是一款“自带数据”（BYOD）应用程序。在此工具中，连接用于配置和管理源（待标记的资产）以及目标（应导出标签的位置）。在 Form OCR 测试工具中，源和目标位于同一位置。最终，它们将共同作为 Form Recognizer 的输入。

连接可以在不同项目之间设置和共享。它们采用可扩展的提供程序模型，因此可以轻松添加新的源/目标提供程序。

目前，此标记工具和 Form Recognizer 均仅支持 Azure Blob 存储。

要创建新连接，请单击左侧导航栏中的 New Connections（插头）图标。

使用以下值填写字段：

• 显示名称 - 连接的显示名称。
• 描述 - 您的项目描述。
• SAS URL - 您的 Azure Blob 存储容器的共享访问签名 (SAS) URL。要获取 SAS URL，请打开 Microsoft Azure 存储资源管理器，右键单击您的容器（注意：不是父级存储节点，也不是 Azure 门户中的 URL），然后选择“获取共享访问签名”。将过期时间设置为您使用该服务之后的某个时间。确保已选中“读取”、“写入”、“删除”和“列出”权限，然后单击“创建”。接着复制 URL 部分的值。其格式应为：https://<存储帐户>.blob.core.windows.net/<容器名称>?<SAS 值>。

创建新项目

在此标记工具中，项目用于存储您的配置和设置。创建一个新项目，并使用以下值填写字段：

• 显示名称 - 项目的显示名称
• 安全令牌 - 某些项目设置可能包含敏感值，例如 API 密钥或其他共享密钥。每个项目都会生成一个安全令牌，可用于加密/解密敏感的项目设置。您可以通过单击左侧导航栏左下角的齿轮图标，在“应用程序设置”中找到安全令牌。
• 源连接 - 您在上一步中创建的、希望用于该项目的 Azure Blob 存储容器连接。
• 文件夹路径 - 可选 - 如果您的源表单位于 Blob 容器的子文件夹中，请在此处指定文件夹名称。
• Form Recognizer 服务 URI - 您的 Form Recognizer 终端节点 URL。其格式应为：https://<您的姓名>.cognitiveservcices.azure.com。
• API 密钥 - 您的 Form Recognizer 订阅密钥。
• 描述 - 可选 - 项目描述。

标记您的表单

当您创建或打开项目时，主标签编辑器窗口会打开。标签编辑器由三部分组成：

• 预览窗格，包含来自源连接的可滚动表单列表。
• 主编辑窗格，允许您通过应用标签来标记文本。
• 标签编辑窗格，允许用户修改、重新排序和删除标签。

识别文本元素和表格

单击左侧窗格上的 对所有文件运行 OCR，以获取每份文档的文本布局信息。标记工具会在每个文本元素周围绘制边界框，并在每个表格的左上角显示一个图标。您可以单击表格的图标以显示该表格的已识别边界。

将标签应用于文本

接下来，您将创建标签并将其应用于您希望模型识别的文本元素。在一份文档中，有许多您希望训练模型提取的键值对，第一步是标记键值对中的值。例如，您在一张表单中看到文本“Charge: 1002.00”，您希望标记该值 (1002.00)，以便 AI 模型能够被训练成在类似表单上提取此类信息。

1. 首先，使用标签编辑窗格创建您想要识别的标签，例如“Cost”。

2. 在主编辑器中，单击并拖动以从高亮显示的文本元素中选择一个或多个词。例如，“1002.00”。注意：目前无法选择跨多页的文本。

3. 单击您想要应用的标签，或按下相应的键盘按键（例如，第一个标签按“1”键）。您只能为每个选定的文本元素应用一个标签，且每个标签在每页上只能应用一次。

按照上述步骤标记您的五份表单，然后进入下一步。

指定标签类型和格式

您可以通过标签上下文菜单指定标签类型和格式。类型和格式信息将存储在源位置的 fields.json 文件中。这些信息将在后处理阶段使用，以获得更好的结果。

训练自定义模型

单击左侧窗格上的“训练”图标以打开训练页面。然后单击 训练 按钮开始训练模型。训练过程完成后，您将看到以下信息：

• 模型 ID - 已创建并训练的模型的 ID。每次训练调用都会创建一个具有自己 ID 的新模型。请将此字符串复制到安全位置；如果您希望通过 REST API 进行预测/分析调用，您需要它。
• 平均准确率 - 模型的平均准确率。您可以通过标记更多表单并再次训练以创建新模型来提高模型的准确率。我们建议先标记五份表单，并根据需要再添加更多表单。
• 标签列表，以及每个标签的估计准确率。

训练结束后，请检查 平均准确率 值。如果较低，您应该添加更多输入文档并重复上述步骤。您已经标记过的文档将继续保留在项目索引中。

提示：您也可以通过 REST API 调用来运行训练过程。有关如何操作的信息，请参阅 使用 Python 和标记数据进行训练。

分析表单

单击左侧窗格上的“分析”图标以打开分析页面。上传一份您未在训练过程中使用过的表单文档。然后单击右侧的 分析 按钮，以获取该表单的键值预测/分析结果。工具会突出显示字段及其边界框，并报告每个值的置信度。

提示：您也可以通过 REST 调用运行分析 API。有关如何操作的详细信息，请参阅 使用 Python 标签进行训练。

组合模型

单击左侧窗格中的“组合”图标以打开“组合”页面。FoTT 会按模型 ID 降序排列，以列表形式显示您的第一个模型页面。选择您想要组合成一个模型的多个模型，然后单击 组合 按钮。新模型组合完成后，即可用于分析。

要加载更多模型，请单击列表底部的 加载下一页 按钮。这将按模型 ID 降序加载下一页的模型。

您可以通过单击列表顶部的列标题对当前加载的模型进行排序。仅当前加载的模型会被排序。您需要先加载所有页面的模型，然后再进行排序，才能查看完整的已排序模型列表。

保存项目并在稍后恢复

要在其他时间或在其他浏览器中恢复您的项目，您需要保存项目的安全令牌，并在以后重新输入。

获取项目凭据

转到您的项目设置页面（文档设置图标），记下安全令牌名称。然后转到您的应用程序设置（齿轮图标），该页面会显示当前浏览器实例中的所有安全令牌。找到您的项目安全令牌，将其名称和密钥值复制到安全位置。

恢复项目凭据

当您想恢复项目时，首先需要创建与同一 Blob 存储容器的连接。重复上述步骤以完成此操作。然后，转到应用程序设置页面（齿轮图标），查看您的项目安全令牌是否在那里。如果不在，则添加一个新的安全令牌，并从上一步复制您的令牌名称和密钥。然后单击“保存设置”。

恢复项目

最后，转到主页（房子图标），单击“打开云项目”。然后选择 Blob 存储连接，并选择您的 .proj 文件。由于应用程序拥有安全令牌，它将加载项目的所有设置。

共享项目

FoTT 允许与同样使用该工具并共享项目所在 Azure Blob 存储容器访问权限的人共享项目。要共享项目，请按照以下步骤操作：

发送方：

1. 在工具中打开您想要共享的项目。在右上角找到并单击“共享”图标 。 您应该会看到一条消息弹出，说明您的共享字符串已保存到剪贴板。
2. 通过任何方便的方式分享剪贴板中的字符串。

接收方：

1. 转到“主页”，并单击“打开云项目”。
2. 将共享字符串插入弹出窗口中的相应字段。
3. 单击“确定”。

键盘快捷键和实用提示

标记工具支持多种键盘快捷键，以提高可访问性，同时有时也能使标记工作更轻松、更快捷。您可以通过单击标题栏右侧的以下图标查看这些快捷键：

数字键 1 至 0 以及所有字母键都分配给了前 36 个标签。在从高亮显示的文本元素中选择一个或多个单词后，按下这些快捷键即可为所选单词添加标签。

“[” 和 “]” 键可用于将选择移动到上一个或下一个单词。

“<” 和 “>” 键可用于在多页文档中切换到上一页或下一页。

“-”、“+” 和 “/” 键可用于放大、缩小和重置编辑页面的缩放比例。

按住 Alt 键并单击标签名称，用户可以更改标签名称。

要删除某个标签的所有标注——请在文档上选中该标签的所有标注，然后按“删除”键。

合作者

本项目是从 VoTT 项目克隆并修改而来。

贡献

有许多方式可以为 Form OCR 测试工具做出贡献——请查看我们的 贡献指南。

本项目已采用 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答 或发送电子邮件至 opencode@microsoft.com，提出任何其他问题或意见。

• 简体中文
• 日语

OCR-Form-Tools 快速上手指南

OCR-Form-Tools 是微软 Azure Form Recognizer 的开源标注工具，用于标注表单数据、训练自定义模型以及预测分析。本指南将帮助您快速在本地部署并使用该工具。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Node.js：版本 >= 10.x (推荐安装最新的 LTS 版本)
• 包管理器：NPM 或 Yarn (本项目推荐使用 Yarn)
• 浏览器：现代 Web 浏览器 (如 Chrome, Edge)
• Azure 资源：
  • Azure 存储账户 (用于存放表单文件)
  • Azure Form Recognizer 资源 (用于训练和预测)

提示：国内开发者安装 Node 模块时若遇网络问题，可配置淘宝镜像源： npm config set registry https://registry.npmmirror.com 或 yarn config set registry https://registry.npmmirror.com

安装步骤

您可以通过源码构建或 Docker 容器两种方式运行该工具。

方式一：从源码构建 (推荐开发者使用)

1. 克隆项目仓库：

   git clone https://github.com/Microsoft/OCR-Form-Tools.git
   cd OCR-Form-Tools
   

2. 安装依赖并构建项目：

   yarn install
   yarn build
   

3. 启动应用：

   yarn start
   

   启动后，浏览器会自动打开 http://localhost:3000 (或手动访问该地址)。

方式二：使用 Docker 运行

如果您希望快速体验且无需配置本地开发环境，可以使用 Docker。

docker run -it -p 3000:80 mcr.microsoft.com/azure-cognitive-services/custom-form-labeltool:latest-preview

注：latest-preview 标签对应预览版功能，如需稳定版可使用 latest 标签。

方式三：直接运行桌面版 (可选)

源码安装完成后，也可作为桌面应用运行，支持本地文件系统访问：

yarn electron-start

基本使用

以下是完成一次“标注 - 训练 - 分析”闭环的最简流程。

1. 准备数据与配置 CORS

• 数据准备：准备至少 6 张相同格式的表单图片 (PDF, JPEG 或 TIFF)。将其中 5 张用于训练，1 张用于测试。
• 上传数据：将这些文件上传至 Azure Blob 存储容器的根目录或子文件夹中。
• 配置 CORS：在 Azure 门户中找到您的存储账户，进入 CORS 设置页，添加以下规则以允许工具访问：
  • Allowed origins: *
  • Allowed methods: 全选 (GET, PUT, POST, DELETE, etc.)
  • Allowed headers: *
  • Exposed headers: *
  • Max age: 200

2. 创建连接 (Connection)

1. 在工具左侧导航栏点击 New Connections (插头图标)。
2. 填写连接信息：
   • Display Name: 连接名称 (任意)。
   • SAS URL: Azure Blob 容器的共享访问签名 (SAS) URL。
     • 获取方法：在 Azure Storage Explorer 中右键点击容器 -> "Get shared access signature" -> 勾选 Read, Write, Delete, List -> 创建并复制 URL。
3. 点击保存。

3. 创建项目 (Project)

1. 点击左侧 New Project。
2. 填写项目信息：
   • Display Name: 项目名称。
   • Security Token: 点击左下角齿轮图标生成或查看安全令牌 (用于加密敏感信息)。
   • Source Connection: 选择上一步创建的连接。
   • Form Recognizer Service Uri: 您的 Form Recognizer 终结点 (格式：https://<your-name>.cognitiveservices.azure.com)。
   • API Key: 您的 Form Recognizer 订阅密钥 (Key 1 或 Key 2)。
3. 点击 Create Project。

4. 标注表单 (Labeling)

1. 进入项目后，点击左侧面板的 Run OCR on all files，系统将识别文本并绘制边界框。
2. 在右侧标签编辑器中创建标签 (例如："TotalCost")。
3. 在主编辑区选中对应的文本值 (例如："1002.00")，然后点击刚才创建的标签将其关联。
4. 重复此步骤，完成至少 5 张 表单的标注。

5. 训练模型 (Train)

1. 点击左侧导航栏的 Train 图标。
2. 点击 Train 按钮开始训练。
3. 训练完成后，记录生成的 Model ID 并查看 Average Accuracy (平均准确率)。如果准确率较低，建议增加标注数据后重新训练。

6. 分析与预测 (Analyze)

1. 点击左侧导航栏的 Analyze 图标。
2. 上传一张未参与训练的表单图片。
3. 点击 Analyze 按钮。
4. 工具将高亮显示提取出的关键字段及其对应的值，验证模型效果。