Bender

Bender 是一个基于 MetalPerformanceShaders 的抽象层，可用于处理神经网络。

目录

• 简介
• 为什么我们需要 Bender
• 基本用法
• 要求
• 参与方式
• 示例
• 安装
• 更新日志

文档位于 Documentation 文件夹中：

• API 包含入门所需的重要信息。
• 支持的层 说明了哪些层受支持以及它们如何映射到 TensorFlow 操作。
• 导入 解释了如何从 TensorFlow 等其他框架导入模型。您还可以找到有关如何为自定义实现增强此功能的信息。

简介

Bender 是一个基于 MetalPerformanceShaders 的抽象层，用于处理神经网络。在人工智能领域，即使训练过程已在其他设备上完成，人们也越来越关注在移动设备上运行神经网络。我们希望让每个人都能更轻松地在 iOS 上运行预训练的网络。

Bender 允许您使用最常见的层（如卷积、池化、全连接层以及一些归一化层等）轻松定义和运行神经网络。它在接收这些层的参数方面也非常灵活。

我们还希望支持加载在 TensorFlow 或 Caffe2 等其他框架上训练的模型。目前，Bender 包含一个 TensorFlow 适配器，可以加载带有变量的图，并将其“转换”为 Bender 层。此功能支持 TensorFlow 的一部分操作，但我们计划进一步扩展以覆盖更多情况。

为什么我们需要 Bender？

在 Xmartlabs，我们正准备启动一个机器学习项目，并研究在 iOS 上可用的框架。我们发现 MetalPerformanceShaders 非常有用，但不太易于使用，而且我们发现自己需要重复很多代码和信息。因此，我们开始构建一个框架来处理这类问题。

此外，我们还编写脚本来将我们在 TensorFlow 中训练的模型转换为可在 iOS 上使用的格式。这意味着要将权重转置为 MPSCNN 格式，并将 TensorFlow 中不同层的参数映射到 MPSCNN 内核所使用的参数。虽然 TensorFlow 可以编译为 iOS 版本，但它目前不支持在 GPU 上运行，而我们正是希望这样做。同时，我们也并不想将 TensorFlow 的静态库引入到我们的项目中。这就是为什么我们开始开发一个适配器，用于解析 TF 图并将其转换为我们的 Bender 层。

使用方法

您可以在 Bender 中使用我们自定义的操作符定义自己的网络，也可以加载从 TensorFlow 导出的模型。定义网络和加载模型的方式如下：

import MetalBender

let url = Bundle.main.url(forResource: "myModel", withExtension: "pb")! // 一个 TensorFlow 模型。
let network = Network.load(url: url, inputSize: LayerSize(h: 256, w: 256, f: 3))

network.run(input: /* ... */) { output in
    // ...
}

有关更多信息，请参阅 导入。

如果您想自己定义网络，可以这样操作：

let network = Network(inputSize: LayerSize(h: 256, w: 256, f: 3))

network.start
    ->> Convolution(convSize: ConvSize(outputChannels: 16, kernelSize: 3, stride: 2))
    ->> InstanceNorm()
    ->> Convolution(convSize: ConvSize(outputChannels: 32, kernelSize: 3, stride: 2), neuronType: .relu)
    ->> InstanceNorm()
    ->> FullyConnected(neurons: 128)
    ->> Neuron(type: .tanh)
    ->> FullyConnected(neurons: 10)
    ->> Softmax()
// ...

完成所有层的定义后：

network.initialize()

有关更多信息，请参阅 API。

要求

• Xcode 9
• iOS 11.0 及以上版本（但部署目标为 iOS 10.0，因此也支持 iOS 10）

参与方式

• 如果您 想贡献代码，请随时 提交拉取请求。
• 如果您 有功能需求，请 新建议题。
• 如果您 发现了 bug 或者需要 帮助，请在提交议题之前先查看 旧的议题、常见问题解答 (FAQ) 以及 StackOverflow 上的相关讨论。

在贡献之前，请查阅 [CONTRIBUTING] 文件以获取更多信息。

如果您在应用中使用了 Bender，我们非常希望能听到您的反馈！请通过 Twitter 与我们联系。

示例

按照以下步骤运行示例：

• 克隆 Bender 仓库（或下载）。
• 在下载的文件夹中运行 carthage update --platform iOS。
• 打开 Bender 工作区并运行 Example 项目。

其中有一个图像识别示例，包含 Bender 和 CoreML 中的 MobileNet 模型。它还设置了一个 Inception 模型的运行环境，但您需要单独下载该模型，因为它接近 100 MB。您可以从 http://download.tensorflow.org/models/inception_v3_2016_08_28.tar.gz 下载，然后将其冻结并添加到“Example”Xcode 项目中，命名为 ‘inception_v3.pb’。

安装

CocoaPods

要安装 Bender，只需在您的 Podfile 中添加以下行：

pod 'MetalBender', '~> 0.5'

请注意，Bender 编译的目标是 iOS 10。因此，您必须在 Podfile 中添加 platform :ios, '10.0'。

Carthage

Carthage 是一个简单且去中心化的 Cocoa 依赖管理工具。

要安装 Bender，只需在您的 Cartfile 中添加以下行：

github "xmartlabs/Bender" ~> 0.5

然后运行：

carthage update --platform iOS

最后，将构建好的 .framework 二进制文件——MetalBender、MetalPerformanceShadersProxy 和 SwiftProtobuf——拖放到您的应用程序 Xcode 项目中。

作者

• Xmartlabs SRL (@xmartlabs)

更改日志

详情请参阅 CHANGELOG.md 文件。

许可证

引用

如果您在研究中使用此代码，请引用我们：

@misc{xmartlabs-2017-bender,
  author = {Mathias Claassen 和 Santiago Castro},
  title = {Bender：轻松构建高效的 iOS 神经网络！},
  year = {2017},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://xmartlabs.github.io/Bender/}}
}

Bender 快速上手指南

Bender 是一个构建在 MetalPerformanceShaders 之上的抽象层，旨在让开发者能够轻松地在 iOS 设备上定义和运行神经网络。它支持从 TensorFlow 导入模型，也允许使用 Swift 代码原生构建网络。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: macOS
• 开发工具: Xcode 9 或更高版本
• 目标平台: iOS 11.0+ (部署目标可低至 iOS 10.0)
• 语言支持: Swift 4+
• 依赖管理: CocoaPods 或 Carthage (二选一)

注意：由于底层依赖 MetalPerformanceShaders，该库仅适用于具备 GPU 加速能力的 iOS 设备或模拟器。

安装步骤

您可以选择 CocoaPods 或 Carthage 进行安装。

方式一：使用 CocoaPods (推荐)

1. 打开项目的 Podfile 文件。

2. 确保平台版本设置为 10.0 或以上，并添加 MetalBender 依赖：

   platform :ios, '10.0'
   target 'YourAppTargetName' do
     pod 'MetalBender', '~> 0.5'
   end
   

3. 在终端执行安装命令：

   pod install
   

方式二：使用 Carthage

1. 打开项目根目录下的 Cartfile 文件。

2. 添加以下内容：

   github "xmartlabs/Bender" ~> 0.5
   

3. 在终端执行更新命令：

   carthage update --platform iOS
   

4. 将生成的 MetalBender.framework、MetalPerformanceShadersProxy.framework 和 SwiftProtobuf.framework 拖入 Xcode 项目的 "Frameworks, Libraries, and Embedded Content" 中，并确保设置为 "Embed & Sign"。

基本使用

Bender 支持两种主要的使用方式：加载预训练的 TensorFlow 模型或使用 Swift 链式调用原生构建网络。

场景一：加载 TensorFlow 模型

如果您已经有一个训练好的 .pb 格式 TensorFlow 模型，可以直接加载并运行：

import MetalBender

// 加载 bundled 中的模型文件
let url = Bundle.main.url(forResource: "myModel", withExtension: "pb")! 
let network = Network.load(url: url, inputSize: LayerSize(h: 256, w: 256, f: 3))

// 运行网络
network.run(input: /* 输入数据 */) { output in
    // 处理输出结果
    print("Inference completed")
}

场景二：原生定义网络结构

您也可以使用 Bender 提供的操作符直接在代码中构建神经网络：

import MetalBender

// 初始化网络，定义输入尺寸 (高 256, 宽 256, 通道 3)
let network = Network(inputSize: LayerSize(h: 256, w: 256, f: 3))

// 使用链式语法构建层
network.start
    ->> Convolution(convSize: ConvSize(outputChannels: 16, kernelSize: 3, stride: 2))
    ->> InstanceNorm()
    ->> Convolution(convSize: ConvSize(outputChannels: 32, kernelSize: 3, stride: 2), neuronType: .relu)
    ->> InstanceNorm()
    ->> FullyConnected(neurons: 128)
    ->> Neuron(type: .tanh)
    ->> FullyConnected(neurons: 10)
    ->> Softmax()

// 初始化网络以准备运行
network.initialize()

// 运行网络
network.run(input: /* 输入数据 */) { output in
    // 处理输出结果
}

完成上述步骤后，即可在 iOS 应用中利用 GPU 加速执行推理任务。更多高级用法（如自定义层映射、权重导入细节）请参考项目文档中的 API.md 和 Importing.md。