Knet

Knet（发音为“kay-net”）是由德尼兹·尤雷特及其合作者在Julia中实现的科奇大学深度学习框架。它支持GPU运算，并使用动态计算图进行自动微分，适用于用纯Julia定义的模型。您可以在Julia提示符下通过以下命令安装Knet：using Pkg; Pkg.add("Knet")。以下是一些入门资源：

• 教程：
  通过示例介绍Julia和Knet。
• 文档： 包括安装、简介、设计、实现、完整参考以及深度学习相关章节。
• 示例： 更多教程和示例模型。
• 基准测试： 将Knet的速度与TensorFlow、PyTorch、DyNet等进行比较。
• 论文： 尤雷特，D. “Knet：用100行Julia代码开始深度学习。”载于2016年NIPS会议的机器学习系统研讨会。
• KnetML： 一个包含Knet模型、教程、层集合及其他资源的GitHub组织。
• 镜像： Knet的机器镜像可在AWS、Singularity和Docker上使用。
• 问题： 如果您发现任何错误，请在GitHub上提交问题。
• knet-users： 如需帮助或希望请求新功能，请加入此邮件列表。
• knet-dev： 如果您希望参与Knet的开发，请加入此邮件列表，并查看这些开发技巧。
• knet-slack： Knet的Slack交流频道。
• 相关工作：请查看Flux、Mocha、JuliaML、JuliaDiff、JuliaGPU、JuliaOpt等相关软件包。

示例

下面是一个简单的示例，我们从头开始使用15行代码和10秒的GPU计算，定义、训练并测试了用于MNIST手写数字识别数据集的LeNet模型。

# 首次运行前安装相关包：using Pkg; pkg"add Knet IterTools MLDatasets"
using Knet, IterTools, MLDatasets

# 定义卷积层：
struct Conv; w; b; end
Conv(w1,w2,nx,ny) = Conv(param(w1,w2,nx,ny), param0(1,1,ny,1))
(c::Conv)(x) = relu.(pool(conv4(c.w, x) .+ c.b))

# 定义全连接层：
struct Dense; w; b; f; end
Dense(i,o; f=identity) = Dense(param(o,i), param0(o), f)
(d::Dense)(x) = d.f.(d.w * mat(x) .+ d.b)

# 定义层的串联及损失函数：
struct Chain; layers; end
(c::Chain)(x) = (for l in c.layers; x = l(x); end; x)
(c::Chain)(x,y) = nll(c(x),y)

# 加载MNIST数据：
xtrn,ytrn = MNIST.traindata(Float32); ytrn[ytrn.==0] .= 10
xtst,ytst = MNIST.testdata(Float32);  ytst[ytst.==0] .= 10
dtrn = minibatch(xtrn, ytrn, 100; xsize = (28,28,1,:))
dtst = minibatch(xtst, ytst, 100; xsize = (28,28,1,:))

# 定义并训练LeNet（在GPU上约10秒，在CPU上约3分钟即可达到约99%的准确率）
LeNet = Chain((Conv(5,5,1,20), Conv(5,5,20,50), Dense(800,500,f=relu), Dense(500,10)))
progress!(adam(LeNet, ncycle(dtrn,3)))
accuracy(LeNet,data=dtst)

贡献

Knet是一个开源项目，我们始终欢迎新的贡献：包括错误报告与修复、功能请求与实现、新的机器学习模型与算子、启发性的示例以及基准测试结果等。有关说明，请参阅开发者提示。

贡献者：坎·居梅利、卡洛·卢奇贝洛、埃杰·奥纳特、埃金·阿克于雷克、埃克雷姆·埃姆雷·尤尔达库尔、埃姆雷·于纳尔、埃姆雷·约尔楚、埃尼斯·贝尔克、埃雷奈·达亚尼克、伊尔克尔·凯森、凯·徐、梅里奇·梅利克·索夫塔、迈克·因内斯、奥努尔·库鲁、欧赞·阿尔坎·詹、厄默尔·克尔纳普、福克·阮、雷内·多纳、蒂姆·贝萨尔、张世伟。

Knet.jl 快速上手指南

环境准备

• 系统要求：Julia 1.0+（推荐 1.6+），支持 Linux/macOS/Windows
• 前置依赖：已安装 Julia 环境。推荐使用国内镜像加速安装 Julia：
  • 通过清华源下载安装包：https://mirrors.tuna.tsinghua.edu.cn/julia/

安装步骤

1. 启动 Julia 终端
2. 配置国内镜像（加速包安装）：

   export JULIA_PKG_SERVER="https://mirrors.tuna.tsinghua.edu.cn/julia"
   

   （Windows 用户请在系统环境变量中设置 JULIA_PKG_SERVER）
3. 安装 Knet 及依赖包：

   using Pkg
   Pkg.add(["Knet", "IterTools", "MLDatasets"])
   

基本使用

以下为 LeNet 模型在 MNIST 数据集上的最小化示例（15 行代码）：

# Install packages before first run: using Pkg; pkg"add Knet IterTools MLDatasets"
using Knet, IterTools, MLDatasets

# Define convolutional layer:
struct Conv; w; b; end
Conv(w1,w2,nx,ny) = Conv(param(w1,w2,nx,ny), param0(1,1,ny,1))
(c::Conv)(x) = relu.(pool(conv4(c.w, x) .+ c.b))

# Define dense layer:
struct Dense; w; b; f; end
Dense(i,o; f=identity) = Dense(param(o,i), param0(o), f)
(d::Dense)(x) = d.f.(d.w * mat(x) .+ d.b)

# Define a chain of layers and a loss function:
struct Chain; layers; end
(c::Chain)(x) = (for l in c.layers; x = l(x); end; x)
(c::Chain)(x,y) = nll(c(x),y)

# Load MNIST data:
xtrn,ytrn = MNIST.traindata(Float32); ytrn[ytrn.==0] .= 10
xtst,ytst = MNIST.testdata(Float32);  ytst[ytst.==0] .= 10
dtrn = minibatch(xtrn, ytrn, 100; xsize = (28,28,1,:))
dtst = minibatch(xtst, ytst, 100; xsize = (28,28,1,:))

# Define and train LeNet (~10 secs on a GPU or ~3 mins on a CPU)
LeNet = Chain((Conv(5,5,1,20), Conv(5,5,20,50), Dense(800,500,f=relu), Dense(500,10)))
progress!(adam(LeNet, ncycle(dtrn,3)))
accuracy(LeNet,data=dtst)

注意：GPU 环境下运行约 10 秒（准确率 ~99%），CPU 环境约需 3 分钟