micrograd

一个微型的自动求导引擎（带点小脾气！:））。实现了基于动态构建的有向无环图的反向传播（逆向模式自动微分），并在其之上构建了一个小型神经网络库，提供类似 PyTorch 的 API。两者都非常精简，分别只有约 100 行和 50 行代码。该有向无环图仅操作标量值，因此我们会将每个神经元拆解为所有独立的小型加法和乘法运算。然而，这已经足以构建用于二分类的完整深度神经网络，正如演示笔记本所示。可能对教学用途很有帮助。

安装

pip install micrograd

示例用法

下面是一个稍显刻意构造的例子，展示了多种支持的操作：

from micrograd.engine import Value

a = Value(-4.0)
b = Value(2.0)
c = a + b
d = a * b + b**3
c += c + 1
c += 1 + c + (-a)
d += d * 2 + (b + a).relu()
d += 3 * d + (b - a).relu()
e = c - d
f = e**2
g = f / 2.0
g += 10.0 / f
print(f'{g.data:.4f}') # 打印 24.7041，即本次前向传播的结果
g.backward()
print(f'{a.grad:.4f}') # 打印 138.8338，即 dg/da 的数值
print(f'{b.grad:.4f}') # 打印 645.5773，即 dg/db 的数值

训练神经网络

笔记本 demo.ipynb 提供了一个完整的演示，展示如何训练一个两层多层感知器（MLP）二分类器。实现方式是通过 micrograd.nn 模块初始化神经网络，实现一个简单的 SVM“最大间隔”二分类损失函数，并使用随机梯度下降法进行优化。如笔记本所示，使用一个包含两个各 16 个节点的隐藏层的两层神经网络，我们在 moon 数据集上得到了以下决策边界：

追踪/可视化

为了更方便起见，笔记本 trace_graph.ipynb 可以生成 graphviz 可视化图。例如，下面这张图展示了一个简单的 2D 神经元，它是通过对下方代码调用 draw_dot 生成的，同时显示了数据（每个节点左侧的数字）和梯度（每个节点右侧的数字）。

from micrograd import nn
n = nn.Neuron(2)
x = [Value(1.0), Value(-2.0)]
y = n(x)
dot = draw_dot(y)

运行测试

要运行单元测试，您需要先安装 PyTorch，因为测试会使用它作为参考来验证计算出的梯度是否正确。然后只需执行：

python -m pytest

许可证

MIT

Micrograd 快速上手指南

Micrograd 是一个极简的自动微分引擎，仅用约 100 行代码实现了反向传播算法，并在此基础上构建了一个类似 PyTorch API 的小型神经网络库。它完全基于标量运算构建动态计算图（DAG），非常适合用于深入理解深度学习底层原理和教育目的。

环境准备

• 系统要求：支持 Python 3.6+ 的操作系统（Linux, macOS, Windows）。
• 前置依赖：
  • 基础运行仅需 Python 环境。
  • 若需运行单元测试以验证梯度计算的准确性，需要安装 PyTorch 作为参考基准。
  • 若需可视化计算图（生成 .svg 或 .pdf），建议安装 graphviz 系统工具及对应的 Python 包。

安装步骤

使用 pip 直接安装官方版本：

pip install micrograd

提示：国内用户如遇下载速度慢，可使用清华或阿里云镜像源加速安装：

pip install micrograd -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Micrograd 的核心是 Value 对象，它封装了标量数据及其梯度信息。以下示例展示了如何构建计算图、执行前向传播以及通过 .backward() 自动计算梯度。

from micrograd.engine import Value

# 初始化标量值
a = Value(-4.0)
b = Value(2.0)

# 构建计算图（支持加减乘除、幂运算、ReLU 等）
c = a + b
d = a * b + b**3
c += c + 1
c += 1 + c + (-a)
d += d * 2 + (b + a).relu()
d += 3 * d + (b - a).relu()

# 继续构建复杂表达式
e = c - d
f = e**2
g = f / 2.0
g += 10.0 / f

# 前向传播：输出最终计算结果
print(f'{g.data:.4f}') # 输出: 24.7041

# 反向传播：自动计算梯度
g.backward()

# 查看梯度值 (dg/da 和 dg/db)
print(f'{a.grad:.4f}') # 输出: 138.8338
print(f'{b.grad:.4f}') # 输出: 645.5773

完成上述步骤后，即可尝试运行项目自带的 demo.ipynb 来体验如何使用 micrograd.nn 模块训练一个完整的双层神经网络分类器。