令人惊叹的机器学习艺术

:robot: :art: :guitar: 一个精心整理的列表，汇集了利用机器学习创作艺术（包括音乐）的优秀项目、作品、人物、文章和资源。

目录

• 值得关注的人
• 项目
• 文章与演讲
• 学习资源
• 库
• 待办事项

值得关注的人

• Tero Parviainen - 软件开发者、音乐黑客及作家。目前在 creative.ai 致力于打造未来的设计工具。
• Gene Kogan - 一位艺术家兼程序员，ml4a 的发起人。
• 大トロ(hardmaru) - 谷歌大脑东京研究科学家。
• Douglas Eck - 谷歌大脑 Magenta 团队负责人。
• Adam Roberts - 谷歌大脑 Magenta 团队的音乐研究员。
• Kyle McDonald - 一位以代码为媒介的艺术家，同时也是 openFrameworks 的贡献者。
• Mario Klingemann - 艺术家、神经绘图师、程序员、数据收集者、档案管理员，现为谷歌艺术实验室驻地艺术家。
• Memo Akten - 一位以计算作为媒介的艺术家、研究者和博学者，其创作灵感源自科学与灵性的交汇。
• Robbie Barrat - 一位年仅19岁的AI艺术创作者，在斯坦福大学的研究实验室工作。
• Janelle Shane - 光学领域的研究科学家，热衷于玩转神经网络。
• Daniel Shiffman - 对于初学者而言，他是关于创意编程各类主题的最佳学习资源提供者。
• Samim - 现供职于谷歌，设计师兼代码魔术师。专注于机器学习、动植物群、人机交互等领域。
• Luba Elliott - 策展人、研究者，曾组织过多场创意AI相关活动。
• Nao Tokui - 在东京运营创意实验室 Qosmo，并且是“AI DJ”项目的创始人。
• Sofia Crespo - 一位探索植物学、显微镜学以及神经网络的艺术家。
• Anna Ridler - 一位专攻机器学习与绘画的艺术家。
• Rebecca Fiebrink - The Wekinator（一款交互式机器学习工具）的创造者。
• Sofia Crespo - 一位居住在柏林的艺术家。她的作品围绕显微镜学、模因学、植物学和神经网络展开。

项目

视觉

• 学会观看 - :eye: 一个人工神经网络对实时摄像头输入进行预测，试图结合过往经验理解所见内容。它只能看到自己已知的事物，正如我们一样。
• art-DCGAN - :art: 针对生成艺术优化的 DCGAN 改进实现。
• 快速风格迁移 - ⚡ 极其简单的示例，可在浏览器中实现快速实时风格迁移。
• 脏数据 - 😈 当使用“脏”数据时会发生什么？网络能否从中学习到任何东西？如果可以，它会学到什么呢？我们又能从中获得哪些有趣的信息？
• 人人即舞者 - 💃 可以将任何人瞬间转化为专业舞者。
• 厄舍府的倒塌 - 🎥 12分钟的动画。每一帧均由基于艺术家墨水画训练的神经网络（pix2pix）生成。
• 黑暗降临前我所见 - 一个神经网络正在想象一个人。随后，网络中的神经元被逐一关闭……
• 素描方向
• neural-style-pt - 一个基于 PyTorch 的风格迁移实现。安装简便，支持所有操作系统，配有详尽的维基指南、配套脚本及其他神经网络模型。

音乐

• Magenta - 一个开源研究项目，旨在探索机器学习在创作过程中的作用。
• 无限鼓机 - 🥁 数以千计的日常声音，通过机器学习进行分类整理。
• 说唱神经网络 - 🎤 基于坎耶·韦斯特完整唱片目录训练的循环神经网络，用于创作说唱歌曲。
• 节拍搅拌器 - 🥁 利用机器学习混合节拍，以一种有趣的新方式创作音乐。
• 旋律混音器 - 🎶 一种利用机器学习探索音乐的有趣方式。
• 表演 RNN - :musical_keyboard: 浏览器中由循环神经网络（RNN）实时演奏的音乐。
• 神经节拍盒 - 🎤 基于 RNN 的节奏生成 + 音频分类 = 乐趣！
• AI DJ - 💽 一场现场演出，由人工智能DJ与人类DJ共同表演。该项目荣获2018年 Prix Ars Electronica “荣誉提及”奖。
• 排序 - 一款基于音乐机器学习算法的游戏，该算法能够插值不同的旋律。玩家需要聆听音乐来找出正确的顺序，即“排序”这首曲子。
• RUNN - 一款基于音乐机器学习算法的游戏，该算法能够生成旋律。 玩家必须完成这款横版滚动游戏才能听到整首歌曲。
• 爵士 RNN - 欣赏由算法创作的爵士乐。

文本

• 自动生成的食谱
• GPT-3 创意小说 - OpenAI 的 GPT-3 模型创作的创意文学作品，展示了诗歌、对话、双关语、文学戏仿和故事叙述等内容。

互动

• The Wekinator - 它让任何人都能利用机器学习构建新的乐器、手势游戏控制器、计算机视觉或听觉系统等。完全免费且开源。

杂项

• 2019年创意与设计中的机器学习
• 2018年NeurIPS创意与设计机器学习研讨会 - 👨‍👩‍👧‍👦 该研讨会收录了35篇关于机器学习艺术的论文，涵盖了广泛的不同学科。
• Runway - 这是一个为设计和创意平台添加人工智能功能的工具包。
• 自动驾驶陷阱001 - 艺术家使用仪式魔法来“困住”自动驾驶汽车。
• 假新闻生成器 - 该模型可以从任何标题生成几乎有意义的文本。

文章与演讲

• 艺术家的机器学习（即ml4a）（Gene Kogan） - 本文将艺术领域中机器学习的兴起比作2000年代初计算机视觉的发展。
• 艺术家与机器智能 - 谷歌的一个项目，旨在将艺术家和工程师聚集在一起，利用机器智能实现各种创意项目。
• MusicVAE：用机器学习创建乐谱调色板
• 使用TensorFlow生成抽象图案
• BBC Sounds：艺术与人工智能 - 一幅由GAN模型创作的画作在拍卖会上以432,500美元的价格售出（注：原始代码由Robbie Barrat编写，The Verge对此进行了报道）。本次讨论会邀请了Mario Klingemann和Anna Ridler参与。
• 佳士得拍卖的AI艺术并非你想象的那样 - Jason Bailey采访了Obvious团队的Huge和Robbie Barrat，进一步探讨佳士得那场备受争议的拍卖事件。
• 生成音乐的工作原理：一种视角 - 这是一个交互式网站，用于描述生成音乐的概念。

学习资源

初学者

• TensorFlow.js - 智能与学习（The Coding Train）
• 使用TensorFlow、ml5.js和Spell进行机器学习（The Coding Train）
• JavaScript机器学习入门指南（The Coding Train）

中级

• 学习机器 - 由Patrick Hebron于2017年秋季在NYU/ITP教授。
• 面向音乐家和艺术家的机器学习（Rebecca Fiebrink）
• ml4a（艺术家的机器学习）
• ITP-NYU的神经美学课程，2018年秋季 - 由Gene Kogna主讲的一门精彩课程。课程资料完全开放，内容丰富，专注于机器学习艺术。

高级

• 神经风格迁移：使用tf.keras和急切执行模式通过深度学习创作艺术
• TensorFlow深度学习的创意应用（Parag Mital）
• cs231n - 这是斯坦福大学计算机科学课程CS231n（用于视觉识别的卷积神经网络）的配套笔记。

库

• tensorflow.js - :zap: 一个用于在浏览器和Node.js上训练及部署机器学习模型的JavaScript库。
• ml5.js - :robot: 🖌 旨在让广大艺术家、创意程序员和学生更容易接触机器学习。
• p5.js - :art: :guitar: p5.js是一个客户端JS平台，帮助艺术家、设计师、学生以及任何想学习编程并在网络上进行创造性表达的人实现这一目标。

待办事项

• awesome-lint
• 添加本仓库的头像
• 增加“面向非程序员”章节

贡献

欢迎贡献！请先阅读贡献指南。

许可证

本项目的具体内容采用知识共享署名3.0许可协议授权。

Awesome Machine Learning Art 快速上手指南

awesome-machine-learning-art 并非一个单一的可安装软件库，而是一个精选的资源列表（Awesome List），汇集了用于创作机器学习艺术（包括视觉、音乐、文本等）的项目、人物、文章和学习资源。

本指南将指导你如何搭建基础环境，并利用列表中推荐的核心工具（如 ml5.js 和 TensorFlow.js）快速开始你的第一个 AI 艺术创作。

环境准备

由于该列表涵盖多种语言（Python, JavaScript 等），最轻量且适合初学者的入门路径是基于浏览器的 JavaScript 生态（对应列表中的 Libraries 部分）。

系统要求

• 操作系统: Windows, macOS, 或 Linux
• 浏览器: 推荐使用最新版的 Chrome, Firefox 或 Edge（需支持 WebGL）
• 代码编辑器: VS Code (推荐) 或任意文本编辑器

前置依赖

无需安装复杂的本地环境（如 Python, CUDA, Node.js 即可运行基础示例），只需具备以下条件：

1. 稳定的网络连接（用于加载 CDN 资源）
2. 基础的 HTML/JavaScript 知识

国内加速建议：如果访问 Google 相关资源（如 TensorFlow.js CDN）较慢，建议使用国内镜像源或本地下载库文件。

• TensorFlow.js 国内镜像参考：https://cdn.jsdelivr.net/npm/@tensorflow/tfjs
• ml5.js 国内镜像参考：https://cdn.jsdelivr.net/npm/ml5

安装步骤

由于这是资源集合，没有统一的“安装命令”。我们将通过引入核心库 ml5.js（它封装了 TensorFlow.js，专为艺术家和创意编码者设计）来开始。

方法一：直接使用 CDN（推荐初学者）

在你的 HTML 文件中直接通过 <script> 标签引入库。这是最快的方式。

<!DOCTYPE html>
<html lang="zh-CN">
<head>
  <meta charset="UTF-8">
  <title>ML Art Quick Start</title>
  <!-- 引入 p5.js (创意编码框架) -->
  <script src="https://cdnjs.cloudflare.com/ajax/libs/p5.js/1.4.0/p5.js"></script>
  <!-- 引入 ml5.js (机器学习库) -->
  <script src="https://unpkg.com/ml5@latest/dist/ml5.min.js"></script>
</head>
<body>
  <h1>我的第一个 AI 艺术项目</h1>
  <script src="sketch.js"></script>
</body>
</html>

方法二：使用 npm 安装（适合进阶开发者）

如果你习惯使用 Node.js 开发环境：

# 初始化项目
npm init -y

# 安装核心依赖
npm install ml5 p5

基本使用

以下示例展示了如何使用 ml5.js 加载一个预训练的图像分类模型（MobileNet），并在网页上实时识别摄像头画面内容。这对应了列表中 "Projects -> Visual" 类别的入门实践。

1. 创建 sketch.js 文件

将以下代码保存为 sketch.js，并确保它与上面的 HTML 文件在同一目录下。

let classifier;
let video;
let label = '加载中...';

function setup() {
  createCanvas(640, 480);
  
  // 调用摄像头
  video = createCapture(VIDEO);
  video.size(640, 480);
  video.hide();

  // 加载预训练的 MobileNet 模型
  classifier = ml5.imageClassifier('MobileNet', modelReady);
}

function modelReady() {
  console.log('模型已就绪');
  // 开始对视频流进行分类
  classifyVideo();
}

function classifyVideo() {
  classifier.classify(video, gotResult);
}

function gotResult(error, results) {
  if (error) {
    console.error(error);
    return;
  }
  // 获取置信度最高的结果
  label = results[0].label;
  // 继续循环分类
  classifyVideo();
}

function draw() {
  background(0);
  // 绘制视频画面
  image(video, 0, 0);
  
  // 绘制识别结果
  fill(255);
  textSize(32);
  text(label, 10, height - 10);
}

2. 运行项目

• 简单方式：直接使用 VS Code 的 "Live Server" 插件打开 HTML 文件，或在终端运行 python -m http.server 然后访问 http://localhost:8000。

  注意：由于浏览器安全策略，调用摄像头通常需要在 localhost 或 https 环境下运行，直接双击打开 HTML 文件可能无法启动摄像头。

3. 探索更多资源

完成上述示例后，你可以回到 awesome-machine-learning-art 列表探索更多内容：

• 音乐生成: 查看 Magenta 或 Beat Blender 项目。
• 风格迁移: 尝试 Fast Style Transfer。
• 深度学习课程: 参考 Learning Resources 中的 "The Coding Train" 系列教程。

通过这个简单的起点，你已经迈出了利用机器学习进行艺术创作的第一步。