AI 工程转型路径

面向软件工程师的 AI 工程转型研究论文

分词

• 字节对编码
• 字节潜在 Transformer：补丁的表现优于标记

向量化

• BERT：用于语言理解的深度双向 Transformer 预训练
• IMAGEBIND：一个嵌入空间，将所有内容绑定在一起
• SONAR：句子级别的多模态与语言无关表示
• FAISS 库
• Facebook 大型概念模型

基础设施

• TensorFlow
• Deepseek 文件系统
• Milvus 数据库
• 亿级相似度搜索：FAISS
• Ray

核心架构

• 注意力就是一切
• FlashAttention
• 多查询注意力
• 分组查询注意力
• 谷歌 Titans 性能超越 Transformer
• VideoRoPE：旋转位置嵌入

混合专家

• 稀疏门控混合专家层
• GShard
• Switch Transformers

RLHF

• 带有人类反馈的深度强化学习
• 使用 RHLF 微调语言模型
• 使用 RHLF 训练语言模型

思考链

• 思考链提示在大型语言模型中激发推理能力
• 思考链
• 揭秘 LLM 中的长思考链推理

推理

• Transformer 的推理能力
• 大型语言猴子：通过重复采样扩展推理计算
• 扩大模型测试次数比增加参数更好
• 训练大型语言模型在连续潜空间中进行推理
• DeepSeek R1
• 基于粒子的蒙特卡洛方法的概率推理方法，用于 LLM 推理时的缩放
• 潜意识推理：递归深度方法
• 通过序列蒙特卡洛控制大型语言模型的句法和语义

优化

• 1 位 LLM 时代：所有大型语言模型都在 1.58 位内
• FlashAttention-3：异步与低精度下的快速准确注意力
• 字节跳动 1.58
• Transformer Square
• 扩散模型的推理时缩放，超越去噪步骤的缩放
• 1b 性能优于 405b
• 推测性解码

知识蒸馏

• 蒸馏神经网络中的知识
• BYOL - 蒸馏架构
• DINO

SSMs

• RWKV：为 Transformer 时代重新发明 RNN
• Mamba
• Transformer 就是 SSM：通过结构化状态空间对偶实现通用模型与高效算法
• 将 Transformer 蒸馏为 SSM
• LoLCATs：关于大型语言模型的低秩线性化
• 慢速思考，快速行动

竞赛模型

• 谷歌数学奥林匹克竞赛 2
• 使用大型推理模型进行竞争性编程
• 谷歌数学奥林匹克竞赛 1

夸大宣传者

• 能否让 AI 具备批判性思维
• 进化更深层次的 LLM 思维
• LLMs 可以轻松从演示结构中学会推理

打破 hype 者

• 将沟通与智能区分开来
• 语言不是智能

图像 Transformer

• 图像即 16x16 的单词
• CLIP
• deepseek 图像生成

视频 Transformer

• ViViT：视频视觉 Transformer
• 联合嵌入抽象与自监督视频掩码
• Facebook VideoJAM ai gen

上下文工程

• DSPy
• 结合知识图谱的检索增强生成，用于客户服务问答
• 模型上下文协议

案例研究

• Meta 使用大型语言模型自动改进单元测试
• OpenAI o1 系统卡片
• LLM 驱动的 bug 捕捉器
• 检索增强生成的链条
• Swiggy 搜索
• OpenAI 的 Swarm
• Netflix 基础模型
• Uber queryGPT

视频课程

AI 工程：https://interviewready.io/course-page/ai-engineering

ai-engineering-resources 快速上手指南

工具简介：ai-engineering-resources 并非一个可安装的软件库或框架，而是一份专为软件工程师转型 AI 工程师打造的精选研究论文与资源路线图。它涵盖了从分词、向量化、核心架构到推理优化等关键领域的学术成果。本指南将指导开发者如何高效利用这份资源清单进行学习与研究。

环境准备

由于本资源库主要由论文链接和技术文档组成，无需特定的 AI 运行环境（如 GPU 或 CUDA），但建议准备以下基础环境以便阅读论文和复现代码：

• 操作系统：Windows / macOS / Linux 均可。
• 浏览器：推荐 Chrome 或 Edge，用于访问 arXiv 论文链接。
• 前置依赖：
  • Git：用于克隆资源仓库（如果该列表托管在 GitHub 上）。
  • PDF 阅读器：用于离线阅读下载的论文。
  • Python 3.8+（可选）：如果你计划根据论文复现代码，需要安装 Python 及对应的深度学习框架（如 PyTorch 或 TensorFlow）。

国内访问提示：部分 arXiv 链接在国内访问可能较慢，建议使用国内镜像站（如 arXiv.org.cn）或配置学术加速代理下载 PDF。

安装步骤

本资源库不需要执行传统的 install 命令。你可以通过以下两种方式获取内容：

方式一：在线浏览（推荐）

直接访问该资源的原始托管页面（通常为 GitHub 仓库），按分类查阅链接。

方式二：本地克隆（便于离线整理）

如果你希望将这份清单保存到本地进行标记或二次整理，可以使用 Git 克隆：

git clone https://github.com/your-target-repo/ai-engineering-resources.git
cd ai-engineering-resources

(注：请将上述 URL 替换为实际的仓库地址，若仅为单页 README，可直接保存 .md 文件)

基本使用

本工具的核心用法是按主题路径学习。以下是针对中国开发者的推荐学习路径和使用示例：

1. 确定学习阶段

根据你的当前技术背景，选择 README 中对应的章节开始阅读：

• 入门基础：从 Tokenization (分词) 和 Vectorization (向量化) 开始，理解 BERT 和 FAISS 等基础概念。
• 架构深入：阅读 Core Architecture，重点研读 Attention is All You Need 和 FlashAttention。
• 进阶优化：关注 Optimizations (如 1-bit LLMs) 和 Distillation (知识蒸馏)，适合追求模型部署效率的工程师。
• 前沿探索：查看 Reasoning (推理) 和 SSMs (状态空间模型，如 Mamba)，了解最新的研究趋势。

2. 阅读与复现示例

假设你想学习 FlashAttention 以提升模型训练速度：

1. 定位资源：在 Core Architecture 或 Optimizations 章节找到 [FlashAttention] 链接。
2. 获取论文：点击链接下载 PDF (2205.14135.pdf)。
3. 查找实现：通常论文摘要或引言部分会提供官方代码库链接（例如 GitHub 上的 Dao-AILab/flash-attention）。
4. 快速体验（以 Python 为例）：

   # 安装官方实现的 FlashAttention (需 NVIDIA GPU 环境)
   pip install flash-attn --no-build-isolation
   

   # 在代码中替换标准 Attention
   from flash_attn import flash_attn_func
   
   # q, k, v: (batch_size, seqlen, nheads, headdim)
   output = flash_attn_func(q, k, v, dropout_p=0.0, softmax_scale=None, causal=True)
   

3. 结合视频课程

资源列表末尾提供了配套视频课程，建议在学习完一个章节后，通过以下链接加深理解：

• AI Engineering Course: https://interviewready.io/course-page/ai-engineering/

4. 案例研究参考

在实际工程落地前，推荐阅读 Case Studies 章节中的真实案例，例如：

• Meta: 如何使用 LLM 改进单元测试。
• Netflix: 个性化推荐的基础模型应用。
• Uber: QueryGPT 的实践。

通过按图索骥地阅读这些高质量论文并结合官方代码复现，软件工程师可以系统性地构建 AI 工程化知识体系。