什么是嵌入？

本仓库包含生成的 LaTeX 文档、网站以及配套的笔记本代码，内容源自【什么是嵌入？】（链接）。

摘要

在过去十年中，嵌入——作为深度学习模型输入的非表格型机器学习特征的数值表示——已成为工业级机器学习系统中的基础数据结构。TF-IDF、PCA 和独热编码一直是机器学习系统中的关键工具，用于压缩和理解大量文本数据。然而，随着数据量的增加，传统方法在处理上下文信息方面的能力逐渐受限。随着现代应用所捕获的数据量、速度和多样性呈爆炸式增长，开发专门针对大规模场景的方法变得愈发重要。

谷歌的 Word2Vec 论文（arXiv:1301.3781）在将简单的统计表示推进到词义语义层面方面迈出了重要一步。随后，Transformer 架构（arXiv:1706.03762）和迁移学习的兴起，以及最近生成式方法的蓬勃发展，进一步推动了嵌入作为基础机器学习数据结构的发展。本文旨在深入探讨嵌入的概念、其发展历程以及在工业界的使用模式。

运行

LaTeX 文档是在 Overleaf 中编写，并部署到 GitHub 上，通过 GitHub Actions 自动编译。网站同样由 Actions 根据 site 分支自动生成。而笔记本则未经过任何持续集成流程，直接运行即可。

贡献

如果您希望对文档进行修改，例如澄清或修正拼写错误，您需要先构建 LaTeX 文档。我使用 GitHub 来跟踪问题和功能请求，并接受 Pull Request。提出代码库更改的最佳方式是：

1. 克隆仓库并基于 main 分支创建您的分支。
2. 在您的克隆分支中进行修改。
3. 确保您的 LaTeX 文档能够成功编译。GitHub Actions 会在向 main 分支提交 PR 时触发 PDF 的生成。
4. 确保文档正确编译为 PDF，并检查输出结果。
5. 确保代码符合代码风格规范。
6. 提交 Pull Request！

引用

@software{Boykis_What_are_embeddings_2023,
author = {Boykis, Vicki},
doi = {10.5281/zenodo.8015029},
month = jun,
title = {{什么是嵌入？}},
url = {https://github.com/veekaybee/what_are_embeddings},
version = {1.0.1},
year = {2023}
}

what_are_embeddings 快速上手指南

what_are_embeddings 是一个开源项目，包含了关于“什么是嵌入（Embeddings）”的综述论文、配套网站以及用于生成图表和示例的 Jupyter Notebook 代码。本项目旨在深入探讨嵌入技术的历史、原理及其在工业界的应用模式。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows（推荐 WSL2）。
• Python 版本：建议安装 Python 3.8 或更高版本。
• 前置依赖：
  • Jupyter Lab/Notebook：用于运行和探索 .ipynb 笔记本代码。
  • LaTeX 发行版（可选）：如果您需要本地编译论文源码（.tex 文件），需安装 TeX Live (Linux/Windows) 或 MacTeX (macOS)。
  • Git：用于克隆代码仓库。

注意：对于大多数只想学习概念或运行数据分析示例的开发者，只需安装 Python 和 Jupyter 即可，无需配置复杂的 LaTeX 环境。

安装步骤

1. 克隆仓库 打开终端，执行以下命令获取源代码：

   git clone https://github.com/veekaybee/what_are_embeddings.git
   cd what_are_embeddings
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate
   

3. 安装 Python 依赖 项目中通常包含 requirements.txt 文件（或在 Notebook 头部列出了所需库）。安装核心数据科学库：

   pip install jupyter pandas numpy matplotlib scikit-learn torch transformers
   

   (注：如果仓库根目录存在 requirements.txt，请优先运行 pip install -r requirements.txt)

   国内加速提示：如果遇到下载速度慢的问题，建议使用清华或阿里镜像源：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目的主要使用方式是阅读生成的论文/网站，以及运行 Notebook 中的代码示例来理解 Embedding 的生成过程。

1. 运行示例 Notebook

进入项目目录，启动 Jupyter Lab 以交互式运行代码：

jupyter lab

在浏览器中打开后，导航至项目文件夹，找到后缀为 .ipynb 的文件（例如 notebooks/ 目录下的文件）。点击即可运行单元格，复现从文本到向量嵌入的转换过程。

2. 查看论文与文档

• 在线预览：直接访问项目配套的官方网站 What are Embeddings 阅读完整综述。
• 本地编译 PDF（仅限高级用户）： 如果您修改了 .tex 源码并希望本地生成 PDF，请确保已安装 LaTeX 环境，然后使用 latexmk 或 Overleaf 进行编译。项目的 CI/CD 流程（GitHub Actions）会自动处理主分支的编译任务。

3. 简单代码示例逻辑

在 Notebook 中，您通常会看到类似以下的典型嵌入生成逻辑（基于 Hugging Face Transformers）：

from transformers import AutoTokenizer, AutoModel
import torch

# 加载预训练模型和分词器
model_name = "sentence-transformers/all-MiniLM-L6-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 输入文本
texts = ["What are embeddings?", "Embeddings are numerical representations."]

# 分词并生成嵌入
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
outputs = model(**inputs)
embeddings = outputs.last_hidden_state[:, 0, :] # 获取 [CLS] 向量作为句子嵌入

print(embeddings.shape)

通过运行此类代码，您可以直观地观察非结构化文本如何被转化为深度学习模型可理解的数值向量。