syncora-benchmarks

Syncora Benchmarks 是一个即插即用的工具包，用于评估合成数据的质量。只需添加来自任何生成器的 CSV 文件，即可通过简单的文件命名规则获得即时的保真度指标和可视化对比。

---

内容简介

• Syncora_vs_Gretel_vs_MostlyAI_metrics_comparison.ipynb
  一个 Jupyter Notebook，功能如下：

  1. 加载您的真实数据集和合成数据集
  2. 计算一系列相似性和保真度指标
  3. 可视化对比结果

• README.md
  本概述文件。

• 原始/合成数据文件
  请按照命名规范将您的 CSV 文件放置于此处：<generator_name>_synthetic.csv

---

使用模板

1. 生成合成数据
   使用任意平台或内部模型生成一个 CSV 文件。

2. 为输出文件命名
   将文件重命名为：mygenerator_synthetic.csv

   例如：Syncora_synthetic.csv、Gretel_synthetic.csv 等。

3. 将其放入此仓库
   将您的 CSV 文件与笔记本放在同一文件夹中。

4. 编辑并运行笔记本

   • 打开 Syncora_vs_Gretel_vs_MostlyAI_metrics_comparison.ipynb。
   • 代码会自动发现所有 *_synthetic.csv 文件。
   • 执行所有单元格以重新生成指标和图表。

---

添加新的生成器或数据集

1. 生成您的合成 CSV，并将其命名为 <your_name>_synthetic.csv。
2. （可选）在笔记本的元数据中添加简短描述。
3. 重新运行笔记本——您的新结果将被追加到对比图表中。

---

贡献

1. 分叉此仓库。
2. 创建一个特性分支 (git checkout -b feature/xyz)。
3. 提交包含您更新的拉取请求。
4. 确保笔记本能够从头到尾无错误地运行。

---

许可证

本项目采用 MIT 许可证 发布。

Syncora Benchmarks 快速上手指南

Syncora Benchmarks 是一款即插即用的工具包，用于评估合成数据的质量。只需将不同生成器产生的 CSV 文件放入指定目录，即可自动计算保真度指标并生成可视化对比报告。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上
• 核心依赖：
  • Jupyter Notebook / JupyterLab
  • 数据分析库（如 pandas, numpy）
  • 可视化库（如 matplotlib, seaborn）
  • 合成数据评估库（具体依赖请参考项目 requirements.txt，通常包含 sdmetrics 等）

提示：国内用户建议使用清华或阿里镜像源安装依赖，以提升下载速度。

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone https://github.com/syncora-ai/syncora-benchmarks.git
   cd syncora-benchmarks
   

2. 创建虚拟环境（推荐）

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   

3. 安装依赖 使用国内镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：如果项目中没有 requirements.txt，请手动安装基础库：pip install pandas numpy matplotlib seaborn sdmetrics jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple)

基本使用

以下是评估合成数据质量的最简流程：

1. 准备数据

使用任意平台或模型生成合成数据，并将其保存为 CSV 格式。 关键步骤：必须按照 <生成器名称>_synthetic.csv 的格式重命名文件。

例如：

• Syncora_synthetic.csv
• Gretel_synthetic.csv
• MyModel_synthetic.csv

2. 放置文件

将重命名后的 CSV 文件放入项目根目录（与 notebook 文件同级）：

# 假设你的文件名为 MyModel_synthetic.csv
mv /path/to/your/data.csv ./MyModel_synthetic.csv

注意：请确保目录下已存在真实的参考数据集（Real Data），通常命名为 real_data.csv 或在 Notebook 中指定的文件名。

3. 运行评估

启动 Jupyter Notebook 并执行评估脚本：

jupyter notebook Syncora_vs_Gretel_vs_MostlyAI_metrics_comparison.ipynb

在浏览器打开的页面中：

1. 代码会自动扫描目录下所有符合 *_synthetic.csv 命名规则的文件。
2. 点击菜单栏的 Cell -> Run All（或逐个单元格执行）。
3. 等待执行完毕，即可查看生成的相似度指标表格和多维度的可视化对比图表。

4. 新增对比

若需添加新的生成器进行对比，只需重复步骤 1和步骤 2，生成新的 <新名称>_synthetic.csv 文件，然后重新运行 Notebook 即可，新结果会自动追加到对比图表中。