[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-arcelien--pba":3,"similar-arcelien--pba":103},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":18,"owner_email":18,"owner_twitter":20,"owner_website":21,"owner_url":22,"languages":23,"stars":36,"forks":37,"last_commit_at":38,"license":39,"difficulty_score":40,"env_os":41,"env_gpu":42,"env_ram":43,"env_deps":44,"category_tags":50,"github_topics":55,"view_count":67,"oss_zip_url":18,"oss_zip_packed_at":18,"status":68,"created_at":69,"updated_at":70,"faqs":71,"releases":102},10223,"arcelien\u002Fpba","pba","Efficient Learning of Augmentation Policy Schedules","pba（Population Based Augmentation）是一款专为神经网络训练设计的高效数据增强策略学习工具。在深度学习领域，如何为模型找到最佳的数据增强方案往往需要耗费巨大的计算资源和漫长的调优时间，而 pba 正是为了解决这一痛点而生。\n\n它能够快速自动地学习并生成最优的数据增强调度策略。其核心优势在于极高的效率：在 CIFAR 数据集上，pba 仅需传统方法千分之一的计算量，即可达到业界领先的准确率。这意味着研究人员无需依赖庞大的服务器集群，仅凭单张工作站级别的 GPU，就能轻松探索出新的增强策略，大幅降低了实验门槛和时间成本。\n\n该工具基于 TensorFlow 构建，支持 Python 2 和 3，非常适合 AI 研究人员、算法工程师以及希望优化模型性能的开发者使用。它不仅提供了复现论文结果的完整脚本，覆盖了 Wide-ResNet、Shake-Shake 等多种主流模型在 CIFAR、SVHN 等数据集上的表现，还内置了搜索功能，允许用户针对特定数据集自定义寻找最佳增强方案。此外，项目还提供了可视化笔记本，帮助用户直观理解增强策略的演变过程，是进行高效模型训练的","pba（Population Based Augmentation）是一款专为神经网络训练设计的高效数据增强策略学习工具。在深度学习领域，如何为模型找到最佳的数据增强方案往往需要耗费巨大的计算资源和漫长的调优时间，而 pba 正是为了解决这一痛点而生。\n\n它能够快速自动地学习并生成最优的数据增强调度策略。其核心优势在于极高的效率：在 CIFAR 数据集上，pba 仅需传统方法千分之一的计算量，即可达到业界领先的准确率。这意味着研究人员无需依赖庞大的服务器集群，仅凭单张工作站级别的 GPU，就能轻松探索出新的增强策略，大幅降低了实验门槛和时间成本。\n\n该工具基于 TensorFlow 构建，支持 Python 2 和 3，非常适合 AI 研究人员、算法工程师以及希望优化模型性能的开发者使用。它不仅提供了复现论文结果的完整脚本，覆盖了 Wide-ResNet、Shake-Shake 等多种主流模型在 CIFAR、SVHN 等数据集上的表现，还内置了搜索功能，允许用户针对特定数据集自定义寻找最佳增强方案。此外，项目还提供了可视化笔记本，帮助用户直观理解增强策略的演变过程，是进行高效模型训练的得力助手。","# Population Based Augmentation (PBA)\n\n\u003Cb>\u003Ci>New: Visualize PBA and applied augmentations with the notebook `pba.ipynb`!\u003C\u002Fb>\u003C\u002Fi>\n\n\u003Cb>\u003Ci>Now with Python 3 support.\u003C\u002Fb>\u003C\u002Fi>\n\n### Table of Contents\n\n1. [Introduction](#introduction)\n2. [Getting Started](#getting-started)\n3. [Reproduce Results](#reproduce-results)\n4. [Run PBA Search](#run-pba-search)\n5. [Citation](#citation)\n\n### Introduction\n\nPopulation Based Augmentation (PBA) is a algorithm that quickly and efficiently learns data augmentation functions for neural network training. PBA matches state-of-the-art results on CIFAR with one thousand times less compute, enabling researchers and practitioners to effectively learn new augmentation policies using a single workstation GPU.\n\nThis repository contains code for the work \"Population Based Augmentation: Efficient Learning of Augmentation Schedules\" (http:\u002F\u002Farxiv.org\u002Fabs\u002F1905.05393) in TensorFlow and Python. It includes training of models with the reported augmentation schedules and discovery of new augmentation policy schedules.\n\nSee below for a visualization of our augmentation strategy.\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_84acb90f0498.png\" width=\"40%\">\n\u003C\u002Fp>\n\n### Getting Started\nCode supports Python 2 and 3.\n\n####  Install requirements\n\n```shell\npip install -r requirements.txt\n```\n\n#### Download CIFAR-10\u002FCIFAR-100 datasets\n\n```shell\nbash datasets\u002Fcifar10.sh\nbash datasets\u002Fcifar100.sh\n```\n\n### Reproduce Results\n\n\u003Cdiv class=\"tg-wrap\">\u003Ctable>\n  \u003Ctr>\n    \u003Cth>Dataset\u003C\u002Fth>\n    \u003Cth>Model\u003C\u002Fth>\n    \u003Cth>Test Error (%)\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"5\">CIFAR-10\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>2.58\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x32d)\u003C\u002Ftd>\n    \u003Ctd>2.54\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>2.03\u003Cbr>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x112d)\u003C\u002Ftd>\n    \u003Ctd>2.03\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>PyramidNet+ShakeDrop\u003C\u002Ftd>\n    \u003Ctd>1.46\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">Reduced CIFAR-10\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>12.82\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>10.64\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"3\">CIFAR-100\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>16.73\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>15.31\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>PyramidNet+ShakeDrop\u003C\u002Ftd>\n    \u003Ctd>10.94\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">SVHN\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>1.18\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>1.13\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">Reduced SVHN\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>7.83\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>6.46\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\u003C\u002Fdiv>\n\nScripts to reproduce results are located in `scripts\u002Ftable_*.sh`. One argument, the model name, is required for all of the scripts. The available options are those reported for each dataset in Table 2 of the paper, among the choices: `wrn_28_10, ss_32, ss_96, ss_112, pyramid_net`. Hyperparamaters are also located inside each script file.\n\nFor example, to reproduce CIFAR-10 results on Wide-ResNet-28-10:\n\n```shell\nbash scripts\u002Ftable_1_cifar10.sh wrn_28_10\n```\n\nTo reproduce Reduced SVHN results on Shake-Shake (26 2x96d):\n\n```shell\nbash scripts\u002Ftable_4_svhn.sh rsvhn_ss_96\n```\n\nA good place to start is Reduced SVHN on Wide-ResNet-28-10 which can complete in under 10 minutes on a Titan XP GPU reaching 91%+ test accuracy.\n\nRunning the larger models on 1800 epochs may require multiple days of training. For example, CIFAR-10 PyramidNet+ShakeDrop takes around 9 days on a Tesla V100 GPU.\n\n### Run PBA Search\n\nRun PBA search on Wide-ResNet-40-2 with the file `scripts\u002Fsearch.sh`. One argument, the dataset name, is required. Choices are `rsvhn` or `rcifar10`.\n\nA partial GPU size is specified to launch multiple trials on the same GPU. Reduced SVHN takes around an hour on a Titan XP GPU, and Reduced CIFAR-10 takes around 5 hours.\n\n```shell\nCUDA_VISIBLE_DEVICES=0 bash scripts\u002Fsearch.sh rsvhn\n```\n\nThe resulting schedules used in search can be retreived from the Ray result directory, and the log files can be converted into policy schedules with the `parse_log()` function in `pba\u002Futils.py`. For example, policy schedule learned on Reduced CIFAR-10 over 200 epochs is split into probability and magnitude hyperparameter values (the two values for each augmentation operation are merged) and visualized below:\n\nProbability Hyperparameters over Time     |         Magnitude Hyperparameters over Time\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_e9114f82c2fa.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_fd3c631e214a.png)\n\n### Citation\nIf you use PBA in your research, please cite:\n\n```\n@inproceedings{ho2019pba,\n  title     = {Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules},\n  author    = {Daniel Ho and\n               Eric Liang and\n               Ion Stoica and\n               Pieter Abbeel and\n               Xi Chen\n  },\n  booktitle = {ICML},\n  year      = {2019}\n}\n```\n","# 基于种群的增强（PBA）\n\n\u003Cb>\u003Ci>新增：使用笔记本 `pba.ipynb` 可视化 PBA 及其应用的增强策略！\u003C\u002Fb>\u003C\u002Fi>\n\n\u003Cb>\u003Ci>现已支持 Python 3。\u003C\u002Fb>\u003C\u002Fi>\n\n### 目录\n\n1. [简介](#introduction)\n2. [快速入门](#getting-started)\n3. [复现结果](#reproduce-results)\n4. [运行 PBA 搜索](#run-pba-search)\n5. [引用](#citation)\n\n### 简介\n\n基于种群的增强（PBA）是一种能够快速高效地为神经网络训练学习数据增强函数的算法。PBA 在计算资源消耗减少一千倍的情况下，仍能取得与 CIFAR 数据集上最先进方法相当的性能，使研究人员和从业者仅需一台工作站的 GPU 即可有效地学习新的增强策略。\n\n本仓库包含论文《基于种群的增强：高效学习增强策略调度》（http:\u002F\u002Farxiv.org\u002Fabs\u002F1905.05393）在 TensorFlow 和 Python 中的实现代码。其中既包括使用文中报告的增强策略进行模型训练，也包括发现新的增强策略调度。\n\n下方展示了我们的增强策略可视化效果。\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_84acb90f0498.png\" width=\"40%\">\n\u003C\u002Fp>\n\n### 快速入门\n代码同时支持 Python 2 和 3。\n\n#### 安装依赖\n\n```shell\npip install -r requirements.txt\n```\n\n#### 下载 CIFAR-10\u002FCIFAR-100 数据集\n\n```shell\nbash datasets\u002Fcifar10.sh\nbash datasets\u002Fcifar100.sh\n```\n\n### 复现结果\n\n\u003Cdiv class=\"tg-wrap\">\u003Ctable>\n  \u003Ctr>\n    \u003Cth>数据集\u003C\u002Fth>\n    \u003Cth>模型\u003C\u002Fth>\n    \u003Cth>测试误差 (%)\u003C\u002Fth>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"5\">CIFAR-10\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>2.58\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x32d)\u003C\u002Ftd>\n    \u003Ctd>2.54\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>2.03\u003Cbr>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x112d)\u003C\u002Ftd>\n    \u003Ctd>2.03\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>PyramidNet+ShakeDrop\u003C\u002Ftd>\n    \u003Ctd>1.46\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">缩减版 CIFAR-10\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>12.82\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>10.64\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"3\">CIFAR-100\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>16.73\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>15.31\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>PyramidNet+ShakeDrop\u003C\u002Ftd>\n    \u003Ctd>10.94\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">SVHN\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>1.18\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>1.13\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd rowspan=\"2\">缩减版 SVHN\u003C\u002Ftd>\n    \u003Ctd>Wide-ResNet-28-10\u003C\u002Ftd>\n    \u003Ctd>7.83\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>Shake-Shake (26 2x96d)\u003C\u002Ftd>\n    \u003Ctd>6.46\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\u003C\u002Fdiv>\n\n用于复现结果的脚本位于 `scripts\u002Ftable_*.sh` 中。所有脚本均需一个参数——模型名称。可用选项为论文表 2 中针对各数据集报告的模型，包括：`wrn_28_10, ss_32, ss_96, ss_112, pyramid_net`。超参数也内置于每个脚本文件中。\n\n例如，要复现 CIFAR-10 上 Wide-ResNet-28-10 的结果：\n\n```shell\nbash scripts\u002Ftable_1_cifar10.sh wrn_28_10\n```\n\n要复现缩减版 SVHN 上 Shake-Shake (26 2x96d) 的结果：\n\n```shell\nbash scripts\u002Ftable_4_svhn.sh rsvhn_ss_96\n```\n\n建议从缩减版 SVHN 上 Wide-ResNet-28-10 开始，这在 Titan XP GPU 上不到 10 分钟即可完成，测试准确率可达 91% 以上。\n\n运行规模较大的模型时，若采用 1800 轮训练，则可能需要数天时间。例如，CIFAR-10 上 PyramidNet+ShakeDrop 在 Tesla V100 GPU 上大约需要 9 天。\n\n### 运行 PBA 搜索\n\n使用 `scripts\u002Fsearch.sh` 文件对 Wide-ResNet-40-2 进行 PBA 搜索。需提供一个参数——数据集名称，可选值为 `rsvhn` 或 `rcifar10`。\n\n通过指定部分 GPU 资源，可在同一 GPU 上启动多个试验。缩减版 SVHN 大约需要一小时在 Titan XP GPU 上完成，而缩减版 CIFAR-10 则需约 5 小时。\n\n```shell\nCUDA_VISIBLE_DEVICES=0 bash scripts\u002Fsearch.sh rsvhn\n```\n\n搜索过程中使用的最终调度可从 Ray 的结果目录中获取，日志文件则可通过 `pba\u002Futils.py` 中的 `parse_log()` 函数转换为增强策略调度。例如，在缩减版 CIFAR-10 上经过 200 轮训练学到的增强策略调度，被拆分为概率和幅度两个超参数，并分别可视化如下：\n\n随时间变化的概率超参数     |         随时间变化的幅度超参数\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_e9114f82c2fa.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_readme_fd3c631e214a.png)\n\n### 引用\n如果您在研究中使用了 PBA，请引用以下文献：\n\n```\n@inproceedings{ho2019pba,\n  title     = {Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules},\n  author    = {Daniel Ho and\n               Eric Liang and\n               Ion Stoica and\n               Pieter Abbeel and\n               Xi Chen\n  },\n  booktitle = {ICML},\n  year      = {2019}\n}\n```","# PBA (Population Based Augmentation) 快速上手指南\n\nPBA 是一种高效的数据增强策略学习算法，能够在单张 GPU 上以极低的计算成本（相比传统方法减少 1000 倍算力）学习到最优的数据增强调度方案，并在 CIFAR 等数据集上达到业界领先的准确率。\n\n## 环境准备\n\n*   **操作系统**: Linux \u002F macOS (Windows 需通过 WSL 或 Docker 运行)\n*   **Python 版本**: 支持 Python 2 和 Python 3 (推荐使用 Python 3)\n*   **深度学习框架**: TensorFlow\n*   **硬件要求**: 支持 CUDA 的 NVIDIA GPU (推荐 Titan XP, Tesla V100 或更高)\n*   **依赖管理**: `pip`\n\n> **提示**: 国内用户建议在安装依赖时指定清华或阿里镜像源以加速下载。\n\n## 安装步骤\n\n1.  **克隆代码库** (假设已获取源码目录)\n    ```bash\n    cd pba\n    ```\n\n2.  **安装依赖包**\n    建议使用国内镜像源加速安装：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n3.  **下载数据集**\n    执行脚本自动下载 CIFAR-10 和 CIFAR-100 数据集：\n    ```bash\n    bash datasets\u002Fcifar10.sh\n    bash datasets\u002Fcifar100.sh\n    ```\n    > 如果下载速度慢，可手动下载数据集后放入 `datasets\u002F` 对应目录，或修改脚本中的下载链接为国内镜像地址。\n\n## 基本使用\n\n### 1. 复现经典结果 (Reproduce Results)\n\n项目提供了预定义的脚本来复现论文中的实验结果。所有脚本位于 `scripts\u002F` 目录下，运行时需传入模型名称参数。\n\n**可用模型参数**:\n*   `wrn_28_10` (Wide-ResNet-28-10)\n*   `ss_32`, `ss_96`, `ss_112` (Shake-Shake 不同配置)\n*   `pyramid_net` (PyramidNet+ShakeDrop)\n\n**示例 A: 在 CIFAR-10 上复现 Wide-ResNet-28-10 的结果**\n```bash\nbash scripts\u002Ftable_1_cifar10.sh wrn_28_10\n```\n\n**示例 B: 在 Reduced SVHN 上复现 Shake-Shake (26 2x96d) 的结果**\n这是一个适合快速测试的示例，在 Titan XP GPU 上约 10 分钟即可完成，测试准确率可达 91% 以上。\n```bash\nbash scripts\u002Ftable_4_svhn.sh rsvhn_ss_96\n```\n\n> **注意**: 大型模型（如 CIFAR-10 PyramidNet）可能需要数天的训练时间。\n\n### 2. 运行 PBA 搜索 (Run PBA Search)\n\n使用 PBA 算法自动搜索特定数据集上的最优增强策略。\n\n**支持的数据集参数**:\n*   `rsvhn` (Reduced SVHN)\n*   `rcifar10` (Reduced CIFAR-10)\n\n**执行搜索**:\n以下命令将在 GPU 0 上启动针对 Reduced SVHN 的搜索任务（约需 1 小时）：\n```bash\nCUDA_VISIBLE_DEVICES=0 bash scripts\u002Fsearch.sh rsvhn\n```\n\n**查看结果**:\n搜索完成后，策略调度文件将保存在 Ray 的结果目录中。你可以使用 `pba\u002Futils.py` 中的 `parse_log()` 函数解析日志，将其转换为可视化的概率和幅度超参数曲线。\n\n### 3. 可视化分析 (可选)\n\n项目包含一个 Jupyter Notebook (`pba.ipynb`)，可用于可视化 PBA 搜索过程及最终应用的数据增强效果。建议在 Jupyter Lab 或 Notebook 中打开查看。","某计算机视觉团队正在单张消费级 GPU 上训练 CIFAR-10 图像分类模型，急需提升准确率但受限于算力无法进行大规模超参搜索。\n\n### 没有 pba 时\n- **算力门槛极高**：想要复现业界顶尖的数据增强策略（如 AutoAugment），通常需要数千个 GPU 小时的计算资源，普通工作站根本无法承担。\n- **策略调整盲目**：开发者只能依赖人工经验手动尝试旋转、裁剪等增强组合，耗时数天调试却往往难以找到最优解。\n- **训练周期漫长**：为了验证某种增强方案是否有效，必须完整训练模型数十个 Epoch，试错成本极其高昂。\n- **效果遭遇瓶颈**：在有限资源下，模型测试误差率停滞在较高水平（如 Wide-ResNet 在 CIFAR-10 上难突破 3%），难以达到 SOTA 标准。\n\n### 使用 pba 后\n- **单机即可复现 SOTA**：pba 利用基于种群的优化算法，仅需单张 GPU 就能以千分之一以下的算力消耗，学习到匹配顶尖水平的数据增强调度策略。\n- **自动发现最优策略**：工具能自动搜索并生成动态变化的增强函数时间表，无需人工干预即可找到针对特定数据集的最佳增强组合。\n- **搜索效率显著提升**：在 Reduced SVHN 数据集上，pba 能在约一小时内完成策略搜索；即便在 Reduced CIFAR-10 上也仅需约 5 小时，大幅缩短研发迭代周期。\n- **准确率大幅跃升**：应用 pba 生成的策略后，Wide-ResNet-28-10 在 CIFAR-10 上的测试误差率可降至 2.58%，轻松突破原有性能瓶颈。\n\npba 让研究人员在单卡环境下也能高效掌握顶级数据增强策略，将原本需要集群算力的实验变得触手可及。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farcelien_pba_e9114f82.png","arcelien","Daniel Ho","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Farcelien_0b61d770.png",null,"X, The Moonshot Factory","itsdanielho","itsdanielho.com","https:\u002F\u002Fgithub.com\u002Farcelien",[24,28,32],{"name":25,"color":26,"percentage":27},"Jupyter Notebook","#DA5B0B",61.5,{"name":29,"color":30,"percentage":31},"Python","#3572A5",37.2,{"name":33,"color":34,"percentage":35},"Shell","#89e051",1.4,509,84,"2026-03-22T18:50:21","Apache-2.0",3,"Linux","需要 NVIDIA GPU。文中提及 Titan XP 和 Tesla V100。运行大型模型（如 PyramidNet+ShakeDrop）需高性能 GPU，搜索任务支持单卡多试验。未明确具体显存大小和 CUDA 版本。","未说明",{"notes":45,"python":46,"dependencies":47},"该工具基于 TensorFlow 开发。首次运行需通过脚本下载 CIFAR-10\u002FCIFAR-100 数据集。复现完整结果（如 CIFAR-10 上的 PyramidNet）可能需要数天训练时间。支持使用 Jupyter Notebook (pba.ipynb) 可视化增强策略。","2.x 或 3.x",[48,49],"tensorflow","ray",[51,52,53,54],"图像","其他","开发框架","数据工具",[56,57,58,59,60,61,62,63,64,48,65,66],"machine-learning","data-science","artificial-intelligence","deep-learning","python","automl","data-augmentation","augmentation","automated-machine-learning","convolutional-neural-networks","image-classification",2,"ready","2026-03-27T02:49:30.150509","2026-04-20T22:36:15.643599",[72,77,82,87,92,97],{"id":73,"question_zh":74,"answer_zh":75,"source_url":76},45866,"在 Python 3 中运行时出现 'NameError: name 'cPickle' is not defined' 错误怎么办？","这是因为 cPickle 是 Python 2 的模块，在 Python 3 中已被移除。维护者已推送修复补丁解决了此兼容性问题。如果遇到此错误，请拉取最新的代码更新即可解决。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F11",{"id":78,"question_zh":79,"answer_zh":80,"source_url":81},45867,"如何解析搜索算法生成的 pbt_global.txt 和 pbt_policy_*.txt 结果文件以获取训练策略？","在新版本中，生成的策略文件（如 pbt_policy_*.txt）包含了完整的超参数集，可以直接使用，无需转换为旧格式（如 schedules\u002Frsvhn_16_wrn.txt）。代码会自动处理这些文件用于评估。如果需要可视化策略，可以参考社区提供的 Policy_Visualization.ipynb 笔记本。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F14",{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},45868,"运行 PBA 搜索时遇到 'RayOutOfMemoryError' 内存溢出错误如何解决？","如果在容器环境（如 Kubernetes）中运行，尝试在 ray.init() 中移除显式的内存配额设置（memory 和 object_store_memory 参数）。显式限制可能导致 Ray 过快耗尽可用内存。不设置这些参数让 Ray 自动管理通常能解决问题。例如，移除类似 memory=1024 * 1024 * 1024 * 30 的配置。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F36",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},45869,"在 Google Colab 上使用大数据集运行时崩溃或内存不足怎么办？","代码本身设计为每次只加载一张图片（使用 PIL.Image.open），不应一次性加载整个数据集。如果发生崩溃，请检查代码是否意外地在数据加载器之外预先加载了所有图片到内存中（例如为了显示目的）。确保没有额外的逻辑导致全量数据载入。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F16",{"id":93,"question_zh":94,"answer_zh":95,"source_url":96},45870,"pbt_global.txt 输出文件中的数字（如 \"2\", \"0\", 2, 3）代表什么含义？","这些数字对应搜索过程中的特定状态或索引，具体的映射关系原始代码未直接提供可视化脚本。建议参考社区用户 prob1995 提供的 Policy_Visualization.ipynb 笔记本来复现论文中的图表，从而理解这些数值代表的概率超参数和幅度超参数随时间的变化。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F25",{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},45871,"在 Python 3 环境下运行脚本时出现 'malformed node or string' 解析错误怎么办？","这通常是由于日志文件格式与 ast.literal_eval 解析方式不兼容导致的。在 Python 3 中，确保读取的策略日志文件每一行都是合法的 Python 字面量字符串。如果文件包含非标准格式字符，可能需要清理日志文件或检查生成该日志的脚本版本是否与当前解析代码匹配。","https:\u002F\u002Fgithub.com\u002Farcelien\u002Fpba\u002Fissues\u002F3",[],[104,113,122,131,139,147],{"id":105,"name":106,"github_repo":107,"description_zh":108,"stars":109,"difficulty_score":40,"last_commit_at":110,"category_tags":111,"status":68},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[112,53,51,54],"Agent",{"id":114,"name":115,"github_repo":116,"description_zh":117,"stars":118,"difficulty_score":67,"last_commit_at":119,"category_tags":120,"status":68},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,"2026-04-19T23:22:26",[54,53,112,51,121],"插件",{"id":123,"name":124,"github_repo":125,"description_zh":126,"stars":127,"difficulty_score":40,"last_commit_at":128,"category_tags":129,"status":68},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[112,130,121,53,51],"语言模型",{"id":132,"name":133,"github_repo":134,"description_zh":135,"stars":136,"difficulty_score":40,"last_commit_at":137,"category_tags":138,"status":68},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[53,51,112],{"id":140,"name":141,"github_repo":142,"description_zh":143,"stars":144,"difficulty_score":67,"last_commit_at":145,"category_tags":146,"status":68},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161692,"2026-04-20T11:33:57",[53,112,130],{"id":148,"name":149,"github_repo":150,"description_zh":151,"stars":152,"difficulty_score":67,"last_commit_at":153,"category_tags":154,"status":68},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[53,51,112]]