[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-NVIDIA--pix2pixHD":3,"tool-NVIDIA--pix2pixHD":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":103,"github_topics":104,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":114,"updated_at":115,"faqs":116,"releases":146},8892,"NVIDIA\u002Fpix2pixHD","pix2pixHD","Synthesizing and manipulating 2048x1024 images with conditional GANs","pix2pixHD 是一款基于 PyTorch 开源的高分辨率图像生成工具，专注于利用条件生成对抗网络（GAN）实现逼真的“图到图”转换。它核心解决了传统 AI 绘图在高分辨率下细节模糊、纹理失真的难题，能够轻松合成及编辑高达 2048x1024 像素的超清图像。\n\n该工具最典型的应用是将简单的语义标签图（如用不同色块标注的道路、建筑或人脸轮廓）瞬间转化为照片级真实的街景或人像。用户不仅可以进行批量转换，还能通过交互式编辑实时调整图像风格与内容，极大地提升了创作灵活性。\n\n其独特的技术亮点在于采用了多尺度生成器架构和特征匹配损失函数，确保在放大图像尺寸的同时，依然能保留丰富的纹理细节和全局一致性，避免了常见的高频噪点。\n\npix2pixHD 主要适合计算机视觉研究人员、AI 开发者以及需要高质量素材的数字艺术家使用。由于运行需要配备高性能 NVIDIA GPU 并涉及一定的代码配置，它对用户的深度学习基础有一定要求，不太适合无技术背景的普通大众直接上手，但对于追求极致画质的专业场景而言，它无疑是一个强大的利器。","\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_32fc7cb8ed5c.gif' align=\"right\" width=360>\r\n\r\n\u003Cbr>\u003Cbr>\u003Cbr>\u003Cbr>\r\n\r\n# pix2pixHD\r\n### [Project](https:\u002F\u002Ftcwang0509.github.io\u002Fpix2pixHD\u002F) | [Youtube](https:\u002F\u002Fyoutu.be\u002F3AIpPlzM_qs) | [Paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1711.11585.pdf) \u003Cbr>\r\nPytorch implementation of our method for high-resolution (e.g. 2048x1024) photorealistic image-to-image translation. It can be used for turning semantic label maps into photo-realistic images or synthesizing portraits from face label maps. \u003Cbr>\u003Cbr>\r\n[High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs](https:\u002F\u002Ftcwang0509.github.io\u002Fpix2pixHD\u002F)  \r\n [Ting-Chun Wang](https:\u002F\u002Ftcwang0509.github.io\u002F)\u003Csup>1\u003C\u002Fsup>, [Ming-Yu Liu](http:\u002F\u002Fmingyuliu.net\u002F)\u003Csup>1\u003C\u002Fsup>, [Jun-Yan Zhu](http:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~junyanz\u002F)\u003Csup>2\u003C\u002Fsup>, Andrew Tao\u003Csup>1\u003C\u002Fsup>, [Jan Kautz](http:\u002F\u002Fjankautz.com\u002F)\u003Csup>1\u003C\u002Fsup>, [Bryan Catanzaro](http:\u002F\u002Fcatanzaro.name\u002F)\u003Csup>1\u003C\u002Fsup>  \r\n \u003Csup>1\u003C\u002Fsup>NVIDIA Corporation, \u003Csup>2\u003C\u002Fsup>UC Berkeley  \r\n In CVPR 2018.  \r\n\r\n## Image-to-image translation at 2k\u002F1k resolution\r\n- Our label-to-streetview results\r\n\u003Cp align='center'>  \r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_930a3a42c095.png' width='400'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_6a8bf73217c9.jpg' width='400'\u002F>\r\n\u003C\u002Fp>\r\n- Interactive editing results\r\n\u003Cp align='center'>  \r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_3a1f4d9351fc.gif' width='400'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_1c5fa010e4de.gif' width='400'\u002F>\r\n\u003C\u002Fp>\r\n- Additional streetview results\r\n\u003Cp align='center'>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_ef5b55207035.jpg' width='400'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_6a7a27416745.jpg' width='400'\u002F>\r\n\u003C\u002Fp>\r\n\u003Cp align='center'>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_f5aabbddbf88.jpg' width='400'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_1a57cb0a25a0.jpg' width='400'\u002F>\r\n\u003C\u002Fp>\r\n\r\n- Label-to-face and interactive editing results\r\n\u003Cp align='center'>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_37ad46284241.jpg' width='250'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_f2d9346dfe24.jpg' width='250'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_325977133cec.jpg' width='250'\u002F>\r\n\u003C\u002Fp>\r\n\u003Cp align='center'>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_8a0a5164b63b.jpg' width='250'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_27ad0f9adceb.jpg' width='250'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_8aaf5b826061.jpg' width='250'\u002F>\r\n\u003C\u002Fp>\r\n\r\n- Our editing interface\r\n\u003Cp align='center'>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_3ef082e08658.gif' width='330'\u002F>\r\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_5aaf6d7149e3.gif' width='450'\u002F>\r\n\u003C\u002Fp>\r\n\r\n## Prerequisites\r\n- Linux or macOS\r\n- Python 2 or 3\r\n- NVIDIA GPU (11G memory or larger) + CUDA cuDNN\r\n\r\n## Getting Started\r\n### Installation\r\n- Install PyTorch and dependencies from http:\u002F\u002Fpytorch.org\r\n- Install python libraries [dominate](https:\u002F\u002Fgithub.com\u002FKnio\u002Fdominate).\r\n```bash\r\npip install dominate\r\n```\r\n- Clone this repo:\r\n```bash\r\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\r\ncd pix2pixHD\r\n```\r\n\r\n\r\n### Testing\r\n- A few example Cityscapes test images are included in the `datasets` folder.\r\n- Please download the pre-trained Cityscapes model from [here](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OR-2aEPHOxZKuoOV34DvQxreqGCSLcW9\u002Fview?usp=drive_link) (google drive link), and put it under `.\u002Fcheckpoints\u002Flabel2city_1024p\u002F`\r\n- Test the model (`bash .\u002Fscripts\u002Ftest_1024p.sh`):\r\n```bash\r\n#!.\u002Fscripts\u002Ftest_1024p.sh\r\npython test.py --name label2city_1024p --netG local --ngf 32 --resize_or_crop none\r\n```\r\nThe test results will be saved to a html file here: `.\u002Fresults\u002Flabel2city_1024p\u002Ftest_latest\u002Findex.html`.\r\n\r\nMore example scripts can be found in the `scripts` directory.\r\n\r\n\r\n### Dataset\r\n- We use the Cityscapes dataset. To train a model on the full dataset, please download it from the [official website](https:\u002F\u002Fwww.cityscapes-dataset.com\u002F) (registration required).\r\nAfter downloading, please put it under the `datasets` folder in the same way the example images are provided.\r\n\r\n\r\n### Training\r\n- Train a model at 1024 x 512 resolution (`bash .\u002Fscripts\u002Ftrain_512p.sh`):\r\n```bash\r\n#!.\u002Fscripts\u002Ftrain_512p.sh\r\npython train.py --name label2city_512p\r\n```\r\n- To view training results, please checkout intermediate results in `.\u002Fcheckpoints\u002Flabel2city_512p\u002Fweb\u002Findex.html`.\r\nIf you have tensorflow installed, you can see tensorboard logs in `.\u002Fcheckpoints\u002Flabel2city_512p\u002Flogs` by adding `--tf_log` to the training scripts.\r\n\r\n### Multi-GPU training\r\n- Train a model using multiple GPUs (`bash .\u002Fscripts\u002Ftrain_512p_multigpu.sh`):\r\n```bash\r\n#!.\u002Fscripts\u002Ftrain_512p_multigpu.sh\r\npython train.py --name label2city_512p --batchSize 8 --gpu_ids 0,1,2,3,4,5,6,7\r\n```\r\nNote: this is not tested and we trained our model using single GPU only. Please use at your own discretion.\r\n\r\n### Training with Automatic Mixed Precision (AMP) for faster speed\r\n- To train with mixed precision support, please first install apex from: https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\r\n- You can then train the model by adding `--fp16`. For example,\r\n```bash\r\n#!.\u002Fscripts\u002Ftrain_512p_fp16.sh\r\npython -m torch.distributed.launch train.py --name label2city_512p --fp16\r\n```\r\nIn our test case, it trains about 80% faster with AMP on a Volta machine.\r\n\r\n### Training at full resolution\r\n- To train the images at full resolution (2048 x 1024) requires a GPU with 24G memory (`bash .\u002Fscripts\u002Ftrain_1024p_24G.sh`), or 16G memory if using mixed precision (AMP).\r\n- If only GPUs with 12G memory are available, please use the 12G script (`bash .\u002Fscripts\u002Ftrain_1024p_12G.sh`), which will crop the images during training. Performance is not guaranteed using this script.\r\n\r\n### Training with your own dataset\r\n- If you want to train with your own dataset, please generate label maps which are one-channel whose pixel values correspond to the object labels (i.e. 0,1,...,N-1, where N is the number of labels). This is because we need to generate one-hot vectors from the label maps. Please also specity `--label_nc N` during both training and testing.\r\n- If your input is not a label map, please just specify `--label_nc 0` which will directly use the RGB colors as input. The folders should then be named `train_A`, `train_B` instead of `train_label`, `train_img`, where the goal is to translate images from A to B.\r\n- If you don't have instance maps or don't want to use them, please specify `--no_instance`.\r\n- The default setting for preprocessing is `scale_width`, which will scale the width of all training images to `opt.loadSize` (1024) while keeping the aspect ratio. If you want a different setting, please change it by using the `--resize_or_crop` option. For example, `scale_width_and_crop` first resizes the image to have width `opt.loadSize` and then does random cropping of size `(opt.fineSize, opt.fineSize)`. `crop` skips the resizing step and only performs random cropping. If you don't want any preprocessing, please specify `none`, which will do nothing other than making sure the image is divisible by 32.\r\n\r\n## More Training\u002FTest Details\r\n- Flags: see `options\u002Ftrain_options.py` and `options\u002Fbase_options.py` for all the training flags; see `options\u002Ftest_options.py` and `options\u002Fbase_options.py` for all the test flags.\r\n- Instance map: we take in both label maps and instance maps as input. If you don't want to use instance maps, please specify the flag `--no_instance`.\r\n\r\n\r\n## Citation\r\n\r\nIf you find this useful for your research, please use the following.\r\n\r\n```\r\n@inproceedings{wang2018pix2pixHD,\r\n  title={High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs},\r\n  author={Ting-Chun Wang and Ming-Yu Liu and Jun-Yan Zhu and Andrew Tao and Jan Kautz and Bryan Catanzaro},  \r\n  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},\r\n  year={2018}\r\n}\r\n```\r\n\r\n## Acknowledgments\r\nThis code borrows heavily from [pytorch-CycleGAN-and-pix2pix](https:\u002F\u002Fgithub.com\u002Fjunyanz\u002Fpytorch-CycleGAN-and-pix2pix).\r\n","\u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_32fc7cb8ed5c.gif' align=\"right\" width=360>\n\n\u003Cbr>\u003Cbr>\u003Cbr>\u003Cbr>\n\n# pix2pixHD\n### [项目](https:\u002F\u002Ftcwang0509.github.io\u002Fpix2pixHD\u002F) | [YouTube](https:\u002F\u002Fyoutu.be\u002F3AIpPlzM_qs) | [论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1711.11585.pdf) \u003Cbr>\n这是我们提出的用于高分辨率（例如 2048x1024）逼真图像到图像转换方法的 PyTorch 实现。它可以用于将语义标签图转换为照片级真实的图像，或从人脸标签图合成肖像。 \u003Cbr>\u003Cbr>\n[使用条件 GAN 进行高分辨率图像合成与语义操控](https:\u002F\u002Ftcwang0509.github.io\u002Fpix2pixHD\u002F)  \n [王廷淳](https:\u002F\u002Ftcwang0509.github.io\u002F)\u003Csup>1\u003C\u002Fsup>, [刘明宇](http:\u002F\u002Fmingyuliu.net\u002F)\u003Csup>1\u003C\u002Fsup>, [朱俊彦](http:\u002F\u002Fpeople.eecs.berkeley.edu\u002F~junyanz\u002F)\u003Csup>2\u003C\u002Fsup>, 安德鲁·陶\u003Csup>1\u003C\u002Fsup>, [扬·考茨](http:\u002F\u002Fjankautz.com\u002F)\u003Csup>1\u003C\u002Fsup>, [布莱恩·卡坦扎罗](http:\u002F\u002Fcatanzaro.name\u002F)\u003Csup>1\u003C\u002Fsup>  \n \u003Csup>1\u003C\u002Fsup>NVIDIA 公司, \u003Csup>2\u003C\u002Fsup>加州大学伯克利分校  \n 发表于 CVPR 2018。\n\n## 2k\u002F1k 分辨率下的图像到图像转换\n- 我们的标签到街景结果\n\u003Cp align='center'>  \n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_930a3a42c095.png' width='400'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_6a8bf73217c9.jpg' width='400'\u002F>\n\u003C\u002Fp>\n- 交互式编辑结果\n\u003Cp align='center'>  \n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_3a1f4d9351fc.gif' width='400'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_1c5fa010e4de.gif' width='400'\u002F>\n\u003C\u002Fp>\n- 更多的街景结果\n\u003Cp align='center'>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_ef5b55207035.jpg' width='400'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_6a7a27416745.jpg' width='400'\u002F>\n\u003C\u002Fp>\n\u003Cp align='center'>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_f5aabbddbf88.jpg' width='400'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_1a57cb0a25a0.jpg' width='400'\u002F>\n\u003C\u002Fp>\n\n- 标签到人脸及交互式编辑结果\n\u003Cp align='center'>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_37ad46284241.jpg' width='250'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_f2d9346dfe24.jpg' width='250'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_325977133cec.jpg' width='250'\u002F>\n\u003C\u002Fp>\n\u003Cp align='center'>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_8a0a5164b63b.jpg' width='250'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_27ad0f9adceb.jpg' width='250'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_8aaf5b826061.jpg' width='250'\u002F>\n\u003C\u002Fp>\n\n- 我们的编辑界面\n\u003Cp align='center'>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_3ef082e08658.gif' width='330'\u002F>\n  \u003Cimg src='https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_readme_5aaf6d7149e3.gif' width='450'\u002F>\n\u003C\u002Fp>\n\n## 前置条件\n- Linux 或 macOS\n- Python 2 或 3\n- NVIDIA GPU（显存 11G 或以上）+ CUDA cuDNN\n\n## 快速入门\n### 安装\n- 从 http:\u002F\u002Fpytorch.org 安装 PyTorch 和依赖项\n- 安装 Python 库 [dominate](https:\u002F\u002Fgithub.com\u002FKnio\u002Fdominate)。\n```bash\npip install dominate\n```\n- 克隆本仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\ncd pix2pixHD\n```\n\n### 测试\n- `datasets` 文件夹中包含了几张 Cityscapes 的示例测试图片。\n- 请从 [这里](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OR-2aEPHOxZKuoOV34DvQxreqGCSLcW9\u002Fview?usp=drive_link) 下载预训练的 Cityscapes 模型（Google Drive 链接），并将其放置在 `.\u002Fcheckpoints\u002Flabel2city_1024p\u002F` 目录下。\n- 测试模型（`bash .\u002Fscripts\u002Ftest_1024p.sh`）：\n```bash\n#!.\u002Fscripts\u002Ftest_1024p.sh\npython test.py --name label2city_1024p --netG local --ngf 32 --resize_or_crop none\n```\n测试结果将保存到此处的 HTML 文件：`.\u002Fresults\u002Flabel2city_1024p\u002Ftest_latest\u002Findex.html`。\n\n更多示例脚本可在 `scripts` 目录中找到。\n\n### 数据集\n- 我们使用 Cityscapes 数据集。若要基于完整数据集训练模型，请从 [官方网站](https:\u002F\u002Fwww.cityscapes-dataset.com\u002F) 下载（需注册）。\n下载后，请按照示例图片的方式将其放入 `datasets` 文件夹中。\n\n### 训练\n- 在 1024 x 512 分辨率下训练模型（`bash .\u002Fscripts\u002Ftrain_512p.sh`）：\n```bash\n#!.\u002Fscripts\u002Ftrain_512p.sh\npython train.py --name label2city_512p\n```\n- 要查看训练结果，请访问 `.\u002Fcheckpoints\u002Flabel2city_512p\u002Fweb\u002Findex.html` 中的中间结果。\n如果已安装 TensorFlow，可通过在训练脚本中添加 `--tf_log` 来查看 `.\u002Fcheckpoints\u002Flabel2city_512p\u002Flogs` 中的 TensorBoard 日志。\n\n### 多 GPU 训练\n- 使用多块 GPU 训练模型（`bash .\u002Fscripts\u002Ftrain_512p_multigpu.sh`）：\n```bash\n#!.\u002Fscripts\u002Ftrain_512p_multigpu.sh\npython train.py --name label2city_512p --batchSize 8 --gpu_ids 0,1,2,3,4,5,6,7\n```\n注意：此功能未经充分测试，我们仅使用单 GPU 训练了模型。请根据自身情况谨慎使用。\n\n### 使用自动混合精度 (AMP) 加速训练\n- 要启用混合精度支持，请先从 https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex 安装 apex。\n- 然后可以通过添加 `--fp16` 来训练模型。例如，\n```bash\n#!.\u002Fscripts\u002Ftrain_512p_fp16.sh\npython -m torch.distributed.launch train.py --name label2city_512p --fp16\n```\n在我们的测试中，使用 Volta 架构的机器时，启用 AMP 后训练速度提升了约 80%。\n\n### 全分辨率训练\n- 要以全分辨率（2048 x 1024）训练图像，需要配备 24G 显存的 GPU（`bash .\u002Fscripts\u002Ftrain_1024p_24G.sh`），或在使用混合精度 (AMP) 的情况下配备 16G 显存。\n- 如果仅有 12G 显存的 GPU 可用，请使用 12G 版本的脚本（`bash .\u002Fscripts\u002Ftrain_1024p_12G.sh`），该脚本会在训练过程中对图像进行裁剪。但无法保证在此设置下的性能。\n\n### 使用自定义数据集训练\n- 如果您希望使用自己的数据集进行训练，需生成单通道的标签图，其像素值对应于对象标签（即 0,1,...,N-1，其中 N 为标签数量）。这是因为我们需要从标签图中生成独热向量。此外，在训练和测试时还需指定 `--label_nc N`。\n- 如果您的输入不是标签图，则只需指定 `--label_nc 0`，系统将直接使用 RGB 颜色作为输入。此时文件夹应命名为 `train_A`、`train_B`，而非 `train_label`、`train_img`，目标是将 A 类图像转换为 B 类图像。\n- 如果您没有实例图或不想使用它们，请指定 `--no_instance`。\n- 默认的预处理设置是 `scale_width`，它会将所有训练图像的宽度缩放到 `opt.loadSize`（1024），同时保持宽高比不变。如果您希望采用其他设置，可以使用 `--resize_or_crop` 选项进行调整。例如，`scale_width_and_crop` 会先将图像调整至 `opt.loadSize` 宽度，再随机裁剪为 `(opt.fineSize, opt.fineSize)` 大小。而 `crop` 则跳过缩放步骤，仅进行随机裁剪。若您不希望进行任何预处理，可指定 `none`，此时系统仅确保图像尺寸能被 32 整除。\n\n## 更多训练\u002F测试细节\n- 标志位：所有训练标志请参见 `options\u002Ftrain_options.py` 和 `options\u002Fbase_options.py`；所有测试标志请参见 `options\u002Ftest_options.py` 和 `options\u002Fbase_options.py`。\n- 实例图：我们同时接受标签图和实例图作为输入。如果您不想使用实例图，请指定 `--no_instance` 标志。\n\n## 引用\r\n\r\n如果您觉得本文对您的研究有帮助，请使用以下引用。\n\n```\n@inproceedings{wang2018pix2pixHD,\n  title={利用条件生成对抗网络进行高分辨率图像合成与语义操控},\n  author={王婷淳、刘明宇、朱俊彦、安德鲁·陶、扬·考茨、布莱恩·卡坦扎罗},  \n  booktitle={IEEE计算机视觉与模式识别会议论文集},\n  year={2018}\n}\n```\n\n\n## 致谢\n\n本代码大量借鉴了 [pytorch-CycleGAN-and-pix2pix](https:\u002F\u002Fgithub.com\u002Fjunyanz\u002Fpytorch-CycleGAN-and-pix2pix)。","# pix2pixHD 快速上手指南\n\npix2pixHD 是一个基于 PyTorch 的高分辨率（如 2048x1024）图像到图像翻译工具，主要用于将语义标签图转换为照片级真实图像，或从人脸标签图合成人像。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux 或 macOS\n*   **Python 版本**: Python 2 或 3\n*   **硬件要求**: NVIDIA GPU (显存 11GB 或以上) + CUDA cuDNN\n    *   *注：训练全分辨率 (2048x1024) 模型建议显存 24GB，或使用混合精度训练 (AMP) 降至 16GB。*\n*   **核心依赖**:\n    *   PyTorch (请访问 [pytorch.org](http:\u002F\u002Fpytorch.org) 安装适合您环境的版本)\n    *   `dominate` 库\n\n## 安装步骤\n\n1.  **安装 Python 依赖库**\n    ```bash\n    pip install dominate\n    ```\n    *(国内用户推荐使用清华源加速：`pip install dominate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`)*\n\n2.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\n    cd pix2pixHD\n    ```\n\n## 基本使用\n\n以下是最简单的测试流程，使用预训练的 Cityscapes 模型将标签图转换为街景图像。\n\n### 1. 下载预训练模型\n请下载预训练的 Cityscapes 模型 ([Google Drive 链接](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OR-2aEPHOxZKuoOV34DvQxreqGCSLcW9\u002Fview?usp=drive_link))，并将其放置在以下目录中：\n`.\u002Fcheckpoints\u002Flabel2city_1024p\u002F`\n\n*(注：如果无法访问 Google Drive，需自行寻找国内镜像源或手动下载后上传至服务器)*\n\n### 2. 运行测试脚本\n执行以下命令进行测试（默认使用 `datasets` 文件夹中的示例图片）：\n\n```bash\npython test.py --name label2city_1024p --netG local --ngf 32 --resize_or_crop none\n```\n\n### 3. 查看结果\n测试完成后，生成的图像和对比结果将保存在 HTML 文件中，请使用浏览器打开查看：\n`.\u002Fresults\u002Flabel2city_1024p\u002Ftest_latest\u002Findex.html`\n\n---\n*如需使用自己的数据集进行训练，请参考原文档 \"Training with your own dataset\" 章节准备标签图（单通道，像素值对应类别索引），并使用 `--label_nc N` 参数指定类别数量。*","某自动驾驶仿真团队需要快速构建大规模、高保真的城市街道训练数据，以优化感知算法在复杂路况下的表现。\n\n### 没有 pix2pixHD 时\n- **分辨率受限严重**：传统图像生成模型输出的图片往往模糊不清，无法达到自动驾驶所需的 2K（2048x1024）高清标准，导致远处交通标志和车道线细节丢失。\n- **人工绘制成本高昂**：为了获取带标注的真实感街景，美术人员需手动绘制或修图，生成一张高质量样本耗时数小时，难以满足百万级数据集的需求。\n- **场景编辑灵活性差**：若想调整道路布局或增加特定障碍物，必须重新建模渲染或大幅修改原图，无法通过简单的语义标签即时预览效果。\n- **真实感不足**：生成的图像纹理僵硬，光影效果不自然，导致基于合成数据训练的模型在真实世界中泛化能力弱，出现“域差距”问题。\n\n### 使用 pix2pixHD 后\n- **原生支持高分辨率**：pix2pixHD 直接生成 2048x1024 的 photorealistic 图像，清晰保留路面裂缝、植被纹理等微小细节，完美匹配高精度传感器仿真需求。\n- **自动化批量生产**：只需输入简单的语义分割标签图（Label Map），pix2pixHD 即可秒级将其转化为逼真街景，将数据生产周期从“小时级”缩短至“秒级”。\n- **交互式实时编辑**：开发人员可随意涂抹修改语义标签（如将人行道改为车道），pix2pixHD 能实时重绘出对应的高清画面，极大加速了极端工况（Corner Case）的构造。\n- **逼真的风格迁移**：借助条件生成对抗网络，pix2pixHD 生成的图像具备自然的光照和材质质感，显著缩小了仿真数据与真实数据的分布差异，提升模型训练效果。\n\npix2pixHD 通过将低成本的语义标签瞬间转化为超高清真实影像，彻底解决了自动驾驶领域高质数据稀缺与制作昂贵的核心瓶颈。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FNVIDIA_pix2pixHD_32fc7cb8.gif","NVIDIA","NVIDIA Corporation","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FNVIDIA_7dcf6000.png","",null,"https:\u002F\u002Fnvidia.com","https:\u002F\u002Fgithub.com\u002FNVIDIA",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",97,{"name":85,"color":86,"percentage":10},"Shell","#89e051",6945,1417,"2026-04-17T12:58:46","NOASSERTION",4,"Linux, macOS","必需 NVIDIA GPU。基础需求显存 11GB 或更大；训练全分辨率 (2048x1024) 需 24GB 显存，若使用混合精度 (AMP) 则需 16GB；若仅有 12GB 显存需使用特定裁剪脚本。未明确指定具体显卡型号或 CUDA 版本，但需安装 CUDA cuDNN。","未说明",{"notes":96,"python":97,"dependencies":98},"1. 训练全分辨率图像对显存要求极高，若无 24GB 显存建议使用混合精度训练或图像裁剪方案。2. 自定义数据集训练时，标签图需为单通道且像素值对应对象标签 (0 到 N-1)，并需指定 --label_nc 参数。3. 多 GPU 训练功能未经过充分测试，作者仅使用单 GPU 训练，使用时需谨慎。4. 默认预处理方式为缩放宽度至 1024 并保持纵横比。","Python 2 或 3",[99,100,101,102],"PyTorch","dominate","apex (可选，用于混合精度训练)","tensorflow (可选，用于查看 tensorboard 日志)",[35,15,14],[105,106,107,108,109,110,111,112,113],"gan","deep-learning","deep-neural-networks","pytorch","pix2pix","image-to-image-translation","generative-adversarial-network","computer-vision","computer-graphics","2026-03-27T02:49:30.150509","2026-04-18T14:25:45.731005",[117,122,127,132,137,142],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},39872,"使用自定义数据集训练时出现通道数量不匹配错误（RuntimeError: expected input to have X channels, but got Y channels）怎么办？","这通常是因为生成器网络的滤波器大小设置与输入图像尺寸不兼容。生成器网络通常使用 64 或 32 的滤波器大小，因此要求图像尺寸必须能被 32 整除。解决方法是调整 `--ngf` 参数：如果显存允许，建议使用 `--ngf 64`；如果显存不足或图像尺寸较小，可以尝试 `--ngf 32`。同时确保输入图像的宽和高都是 32 的倍数。例如，运行命令：`python train.py --name label2city_512p --label_nc 0 --no_instance --ngf 32`。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u002Fissues\u002F51",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},39873,"能否在使用预训练模型进行推理时添加 `--no_instance` 标志（即不使用实例图）？","不能直接混用。如果预训练模型是使用实例图（instance maps）训练的，那么在推理时必须提供实例图。如果尝试在推理时使用 `--no_instance` 标志，会导致部分网络层未初始化，生成的图像质量极差。若需要在没有实例图的情况下进行推理，必须重新训练模型或在现有模型基础上进行微调（finetune），并在训练时也加上 `--no_instance` 参数。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u002Fissues\u002F163",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},39874,"生成的图像中出现小的噪点斑块（如黑色方块或棋盘格伪影）是什么原因，如何解决？","这通常是由学习率过高或批量大小（batch size）过小导致的梯度爆炸引起的。当梯度在某些区域超出正常范围（低于 0 或高于 255）时，会导致卷积层产生棋盘格状的伪影。解决方法包括：1. 降低学习率；2. 增大批量大小（batch size）；3. 先在较低分辨率（如 512x512）下使用较大的 batch size 和较小的学习率训练，验证策略有效后再扩展到高分辨率（如 1024x1024）。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u002Fissues\u002F339",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},39875,"运行训练脚本时在创建网页目录后卡住（stuck at 'create web directory'）怎么办？","这个问题通常与 PyTorch 版本或特定的 GPU 硬件兼容性有关。解决方案包括：1. 更换 PyTorch 版本（例如从 0.4.1 升级或降级到稳定版本）；2. 尝试在不同的 GPU 上运行（有用户反馈在 Tesla K80 上卡住，但在 GeForce GTX 980 Ti 上正常）；3. 检查 CUDA 驱动版本是否与 PyTorch 兼容。建议优先尝试更新或重装 PyTorch。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u002Fissues\u002F75",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},39876,"在多 GPU 环境下训练时遇到 'forward() missing required positional arguments' 错误如何处理？","在多 GPU 模式下出现参数缺失错误通常意味着数据并行处理时输入张量的传递方式有问题。虽然具体修复可能需要修改代码，但可以尝试以下步骤排查：1. 添加 `--verbose` 参数运行以获取更详细的错误堆栈信息；2. 检查 `dataroot` 路径下的数据集格式是否符合多 GPU 加载要求；3. 确保所有指定的 `--gpu_ids` 均可被系统正确识别且显存充足。如果问题依旧，可能需要在源码的 `parallel_apply` 相关逻辑中调试输入参数的传递。","https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fpix2pixHD\u002Fissues\u002F23",{"id":143,"question_zh":144,"answer_zh":145,"source_url":121},39877,"如何确定生成器网络（Generator）的滤波器大小（ngf）与图像尺寸的关系？","生成器网络的第一层滤波器大小由 `--ngf` 参数决定（通常为 32 或 64）。为了保证网络结构正常工作，输入图像的宽度和高度必须能被该滤波器大小整除（通常要求能被 32 整除）。如果图像尺寸不能被 32 整除，会引发维度不匹配的错误。如果显存充足，推荐使用 `--ngf 64` 以获得更好的特征提取能力；若显存受限，可使用 `--ngf 32`，但务必调整图像尺寸使其满足整除条件。",[]]