[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-PITI-Synthesis--PITI":3,"tool-PITI-Synthesis--PITI":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":73,"owner_company":73,"owner_location":73,"owner_email":73,"owner_twitter":73,"owner_website":73,"owner_url":75,"languages":76,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":73,"oss_zip_packed_at":73,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":107},6224,"PITI-Synthesis\u002FPITI","PITI","PITI: Pretraining is All You Need for Image-to-Image Translation","PITI 是一个基于预训练技术的图像到图像翻译框架，旨在通过简单的架构实现高质量的图像生成。它主要解决了传统方法在跨任务泛化能力不足以及依赖复杂训练流程的问题，证明了“预训练即所需”的理念，只需利用强大的预训练模型，即可灵活应对从语义掩码生成真实图像、从草图还原照片等多种转换任务。\n\n该工具特别适合计算机视觉研究人员、AI 开发者以及需要快速验证图像合成效果的设计师使用。对于普通用户，PITI 也提供了便捷的在线演示和交互式界面，无需深厚代码背景即可体验将涂鸦或色块转化为逼真图片的过程。\n\nPITI 的核心技术亮点在于其通用性和多样性。它不再针对特定任务从头训练模型，而是直接迁移预训练模型的强大表征能力，不仅简化了部署流程，还能生成丰富多样的样本结果。框架支持基础生成与超分辨率上行采样两个阶段，允许用户通过调节参数控制生成效果的细节与风格。无论是学术研究中的算法对比，还是实际应用中的原型开发，PITI 都提供了一个高效、易用且效果出色的解决方案。","# PITI: Pretraining is All You Need for Image-to-Image Translation \nOfficial PyTorch implementation  \n> Pretraining is All You Need for Image-to-Image Translation    \n> [Tengfei Wang](https:\u002F\u002Ftengfei-wang.github.io\u002F), [Ting Zhang](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ftinzhan\u002F), [Bo Zhang](https:\u002F\u002Fbo-zhang.me\u002F), [Hao Ouyang](https:\u002F\u002Fken-ouyang.github.io\u002F), [Dong Chen](http:\u002F\u002Fwww.dongchen.pro\u002F), [Qifeng Chen](https:\u002F\u002Fcqf.io\u002F), [Fang Wen](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ffangwen\u002F)    \n> 2022\n    \n\n[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.12952) | [project website](https:\u002F\u002Ftengfei-wang.github.io\u002FPITI\u002Findex.html) | [video]() | [online demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftfwang\u002FPITI-Synthesis)\n\n## Introduction\nWe present a simple and universal framework that brings the power of the pretraining to various\nimage-to-image translation tasks.  You may try our [online demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftfwang\u002FPITI-Synthesis) if interested. \n\nDiverse samples synthesized by our approach.   \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPITI-Synthesis_PITI_readme_213656de1540.jpg\" height=\"380px\"\u002F>   \n\n\n## Set up\n### Installation\n```\ngit clone https:\u002F\u002Fgithub.com\u002FPITI-Synthesis\u002FPITI.git\ncd PITI\n```\n\n### Environment\n```\nconda env create -f environment.yml\n```\n\n## Quick Start\n### Pretrained Models\nPlease download our pre-trained models for both ```Base``` model and ```Upsample``` model, and put them in ```.\u002Fckpt```.\n| Model | Task  | Dataset\n| :--- | :----------  | :----------\n|[Base-64x64](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEVslpwvzHJxFviyd3bw6KSEBWQ9B9Oqd5xUlemo4BNcHpQ?e=F5450q)  | Mask-to-Image | Trained on COCO.\n|[Upsample-64-256](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FERPFM88nCR5Gna_i81cB_X4BgMyvkVE3uMX7R_w-LcSAEQ?e=EmL4fs) | Mask-to-Image | Trained on COCO.\n|[Base-64x64](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEQsQdJGrxaJDsDYFycIRTO4BNHdEOqZmO_QHSZVV23n5-g?e=I7FSlU) | Sketch-to-Image | Trained on COCO.\n|[Upsample-64-256](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEc5DDBQkILpMm5lO0UeytzIBCteefJ_izY9izg7IEHAM8Q?e=6IL7Og)| Sketch-to-Image  | Trained on COCO.\n\nIf you fail to access to these links, you may alternatively find our pretrained models [here](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEj0KKEFuje5NnYwaR3wob7YBsca1mBoozuCwCrzc16ra_g?e=COucC2). \n\n### Prepare Images\nWe put some example images in `.\u002Ftest_imgs`, and you can quickly try them.  \n#### COCO\nFor COCO dataset, download the images and annotations from the [COCO webpage](https:\u002F\u002Fcocodataset.org\u002F#home).\n\nFor mask-to-image synthesis, we use the semantic maps in RGB format as inputs. To obtain such semantic maps, run ```.\u002Fpreprocess\u002Fpreprocess_mask.py``` (an example of the raw mask and the processed mask is given in ```preprocess\u002Fexample```).  Note that we do not need instant masks like previous works. \n\nFor sketch-to-image synthesis, we use sketch maps extracted by HED as inputs. To obtain such sketch maps, run ```.\u002Fpreprocess\u002Fpreprocess_sketch.py```.\n\n\n### Inference\n#### Interactive Inference\nRun the following script, and it would create an interactive GUI built by gradio. You can upload input masks or sketches and generate images.   \n```\npip install gradio\npython inference.py\n```\n\n#### Batch Inference\nModify `sample.sh` according to the follwing instructions, and run:   \n```\nbash sample.sh\n```\n| Args | Description\n| :--- | :----------\n| --model_path | the path of ckpt for base model.\n| --sr_model_path | the path of ckpt for upsample model.\n| --val_data_dir | the path of a txt file that contains the paths for images.\n| --num_samples | number of images that you want to sample.\n| --sample_c | Strength of classifier-free guidance.\n| --mode | The input type.\n\n## Training\n### Preparation\n1. Download and preprocess datasets. For COCO dataset, download the images and annotations from the [COCO webpage](https:\u002F\u002Fcocodataset.org\u002F#home). Run ```.\u002Fpreprocess\u002Fpreprocess_mask.py``` or ```.\u002Fpreprocess\u002Fpreprocess_sketch.py```    \n2. Download pretrained models by ```python preprocess\u002Fdownload.py ```.\n\n### Start Training\nTaking mask-to-image synthesis as an example: (sketch-to-image is the same)\n#### Finetune the Base Model\nModify  `mask_finetune_base.sh`  and run:\n```\nbash mask_finetune_base.sh\n```\n#### Finetune the Upsample Model\nModify  `mask_finetune_upsample.sh`  and run:\n```\nbash mask_finetune_upsample.sh\n```\n## Citation\nIf you find this work useful for your research, please cite:\n\n``` \n@article{wang2022pretraining,\n title = {Pretraining is All You Need for Image-to-Image Translation},\n  author = {Wang, Tengfei and Zhang, Ting and Zhang, Bo and Ouyang, Hao and Chen, Dong and Chen, Qifeng and Wen, Fang},\n  journal={arXiv:2205.12952},\n  year = {2022},\n}\n```\n\n## Acknowledgement\nThanks for [GLIDE](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fglide-text2im) for sharing their code.\n","# PITI：预训练就是图像到图像翻译所需的一切\n官方 PyTorch 实现  \n> 预训练就是图像到图像翻译所需的一切    \n> [王腾飞](https:\u002F\u002Ftengfei-wang.github.io\u002F)、[张婷](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ftinzhan\u002F)、[张博](https:\u002F\u002Fbo-zhang.me\u002F)、[欧阳浩](https:\u002F\u002Fken-ouyang.github.io\u002F)、[陈栋](http:\u002F\u002Fwww.dongchen.pro\u002F)、[陈启峰](https:\u002F\u002Fcqf.io\u002F)、[温芳](https:\u002F\u002Fwww.microsoft.com\u002Fen-us\u002Fresearch\u002Fpeople\u002Ffangwen\u002F)    \n> 2022年\n    \n\n[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.12952) | [项目网站](https:\u002F\u002Ftengfei-wang.github.io\u002FPITI\u002Findex.html) | [视频]() | [在线演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftfwang\u002FPITI-Synthesis)\n\n## 简介\n我们提出了一种简单且通用的框架，将预训练的力量应用于各种图像到图像的翻译任务。如果您感兴趣，可以尝试我们的[在线演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Ftfwang\u002FPITI-Synthesis)。\n\n由我们的方法合成的多样化样本。   \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPITI-Synthesis_PITI_readme_213656de1540.jpg\" height=\"380px\"\u002F>   \n\n\n## 搭建环境\n### 安装\n```\ngit clone https:\u002F\u002Fgithub.com\u002FPITI-Synthesis\u002FPITI.git\ncd PITI\n```\n\n### 环境\n```\nconda env create -f environment.yml\n```\n\n## 快速入门\n### 预训练模型\n请下载我们的 ```Base``` 模型和 ```Upsample``` 模型的预训练权重，并将其放置在 ```.\u002Fckpt``` 目录下。\n| 模型 | 任务  | 数据集\n| :--- | :----------  | :----------\n|[Base-64x64](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEVslpwvzHJxFviyd3bw6KSEBWQ9B9Oqd5xUlemo4BNcIpQ?e=F5450q)  | 掩码到图像 | 在 COCO 数据集上训练。\n|[Upsample-64-256](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FERPFM88nCR5Gna_i81cB_X4BgMyvkVE3uMX7R_w-LcSAEQ?e=EmL4fs) | 掩码到图像 | 在 COCO 数据集上训练。\n|[Base-64x64](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEQsQdJGrxaJDsDYFycIRTO4BNHdEOqZmO_QHSZVV23n5-g?e=I7FSlU) | 草图到图像 | 在 COCO 数据集上训练。\n|[Upsample-64-256](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEc5DDBQkILpMm5lO0UeytzIBCteefJ_izY9izg7IEHAM8Q?e=6IL7Og)| 草图到图像  | 在 COCO 数据集上训练。\n\n如果无法访问这些链接，您也可以从[这里](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEj0KKEFuje5NnYwaR3wob7YBsca1mBoozuCwCrzc16ra_g?e=COucC2)获取我们的预训练模型。\n\n### 准备图像\n我们在 `.\u002Ftest_imgs` 中放置了一些示例图像，您可以快速试用它们。  \n#### COCO\n对于 COCO 数据集，您可以从[COCO 官网](https:\u002F\u002Fcocodataset.org\u002F#home)下载图像和标注文件。\n\n对于掩码到图像的合成，我们使用 RGB 格式的语义图作为输入。要获得这样的语义图，请运行 ```.\u002Fpreprocess\u002Fpreprocess_mask.py```（原始掩码和处理后的掩码示例位于 ```preprocess\u002Fexample``` 中）。请注意，我们不需要像之前的工作那样即时生成的掩码。\n\n对于草图到图像的合成，我们使用通过 HED 提取的草图作为输入。要获得这样的草图，请运行 ```.\u002Fpreprocess\u002Fpreprocess_sketch.py```。\n\n\n### 推理\n#### 交互式推理\n运行以下脚本，它将创建一个基于 Gradio 的交互式 GUI。您可以上传输入掩码或草图并生成图像。   \n```\npip install gradio\npython inference.py\n```\n\n#### 批量推理\n根据以下说明修改 `sample.sh`，然后运行：   \n```\nbash sample.sh\n```\n| 参数 | 描述\n| :--- | :----------\n| --model_path | 基础模型检查点的路径。\n| --sr_model_path | 上采样模型检查点的路径。\n| --val_data_dir | 包含图像路径的文本文件的路径。\n| --num_samples | 您希望采样的图像数量。\n| --sample_c | 无分类器指导的强度。\n| --mode | 输入类型。\n\n## 训练\n### 准备工作\n1. 下载并预处理数据集。对于 COCO 数据集，从[COCO 官网](https:\u002F\u002Fcocodataset.org\u002F#home)下载图像和标注文件。运行 ```.\u002Fpreprocess\u002Fpreprocess_mask.py``` 或 ```.\u002Fpreprocess\u002Fpreprocess_sketch.py```    \n2. 使用 ```python preprocess\u002Fdownload.py ``` 下载预训练模型。\n\n### 开始训练\n以掩码到图像合成为例：（草图到图像相同）\n#### 微调基础模型\n修改 `mask_finetune_base.sh` 并运行：\n```\nbash mask_finetune_base.sh\n```\n#### 微调上采样模型\n修改 `mask_finetune_upsample.sh` 并运行：\n```\nbash mask_finetune_upsample.sh\n```\n## 引用\n如果您发现这项工作对您的研究有帮助，请引用：\n\n``` \n@article{wang2022pretraining,\n title = {Pretraining is All You Need for Image-to-Image Translation},\n  author = {Wang, Tengfei and Zhang, Ting and Zhang, Bo and Ouyang, Hao and Chen, Dong and Chen, Qifeng and Wen, Fang},\n  journal={arXiv:2205.12952},\n  year = {2022},\n}\n```\n\n## 致谢\n感谢 [GLIDE](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fglide-text2im) 分享他们的代码。","# PITI 快速上手指南\n\nPITI (Pretraining is All You Need for Image-to-Image Translation) 是一个简单且通用的图像到图像翻译框架，支持从语义掩码（Mask）或草图（Sketch）生成高质量图像。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04+)\n*   **硬件要求**: NVIDIA GPU (建议显存 8GB 以上)，已安装 CUDA 驱动\n*   **前置依赖**:\n    *   Python 3.8+\n    *   Conda (推荐使用 Miniconda 或 Anaconda 管理环境)\n    *   Git\n\n## 安装步骤\n\n### 1. 克隆项目代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FPITI-Synthesis\u002FPITI.git\ncd PITI\n```\n\n### 2. 创建虚拟环境\n使用项目提供的配置文件一键安装依赖：\n```bash\nconda env create -f environment.yml\nconda activate PITI\n```\n> **提示**：如果 `environment.yml` 下载依赖较慢，可手动创建环境后，使用国内镜像源（如清华源）安装核心包：\n> `pip install torch torchvision torchaudio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 下载预训练模型\n本项目需要下载 **Base** (基础生成) 和 **Upsample** (超分放大) 两类模型。请将下载的 `.pt` 文件放入 `.\u002Fckpt` 目录。\n\n| 任务类型 | 模型类型 | 分辨率 | 下载链接 (需自行替换为可用源或原链接) |\n| :--- | :--- | :--- | :--- |\n| **Mask-to-Image** | Base | 64x64 | [下载链接](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEVslpwvzHJxFviyd3bw6KSEBWQ9B9Oqd5xUlemo4BNcHpQ?e=F5450q) |\n| **Mask-to-Image** | Upsample | 64->256 | [下载链接](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FERPFM88nCR5Gna_i81cB_X4BgMyvkVE3uMX7R_w-LcSAEQ?e=EmL4fs) |\n| **Sketch-to-Image** | Base | 64x64 | [下载链接](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEQsQdJGrxaJDsDYFycIRTO4BNHdEOqZmO_QHSZVV23n5-g?e=I7FSlU) |\n| **Sketch-to-Image** | Upsample | 64->256 | [下载链接](https:\u002F\u002Fhkustconnect-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Ftfwang_connect_ust_hk\u002FEc5DDBQkILpMm5lO0UeytzIBCteefJ_izY9izg7IEHAM8Q?e=6IL7Og) |\n\n*注：若上述链接无法访问，可尝试在项目的备用文件夹中查找。*\n\n## 基本使用\n\n### 方式一：交互式界面 (推荐新手)\n最简单的使用方式是启动 Gradio 网页界面，上传掩码或草图即可实时生成图像。\n\n1. 安装 gradio：\n```bash\npip install gradio\n```\n\n2. 运行推理脚本：\n```bash\npython inference.py\n```\n运行后终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器打开即可使用。\n\n### 方式二：命令行批量推理\n如需处理本地图片文件夹，可修改并运行 `sample.sh` 脚本。\n\n1. 编辑 `sample.sh`，确保以下参数路径正确：\n   - `--model_path`: Base 模型路径\n   - `--sr_model_path`: Upsample 模型路径\n   - `--val_data_dir`: 包含输入图片路径的 txt 文件\n   - `--mode`: 输入类型 (`mask` 或 `sketch`)\n\n2. 执行脚本：\n```bash\nbash sample.sh\n```\n\n### 数据预处理说明\n如果你使用自己的数据集（如 COCO），需要先进行预处理：\n*   **Mask-to-Image**: 运行 `.\u002Fpreprocess\u002Fpreprocess_mask.py` 将语义图转换为 RGB 格式输入。\n*   **Sketch-to-Image**: 运行 `.\u002Fpreprocess\u002Fpreprocess_sketch.py` 提取 HED 草图特征。\n\n项目已在 `.\u002Ftest_imgs` 目录下提供示例图片，可直接用于测试。","某游戏开发团队的美术设计师需要快速将粗糙的手绘草图或简单的语义掩码转化为高保真的游戏场景概念图，以加速迭代流程。\n\n### 没有 PITI 时\n- **训练成本高昂**：针对每种新的艺术风格（如赛博朋克或水墨风），团队都必须从头收集大量配对数据并重新训练模型，耗时数天甚至数周。\n- **生成多样性匮乏**：传统方法往往只能生成单一确定的结果，设计师难以通过同一张草图探索多种光影或材质搭配的可能性。\n- **细节表现力不足**：直接从低分辨率草图生成的图像往往模糊不清，缺乏纹理细节，后续还需人工精修或使用额外的超分工具处理。\n- **泛化能力弱**：在特定数据集上训练的模型很难迁移到未见过的物体类别或风格上，稍微改变输入格式就会导致生成失败。\n\n### 使用 PITI 后\n- **即插即用的高效预训练**：利用 PITI 强大的预训练特性，设计师无需重新训练，仅需少量样本微调或直接推理即可适配新风格，将准备时间从数周缩短至几分钟。\n- **丰富的多样化合成**：通过调节分类器自由引导强度（classifier-free guidance），PITI 能基于同一张草图瞬间生成多张风格迥异的高质量方案，极大激发创作灵感。\n- **端到端的高清输出**：PITI 内置的上采样模型（Upsample model）可直接将 64x64 的粗略输入转化为 256x256 甚至更高清的细节图，纹理清晰自然，省去后处理步骤。\n- **通用的跨任务能力**：无论是语义掩码转图像还是草图转图像，PITI 都能凭借统一的框架稳定处理，对未见过的物体类别也展现出极强的鲁棒性。\n\nPITI 通过“预训练即一切”的理念，将图像翻译任务从繁琐的定制化训练中解放出来，让创意验证变得即时且低成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FPITI-Synthesis_PITI_213656de.jpg","PITI-Synthesis",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FPITI-Synthesis_9f8e0f16.png","https:\u002F\u002Fgithub.com\u002FPITI-Synthesis",[77,81],{"name":78,"color":79,"percentage":80},"Python","#3572A5",97.2,{"name":82,"color":83,"percentage":84},"Shell","#89e051",2.8,503,26,"2026-03-29T05:04:52","MIT","未说明","需要 NVIDIA GPU (基于 PyTorch 和扩散模型特性推断，具体型号和显存未说明)",{"notes":92,"python":89,"dependencies":93},"1. 建议使用 conda 通过 environment.yml 文件创建环境。\n2. 推理前需手动下载预训练的 Base 和 Upsample 模型并放入 .\u002Fckpt 目录。\n3. 若使用 COCO 数据集，需自行下载图片与标注，并运行预处理脚本生成语义图或草图。\n4. 支持交互式推理 (Gradio GUI) 和批量推理。",[94,95,96],"PyTorch","conda","gradio",[35,14,15],[99,100,101,102,103],"computer-vision","image-generation","image-synthesis","image-to-image-translation","pretraining","2026-03-27T02:49:30.150509","2026-04-10T20:34:14.631161",[],[]]