[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-zai-org--CogView":3,"tool-zai-org--CogView":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":103,"github_topics":104,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":142},5419,"zai-org\u002FCogView","CogView","Text-to-Image generation. The repo for NeurIPS 2021 paper \"CogView: Mastering Text-to-Image Generation via Transformers\".","CogView 是一款基于 Transformer 架构的开源人工智能模型，专为将文字描述转化为生动图像而设计。它主要解决了创意可视化过程中“从抽象文本到具体画面”的生成难题，尤其擅长理解并绘制中文语境下的复杂场景，让用户只需输入文字即可获取高质量配图。\n\n这款工具非常适合研究人员探索多模态生成技术，开发者构建定制化应用，以及设计师和普通用户快速实现创意构思。对于希望尝试英文输入的用户，虽然模型原生支持中文，但通过翻译也能获得良好效果。\n\n在技术层面，CogView 拥有高达 40 亿参数规模，采用了独特的 PB-relax 和 Sandwich-LN 技术。这些创新不仅显著提升了大型深度变压器模型的训练稳定性，有效消除了数值溢出（NaN）等常见问题，还确保了生成图像的细腻度与多样性。作为 NeurIPS 2021 的接收论文成果，CogView 提供了预训练模型、详细的部署指南及 Docker 环境支持，降低了使用门槛，是中文文生图领域具有里程碑意义的开源项目。","\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_357d51656230.png\"\u002F>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cb>Generate vivid Images for \u003Ci>Any\u003C\u002Fi> (Chinese) text\u003C\u002Fb>\n\u003C\u002Fp>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_d0d1a9541bbd.png)\n\n**News!** The paper of ImageReward is accepted by NeurIPS 2023!\n\n**News!** The codes of ImageReward ([paper link](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.05977.pdf)) have been released at https:\u002F\u002Fgithub.com\u002FTHUDM\u002FImageReward! ImageReward is the first general-purpose text-to-image human preference RM.\n\n**News!** The codes of CogView2 ([paper link](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2105.13290.pdf)) have been released at https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogView2! \n\n**News!** The [demo](https:\u002F\u002Fagc.platform.baai.ac.cn\u002FCogView\u002Findex.html) for a better and faster CogView2 (formal version, March 2022) is available! The lastest model also supports English input, but to translate them into Chinese often could be better.\n\n**News!** The [demo](https:\u002F\u002Fagc.platform.baai.ac.cn\u002FCogView\u002Findex.html) for a better and faster CogView2 (new version) is available!\n\n**News!** The paper of CogView is accepted by NeurIPS 2021! \n\nCogView is a pretrained (4B-param) transformer for text-to-image generation in general domain.\n\n* **Read** our paper [CogView: Mastering Text-to-Image Generation via Transformers](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2105.13290.pdf) on ArXiv for a formal introduction. The *PB-relax* and *Sandwich-LN* can also help you train large and deep transformers stably (e.g. eliminating NaN losses).\n* **Visit** our demo at [Github Page](https:\u002F\u002Fthudm.github.io\u002FCogView\u002Findex.html) or [Wudao](https:\u002F\u002Fwudao.aminer.cn\u002FCogView\u002F)! (Without post-selection or super-resolution, currently only supports simplified Chinese input, but one can translate text from other languages into Chinese for input. Note: *Wudao* provides faster access for users from China mainland.)\n* **Download** our pretrained models from [Tsinghua Cloud](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002Fdf21f6d4109b4285bfd9\u002F?dl=1).\n* **Cite** our paper if you find our work is helpful~ \n```\n@article{ding2021cogview,\n  title={CogView: Mastering Text-to-Image Generation via Transformers},\n  author={Ding, Ming and Yang, Zhuoyi and Hong, Wenyi and Zheng, Wendi and Zhou, Chang and Yin, Da and Lin, Junyang and Zou, Xu and Shao, Zhou and Yang, Hongxia and Tang, Jie},\n  journal={arXiv preprint arXiv:2105.13290},\n  year={2021}\n```\n* **Google Colab** Two contributors successfully setup up CogView on Colab [![Links to Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogView\u002Fissues\u002F10)! \n## Getting Started\n### Setup\n* Hardware: Linux servers with Nvidia V100s or A100s are recommended, but it is also okay to run the pretrained models with smaller `--max-inference-batch-size` or training smaller models on less powerful GPUs.\n* Environment (Option 1): Please first install PyTorch (>=1.7.0) and [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex), and then install other dependencies via `pip install -r requirements.txt`.\n\n* Environment (Option 2): We prepare a docker image in case that you fail to handle the environments. Pull the image, create a (background) container and get into it via:\n    ```\n    docker pull cogview\u002Fcuda111_torch181_deepspeed040\n    .\u002Fenv\u002Fstart_docker.sh && docker exec -it bg-cogview bash\n    \n    cd \u002Froot\u002Fcogview # in the container\n    ```\n\n### Download\n0. Download the image tokenizer `vqvae_hard_biggerset_011.pt` from [BAAI website](https:\u002F\u002Fresource.wudaoai.cn\u002Fhome?ind=2&name=WuDao%20WenHui&id=1399364355975327744) or Tsinghua Cloud. Place the file under `pretrained\u002Fvqvae`.\n```\nwget 'https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F71607a5dca69417baa8c\u002F?dl=1' -O pretrained\u002Fvqvae\u002Fvqvae_hard_biggerset_011.pt\n```\n1. Download models from [Project Wudao-Wenhui](https:\u002F\u002Fresource.wudaoai.cn\u002Fhome?ind=2&name=WuDao%20WenHui&id=1399364355975327744). \n    |  FileName   | Discription  |\n    |  ----  | ----  |\n    | cogview-base.tar | The pretrained text-to-image model. |\n    | cogview-caption.tar | Finetuned image-to-text model, also used for reranking. |\n    | cogview-sr.tar | Finetuned super-resolution model. (warning: it runs slow.) |\n\n    Uncompress them into `pretrained\u002Fcogview\u002F`. The following command should be modified based on the model name.\n    ```\n    tar -xvf cogview-{base, sr, caption}.tar -C pretrained\u002Fcogview\u002F\n    ```\n2. (Only for training tutorial, skip it for inference.) Download a small \"bird-and-animal\" example dataset from our link at Tsinghua Cloud.\n```\nwget https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F1e4963ec8ac84941ba68\u002F?dl=1 -O data\u002Fbird_animal.bin\n```\n\n### Run CogView! (Model Inference)\nWe encapsulate the generation functions into scripts. See `generate_samples.py` and `arguments.py` for details.\n\n#### Text-to-Image Generation\nWrite text queries (one per line) into `input.txt` and run:\n```\n.\u002Fscripts\u002Ftext2image.sh --debug\n```\nThe results will in a new folder `samples_text2image\u002F`.\n\nArguments useful in inference are mainly:\n* `--input-source [path or \"interactive\"]`. The path of the input file, can also be \"interactive\", which will launch a CLI.\n* `--output-path [path]`. The folder containing the results.\n* `--batch-size [int]`. The number of samples will be generated per query.\n* `--max-inference-batch-size [int]`. Maximum batch size per forward. Reduce it if OOM. \n* `--debug`. Only save concatenated images for all generated samples, and name them by input text and date. \n* `--with-id`. When it toggled, you must specify an \"id\" before each input, e.g. `001\\t一个漂亮的女孩`, \\t denoting TAB (**NOT space**). It will generate `batch-size` split images in a folder named \"id\" for each input. Confict with `--debug`.\n* `--device [int]`. Running on which GPU. \n\n#### Super-resolution\nRun the following script and input `text\\t{image_path}`, where `{image_path}` means the path of a previously generated image.\n```\n.\u002Fscripts\u002Fsuper_resolution.sh\n```\nNote: *It is only effective for generated images from our Image Tokenizer (due to the token distribution).*\n\n#### Image-to-Text\nThe input is \"one image path per line\", and will print the results to stdout.\n```\n.\u002Fscripts\u002Fimage2text.sh\n``` \nNote: *Not optimized for this task, so it might not very competitive (but okay). We will consider to release a version funetuning for a longer period on this task in the future.* (*TODO*)\n\n#### Post-selection\nThis application only takes file inputs, where each line is `{text}\\t{image_path1}\\t{image_path2}\\t{image_path3}...`.\nThe output is `{output_path}\u002Fscores.txt`, a line of a list of scores, following a line from inputs.\n```\n.\u002Fscripts\u002Fpost_selection.sh\n```\n\nNote: *In the released codes, for simplicity, we did not expose the raw API , which supports some advanced generation modes, e.g. text and part of image.*\n\n## Training\nHere we use a subset of our dataset from bird-and-animal for tutorial. The binary dataset is generated by our [cogdata toolkit](https:\u002F\u002Fgithub.com\u002FSleepychord\u002Fcogdata). Please wait for a formal release with tutorials of cogdata (although it is available now).\n### Single Node \nAfter downloading the dataset, directly run\n```\n.\u002Fscripts\u002Fpretrain_single_node.sh\n```\n### Multiple Nodes \nIf you want to train the models on multiple servers inter-connected by infiniband without a shared file system (you may need `pdsh` to accelerate this process):\n1. On **each** server, use `git clone` to download this repo, and make sure the data (LMDB format) are moved into the `data` subfolder. \n2. On **each** server, `echo \"ip1 ip2 \u003Cother IPs>\" > .\u002Fdocker\u002Fip_list.txt`, and then start the docker by `.\u002Fenv\u002Fstart_docker.sh`.\n3. Get into **the docker on the first node** container via `docker exec -it bg-cogview bash`.\n4. Get into `\u002Froot\u002Fcogview` and run `.\u002Fscripts\u002Fpretrain_multiple_nodes.sh`. You may need to change the config (especially `OPTIONS_NCCL`) in the shell script.\n\nSee the `arguments.py` for advanced functions for training.\n*TODO*\n\n## Gallery\n![more_samples](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_75cc1a547f40.png)\n","\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_357d51656230.png\"\u002F>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n\u003Cb>为\u003Ci>任何\u003C\u002Fi>（中文）文本生成生动的图像\u003C\u002Fb>\n\u003C\u002Fp>\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_d0d1a9541bbd.png)\n\n**最新消息！** ImageReward 的论文已被 NeurIPS 2023 接收！\n\n**最新消息！** ImageReward 的代码（[论文链接](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.05977.pdf)）已在 https:\u002F\u002Fgithub.com\u002FTHUDM\u002FImageReward 上发布！ImageReward 是首个通用的文本到图像人类偏好 RM。\n\n**最新消息！** CogView2 的代码（[论文链接](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2105.13290.pdf)）已在 https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogView2 上发布！\n\n**最新消息！** 更好、更快的 CogView2（正式版，2022年3月）的[演示](https:\u002F\u002Fagc.platform.baai.ac.cn\u002FCogView\u002Findex.html)现已上线！最新模型也支持英文输入，但通常将其翻译成中文会得到更好的效果。\n\n**最新消息！** 更好、更快的 CogView2（新版本）的[演示](https:\u002F\u002Fagc.platform.baai.ac.cn\u002FCogView\u002Findex.html)现已上线！\n\n**最新消息！** CogView 的论文已被 NeurIPS 2021 接收！\n\nCogView 是一个预训练的（4B参数）Transformer 模型，用于通用领域的文本到图像生成。\n\n* **阅读** 我们的论文 [CogView: 通过 Transformer 掌握文本到图像生成](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2105.13290.pdf) 以获得正式介绍。*PB-relax* 和 *Sandwich-LN* 也有助于稳定地训练大型和深层 Transformer（例如消除 NaN 损失）。\n* **访问** 我们的演示页面：[Github 页面](https:\u002F\u002Fthudm.github.io\u002FCogView\u002Findex.html) 或 [Wudao](https:\u002F\u002Fwudao.aminer.cn\u002FCogView\u002F)！（目前不进行后选或超分辨率处理，仅支持简体中文输入，但用户可以将其他语言的文本翻译成中文后再输入。注意：*Wudao* 为中国大陆用户提供更快速的访问。）\n* **下载** 我们的预训练模型，请访问 [清华大学云](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002Fdf21f6d4109b4285bfd9\u002F?dl=1)。\n* **引用** 我们的论文，如果您觉得我们的工作有所帮助：\n```\n@article{ding2021cogview,\n  title={CogView: Mastering Text-to-Image Generation via Transformers},\n  author={Ding, Ming and Yang, Zhuoyi and Hong, Wenyi and Zheng, Wendi and Zhou, Chang and Yin, Da and Lin, Junyang and Zou, Xu and Shao, Zhou and Yang, Hongxia and Tang, Jie},\n  journal={arXiv preprint arXiv:2105.13290},\n  year={2021}\n```\n* **Google Colab** 两位贡献者已成功在 Colab 上搭建了 CogView [![Colab 链接](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogView\u002Fissues\u002F10)！\n## 入门指南\n### 环境搭建\n* 硬件：建议使用配备 Nvidia V100 或 A100 显卡的 Linux 服务器，但也可以使用较小的 `--max-inference-batch-size` 来运行预训练模型，或者在性能较弱的 GPU 上训练小型模型。\n* 环境（选项 1）：请先安装 PyTorch（>=1.7.0）和 [apex](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex)，然后通过 `pip install -r requirements.txt` 安装其他依赖项。\n\n* 环境（选项 2）：我们准备了一个 Docker 镜像，以防您无法正确配置环境。拉取镜像并创建后台容器后进入：\n    ```\n    docker pull cogview\u002Fcuda111_torch181_deepspeed040\n    .\u002Fenv\u002Fstart_docker.sh && docker exec -it bg-cogview bash\n    \n    cd \u002Froot\u002Fcogview # 在容器内\n    ```\n\n### 下载\n0. 从 [BAAI 网站](https:\u002F\u002Fresource.wudaoai.cn\u002Fhome?ind=2&name=WuDao%20WenHui&id=1399364355975327744) 或清华大学云下载图像分词器 `vqvae_hard_biggerset_011.pt`。将文件放置在 `pretrained\u002Fvqvae` 目录下。\n```\nwget 'https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F71607a5dca69417baa8c\u002F?dl=1' -O pretrained\u002Fvqvae\u002Fvqvae_hard_biggerset_011.pt\n```\n1. 从 [Project Wudao-Wenhui](https:\u002F\u002Fresource.wudaoai.cn\u002Fhome?ind=2&name=WuDao%20WenHui&id=1399364355975327744) 下载模型。\n    | 文件名   | 描述  |\n    |  ----  | ----  |\n    | cogview-base.tar | 预训练的文本到图像模型。 |\n    | cogview-caption.tar | 微调后的图像到文本模型，也用于重新排序。 |\n    | cogview-sr.tar | 微调后的超分辨率模型。（警告：运行速度较慢。） |\n\n    将它们解压到 `pretrained\u002Fcogview\u002F` 目录中。以下命令需根据模型名称进行调整。\n    ```\n    tar -xvf cogview-{base, sr, caption}.tar -C pretrained\u002Fcogview\u002F\n    ```\n2. （仅适用于训练教程，推理时可跳过。）从我们在清华大学云上的链接下载一个小的“鸟类与动物”示例数据集。\n```\nwget https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F1e4963ec8ac84941ba68\u002F?dl=1 -O data\u002Fbird_animal.bin\n```\n\n### 运行 CogView！（模型推理）\n我们将生成函数封装成了脚本。详细信息请参阅 `generate_samples.py` 和 `arguments.py`。\n\n#### 文本到图像生成\n将文本查询（每行一条）写入 `input.txt`，然后运行：\n```\n.\u002Fscripts\u002Ftext2image.sh --debug\n```\n结果将保存在新的文件夹 `samples_text2image\u002F` 中。\n\n推理时常用的参数主要有：\n* `--input-source [路径或 \"interactive\"]`。输入文件的路径，也可以设置为“interactive”，此时会启动一个命令行界面。\n* `--output-path [路径]`。保存结果的文件夹。\n* `--batch-size [整数]`。每次查询生成的样本数量。\n* `--max-inference-batch-size [整数]`。每次前向传播的最大批量大小。如果出现内存不足问题，请适当降低该值。\n* `--debug`。仅保存所有生成样本的拼接图像，并按输入文本和日期命名。\n* `--with-id`。启用此选项时，必须在每个输入前指定一个“id”，例如 `001\\t一个漂亮的女孩`，其中 `\\t` 表示制表符（**不是空格**）。它会为每个输入生成一个名为“id”的文件夹，里面包含 `batch-size` 张分割图像。此选项与 `--debug` 冲突。\n* `--device [整数]`。指定使用的 GPU 编号。\n\n#### 超分辨率\n运行以下脚本，并输入 `text\\t{image_path}`，其中 `{image_path}` 是之前生成的图像路径。\n```\n.\u002Fscripts\u002Fsuper_resolution.sh\n```\n注意：*此功能仅对由我们的图像分词器生成的图像有效（由于标记分布的原因）。*\n\n#### 图像到文本\n输入格式为“每行一个图像路径”，结果将打印到标准输出。\n```\n.\u002Fscripts\u002Fimage2text.sh\n``` \n注意：*该模型并未针对此任务进行优化，因此可能竞争力不足（但尚可接受）。未来我们将考虑发布一个在此任务上长期微调的版本。*（待办事项）\n\n#### 后选\n此应用仅接受文件输入，每行格式为 `{text}\\t{image_path1}\\t{image_path2}\\t{image_path3}...`。\n输出为 `{output_path}\u002Fscores.txt`，每一行对应输入的一行，并列出相应的分数。\n```\n.\u002Fscripts\u002Fpost_selection.sh\n```\n\n注意：*在发布的代码中，为了简化起见，我们并未公开原始 API，而该 API 支持一些高级生成模式，例如文本和部分图像的结合。*\n\n## 训练\n在这里，我们使用来自鸟兽数据集的一个子集作为教程材料。二进制数据集是由我们的 [cogdata 工具包](https:\u002F\u002Fgithub.com\u002FSleepychord\u002Fcogdata) 生成的。请耐心等待 cogdata 的正式发布及其相关教程（尽管目前已有可用版本）。\n\n### 单节点\n下载数据集后，直接运行：\n```\n.\u002Fscripts\u002Fpretrain_single_node.sh\n```\n### 多节点\n如果你想在通过 InfiniBand 互连的多台服务器上训练模型，且没有共享文件系统（你可能需要 `pdsh` 来加速这一过程）：\n1. 在**每台**服务器上，使用 `git clone` 克隆本仓库，并确保将数据（LMDB 格式）移至 `data` 子文件夹中。\n2. 在**每台**服务器上，执行 `echo \"ip1 ip2 \u003C其他IP>\" > .\u002Fdocker\u002Fip_list.txt`，然后通过 `.\u002Fenv\u002Fstart_docker.sh` 启动 Docker 容器。\n3. 使用 `docker exec -it bg-cogview bash` 进入**第一节点的 Docker 容器**。\n4. 进入 `\u002Froot\u002Fcogview` 目录，运行 `.\u002Fscripts\u002Fpretrain_multiple_nodes.sh`。你可能需要修改该 Shell 脚本中的配置（尤其是 `OPTIONS_NCCL`）。\n\n有关训练的高级功能，请参阅 `arguments.py`。\n*待办*\n\n## 图库\n![更多样本](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_readme_75cc1a547f40.png)","# CogView 快速上手指南\n\nCogView 是一个基于 Transformer 的预训练文本生成图像模型（40 亿参数），支持通过中文描述生成生动图像。本指南将帮助您快速在本地部署并运行该模型。\n\n## 环境准备\n\n### 系统要求\n*   **操作系统**：Linux\n*   **GPU**：推荐 Nvidia V100 或 A100。显存较小的显卡可通过减小 `--max-inference-batch-size` 参数运行。\n*   **软件依赖**：\n    *   PyTorch >= 1.7.0\n    *   NVIDIA Apex\n\n### 前置依赖安装\n请确保已安装 CUDA 驱动。随后安装 PyTorch 和 Apex，最后安装其他 Python 依赖：\n\n```bash\n# 安装 PyTorch (请参考 pytorch.org 选择对应 CUDA 版本的命令)\n# 安装 Apex\ngit clone https:\u002F\u002Fgithub.com\u002FNVIDIA\u002Fapex\ncd apex\npip install -v --no-cache-dir .\u002F\n\n# 返回项目根目录后安装其他依赖\npip install -r requirements.txt\n```\n\n> **提示**：如果环境配置困难，推荐使用官方提供的 Docker 镜像（见下文安装步骤选项二）。\n\n## 安装步骤\n\n### 1. 获取代码\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FTHUDM\u002FCogView.git\ncd CogView\n```\n\n### 2. 环境配置（二选一）\n\n**选项一：本地环境**\n完成上述“环境准备”中的依赖安装即可。\n\n**选项二：Docker 环境（推荐）**\n拉取预构建镜像并启动容器：\n```bash\ndocker pull cogview\u002Fcuda111_torch181_deepspeed040\n.\u002Fenv\u002Fstart_docker.sh && docker exec -it bg-cogview bash\ncd \u002Froot\u002Fcogview\n```\n\n### 3. 下载模型权重\n国内用户推荐使用清华云盘或悟道平台加速下载。\n\n**步骤 3.1：下载图像分词器 (VQVAE)**\n```bash\nmkdir -p pretrained\u002Fvqvae\nwget 'https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002F71607a5dca69417baa8c\u002F?dl=1' -O pretrained\u002Fvqvae\u002Fvqvae_hard_biggerset_011.pt\n```\n\n**步骤 3.2：下载主模型**\n从 [清华云盘](https:\u002F\u002Fcloud.tsinghua.edu.cn\u002Ff\u002Fdf21f6d4109b4285bfd9\u002F?dl=1) 或 [悟道平台](https:\u002F\u002Fresource.wudaoai.cn\u002Fhome?ind=2&name=WuDao%20WenHui&id=1399364355975327744) 下载以下文件：\n*   `cogview-base.tar` (文生图主模型)\n*   `cogview-caption.tar` (图生文\u002F重排序模型，可选)\n*   `cogview-sr.tar` (超分辨率模型，可选，推理较慢)\n\n将下载的 `.tar` 文件解压到 `pretrained\u002Fcogview\u002F` 目录：\n```bash\nmkdir -p pretrained\u002Fcogview\ntar -xvf cogview-base.tar -C pretrained\u002Fcogview\u002F\n# 如需超分功能，继续解压\n# tar -xvf cogview-sr.tar -C pretrained\u002Fcogview\u002F\n```\n\n## 基本使用\n\n### 文生图 (Text-to-Image)\n\n这是最常用的功能。您需要准备一个输入文件，每行包含一段中文描述。\n\n1.  **创建输入文件** `input.txt`：\n    ```text\n    一只在草地上奔跑的金色 retriever 犬\n    赛博朋克风格的城市夜景，霓虹灯闪烁\n    ```\n\n2.  **运行生成脚本**：\n    ```bash\n    .\u002Fscripts\u002Ftext2image.sh --debug\n    ```\n    *   `--debug`：将生成的所有图片拼接保存，方便预览。\n    *   结果将保存在 `samples_text2image\u002F` 文件夹中。\n\n3.  **常用参数说明**：\n    *   `--input-source \"interactive\"`：跳过文件，直接进入命令行交互模式输入提示词。\n    *   `--batch-size [int]`：每个提示词生成的图片数量。\n    *   `--max-inference-batch-size [int]`：单次前向传播的最大批次大小。**若遇到显存不足 (OOM)，请减小此数值**。\n    *   `--device [int]`：指定使用的 GPU ID。\n\n### 超分辨率 (Super-Resolution)\n\n对 CogView 生成的低分辨率图像进行高清化处理。\n\n1.  准备输入文件，格式为：`文本描述\u003CTAB>图片路径`。\n2.  运行脚本：\n    ```bash\n    .\u002Fscripts\u002Fsuper_resolution.sh\n    ```\n    *注意：该功能仅对由 CogView 自身生成的图像效果最佳。*\n\n### 交互式命令行示例\n\n如果您想直接测试而不创建文件，可以使用交互模式：\n\n```bash\n.\u002Fscripts\u002Ftext2image.sh --input-source interactive --debug\n```\n启动后，直接在终端输入中文提示词并回车即可看到生成结果。","一家专注于中国神话故事改编的独立游戏工作室，正急需为剧本中大量独特的神兽与场景概念快速生成视觉参考图。\n\n### 没有 CogView 时\n- **语言隔阂导致细节丢失**：团队需用英文描述“九尾狐在云雾缭绕的青城山起舞”，翻译过程常丢失“青城山”特有的道教韵味或“九尾”的具体形态特征。\n- **外包沟通成本高昂**：向画师反复修改需求以匹配中文意境，单张概念图确认周期长达数天，严重拖慢原型开发进度。\n- **通用模型水土不服**：使用国外主流模型生成中国风内容时，服饰纹样、建筑风格常出现文化错误（如汉服混搭和服元素），无法直接使用。\n- **创意迭代受限**：因绘图成本高，策划不敢随意尝试“赛博朋克版孙悟空”等大胆构思，导致创意方案单一。\n\n### 使用 CogView 后\n- **原生中文理解精准**：直接输入“水墨风格的饕餮纹青铜鼎”，CogView 能准确识别生僻神兽名称与中国传统艺术风格，还原度极高。\n- **即时可视化加速决策**：策划人员在会议中实时输入描述，几分钟内即可产出多版高质量草图，当场确定美术方向，将迭代周期从几天缩短至几小时。\n- **文化元素地道呈现**：模型基于海量中文数据训练，生成的建筑飞檐、人物衣褶等细节符合东方审美，大幅减少后期修正工作。\n- **激发无限创意可能**：零成本试错让团队能迅速验证“山海经怪兽现代都市化”等新奇点子，显著丰富了游戏的世界观设计。\n\nCogView 通过原生支持中文的高精度文生图能力，彻底打破了语言与文化壁垒，让中国本土创作者能以极低门槛将文字创意瞬间转化为高质量视觉资产。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzai-org_CogView_d0d1a954.png","zai-org","Z.ai","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fzai-org_f0d5ae80.png","ChatGLM, GLM-4.5, CogVLM, CodeGeeX, CogView, CogVideoX | CogDL, AMiner | Zhipu.ai (Z.ai)",null,"Zai_org","https:\u002F\u002Fwww.zhipuai.cn\u002Fen","https:\u002F\u002Fgithub.com\u002Fzai-org",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",97.5,{"name":86,"color":87,"percentage":88},"Shell","#89e051",2.5,1800,180,"2026-04-05T13:28:45","Apache-2.0","Linux","必需 NVIDIA GPU，推荐 V100 或 A100；低配显卡需减小 --max-inference-batch-size 运行；Docker 镜像基于 CUDA 11.1","未说明",{"notes":97,"python":98,"dependencies":99},"官方推荐使用 Linux 服务器配合 NVIDIA V100\u002FA100 显卡。若环境配置困难，可使用提供的 Docker 镜像 (cogview\u002Fcuda111_torch181_deepspeed040)。推理时若显存不足 (OOM)，需调小 --max-inference-batch-size 参数。模型输入主要支持简体中文，其他语言建议先翻译为中文。需手动下载预训练模型文件 (vqvae 及 cogview-base\u002Fsr\u002Fcaption) 至指定目录方可运行。","未说明 (依赖 PyTorch >=1.7.0)",[100,101,102],"torch>=1.7.0","apex","deepspeed==0.4.0",[15,14,35],[105,106,107,108],"text-to-image","transformers","pretrained-models","pytorch","2026-03-27T02:49:30.150509","2026-04-08T14:25:10.298879",[112,117,122,127,132,137],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},24595,"在 Colab 上运行超分辨率（super-res）时遇到 'IndexError: tuple index out of range' 错误怎么办？","该错误通常是因为输入文本无法被制表符（\\t）分割成两部分。代码尝试执行 `query_template.format(*text.split('\\t'))`，如果分割后的列表元素数量少于模板所需的占位符数量，就会报错。请检查你的输入文本格式，确保包含正确的制表符分隔符。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F18",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},24596,"非中国用户（如巴西用户）无法通过手机号注册吴道 AI (WudaoAI) 下载模型怎么办？","由于地区限制导致无法注册时，社区用户已分享了模型的 Torrent 种子文件作为替代下载方式。此外，也有用户提供了可以直接在 Google Colab 中使用的笔记本链接，无需手动下载模型即可进行推理测试。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F11",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},24597,"官方提供的 Colab 笔记本无法下载模型文件或单元格内容为空怎么办？","如果遇到模型文件（如 cogview_base.tar）无法下载，可能是因为托管源（如 the-eye.eu）暂时离线或已关闭。此时可以寻找社区提供的备份链接。另外，如果在移动设备上打开正在运行的笔记本导致单元格清空，这是 Colab 的一个已知问题，建议查找其他用户分享的备份笔记本版本（例如 2021 年 8 月的备份）。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F10",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},24598,"在 Colab 运行时遇到 'ModuleNotFoundError: No module named apex' 错误如何解决？","这是因为缺少 NVIDIA Apex 库。虽然维护者表示不熟悉 Colab 的具体构建细节，但解决方案是在 Colab 环境中手动安装 Apex。通常需要在代码单元格中运行安装命令（例如从 GitHub 源码安装），确保在安装后再运行推理脚本。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F35",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},24599,"在 Tesla T4 或显存较低的 GPU 上运行 Text-to-Image 时出现 'Out of memory' (OOM) 错误如何优化？","针对显存不足的问题，可以尝试改变模型加载策略以避免重复占用内存。建议在 CPU 上加载检查点，转换为半精度（half），然后再移动到 CUDA。参考代码片段如下：\n1. `checkpoint = torch.load(path, map_location=torch.device('cpu'))`\n2. `model.load_state_dict(checkpoint[\"module\"])`\n3. `model = model.half().cuda()`\n注意：单张 16GB 显存的 V100 配合较小的主机内存可能仍难以运行完整模型，Colab 的资源分配也具有随机性。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F14",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},24600,"论文中报告的 DM-GAN FID 分数与官方仓库结果不一致的原因是什么？","如果发现复现结果（如 26.54）与论文报告值（如 26.0）有细微差异，这通常涉及具体的评估设置或数据处理细节。此类关于评估指标的具体疑问，建议直接通过论文中提供的邮箱地址联系作者获取详细解释。","https:\u002F\u002Fgithub.com\u002Fzai-org\u002FCogView\u002Fissues\u002F38",[]]