[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-VITA-MLLM--Woodpecker":3,"tool-VITA-MLLM--Woodpecker":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":78,"difficulty_score":89,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":105,"github_topics":106,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":114,"updated_at":115,"faqs":116,"releases":152},1411,"VITA-MLLM\u002FWoodpecker","Woodpecker","✨✨Woodpecker: Hallucination Correction for Multimodal Large Language Models","Woodpecker 是一款专为多模态大语言模型（MLLM）设计的“幻觉矫正”工具。在多模态场景中，模型常会出现“幻觉”，即生成的文字描述与图片实际内容不符，这一直是制约技术可靠性的关键难题。与传统方法需要重新训练模型不同，Woodpecker 创新性地提出了一种无需训练的后期修正方案。它像啄木鸟治愈树木一样，通过关键概念提取、问题构建、视觉知识验证、主张生成及最终矫正五个阶段，精准识别并修复文本中的错误信息。\n\n该工具的最大亮点在于其“即插即用”的特性与高度的可解释性。它不需要用户耗费算力微调模型，即可直接适配 LLaVA、MiniGPT-4、mPLUG-Owl 等多种主流基座模型。实验数据显示，在 POPE 基准测试中，Woodpecker 能将现有模型的准确率提升约 24% 至 30%，显著增强了输出的可信度。\n\nWoodpecker 非常适合 AI 研究人员、开发者以及希望提升多模态应用稳定性的技术团队使用。无论是用于学术研究中的模型评估，还是集成到实际的图像问答、内容生成产品中，它都能提供强有力的纠错支持，帮助构建更严谨、更可靠的视觉 - 语言交互系统。","# Woodpecker: Hallucination Correction for Multimodal Large Language Models\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_6bcbb2972f1a.png\" width=\"75%\" height=\"75%\">\n\u003C\u002Fp>\n\n\n\u003Cfont size=7>\u003Cdiv align='center' > :grapes: \\[[Read our arXiv Paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.16045.pdf)\\]   :apple: \\[[Try our Demo](https:\u002F\u002Fdeb6a97bae6fab67ae.gradio.live\u002F)\\] \u003C\u002Fdiv>\u003C\u002Ffont>\n\n-----------------\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_b11b87376ba3.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n> Hallucination is a big shadow hanging over the rapidly evolving Multimodal Large Language Models (MLLMs), referring to the phenomenon that the generated text is inconsistent with the image content. In order to mitigate hallucinations, existing studies mainly resort to an instruction-tuning manner that requires retraining the models with specific data. In this paper, we pave a different way, introducing a training-free method named Woodpecker. Like a woodpecker heals trees, it picks out and corrects hallucinations from the generated text. Concretely, Woodpecker consists of five stages: key concept extraction, question formulation, visual knowledge validation, visual claim generation, and hallucination correction. Implemented in a post-remedy manner, Woodpecker can easily serve different MLLMs, while being interpretable by accessing intermediate outputs of the five stages. We evaluate Woodpecker both quantitatively and qualitatively and show the huge potential of this new paradigm. On the POPE benchmark, our method obtains a 30.66%\u002F24.33% improvement in accuracy over the baseline MiniGPT-4\u002FmPLUG-Owl.\n\nThis is the first work to correct hallucination in multimodal large language models. If you have any question, please feel free to email bradyfu24@gmail.com or add weChat ID xjtupanda.\n\n\n## 🌋 Evaluation\nWe perform experiments based on four baseline models:\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA), [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl), [Otter](https:\u002F\u002Fgithub.com\u002FLuodian\u002FOtter), [MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4)\n\nThe experimental results are shown below. For more details, please check out [our paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.16045.pdf).\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_d5668404f051.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n### 📍 POPE Result\n\nThis part focuses on object-level hallucinations.\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_af716d24ffec.png\" width=\"70%\">\n\u003C\u002Fp>\n\n### 📍 MME Result\n\nThis part focuses on both object- and attribute-level hallucinations.\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_9a0e33f2bb61.png\" width=\"60%\">\n\u003C\u002Fp>\n\n### 📍 LLaVA-QA90 Result\n\nWe also propose to perform open-ended evaluation directly via the recently opened GPT-4V interface. We design two metrics: accuracy and detailedness.\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_41931ca714d2.png\" width=\"50%\">\n\u003C\u002Fp>\n\n\n## ▶️ Demo\nPlease feel free to try our [Online Demo](https:\u002F\u002Fdeb6a97bae6fab67ae.gradio.live\u002F)!\n\n\u003Cp align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_372293c7b666.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n## 🛠️ Preliminary\n\n1. Create conda environment\n\n```bash\nconda create -n corrector python=3.10\nconda activate corrector\npip install -r requirements.txt\n```\n\n2. Install required packages and models\n\n- Install `spacy` and relevant model packages, following the instructions in [Link](https:\u002F\u002Fgithub.com\u002Fexplosion\u002FspaCy). This is used for some text processing operations.\n\n```bash\npip install -U spacy\npython -m spacy download en_core_web_lg\npython -m spacy download en_core_web_md\npython -m spacy download en_core_web_sm\n```\n- For our **Open-set Detector**. Install GroundingDINO following the instructions in [Link](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO).\n\n## ⭐ Usage\n\n**1. Inference**\n\nTo make corrections based on an image and a text output from MLLM, run the inference code as follows:\n\n```Shell\npython inference.py \\\n        --image-path {path\u002Fto\u002Fimage} \\\n        --query \"Some query.(e.x. Describe this image.)\" \\\n        --text \"Some text to be corrected.\" \\\n        --detector-config \"path\u002Fto\u002FGroundingDINO_SwinT_OGC.py\" \\\n        --detector-model \"path\u002Fto\u002Fgroundingdino_swint_ogc.pth\" \\\n        --api-key \"sk-xxxxxxx\" \\\n\n```\nThe output text will be printed in the terminal, and intermediate results saved by default as ```.\u002Fintermediate_view.json```.\n\n***\n\n**2. Demo setup**\n\nWe use mPLUG-Owl as our default MLLM in experiments. If you wish to replicate the online demo, please clone the [project](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl) and modify the variables in https:\u002F\u002Fgithub.com\u002FBradyFU\u002FWoodpecker\u002Fblob\u002Fe3fcac307cc5ff5a3dc079d9a94b924ebcdc2531\u002Fgradio_demo.py#L7 and  https:\u002F\u002Fgithub.com\u002FBradyFU\u002FWoodpecker\u002Fblob\u002Fe3fcac307cc5ff5a3dc079d9a94b924ebcdc2531\u002Fgradio_demo.py#L35-L36\n\nThen simply run:\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py\n```\nHere we put the corrector components on GPU with id 0 and mPLUG-Owl on GPU with id 1.\n\n\n\n## 🌻 Acknowledgement\nThis repository benefits from [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl), [GroundingDINO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO), [BLIP-2](https:\u002F\u002Fhuggingface.co\u002FSalesforce\u002Fblip2-flan-t5-xxl), and [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter). Thanks for their awesome works.\n\n\n\n## 📑 Citation\nIf you find our project helpful to your research, please consider citing:\n```\n@article{yin2024woodpecker,\n  title={Woodpecker: Hallucination correction for multimodal large language models},\n  author={Yin, Shukang and Fu, Chaoyou and Zhao, Sirui and Xu, Tong and Wang, Hao and Sui, Dianbo and Shen, Yunhang and Li, Ke and Sun, Xing and Chen, Enhong},\n  journal={Science China Information Sciences},\n  volume={67},\n  number={12},\n  pages={220105},\n  year={2024},\n  publisher={Springer}\n}\n```\n\n","# 木啄：多模态大语言模型的幻觉修正\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_6bcbb2972f1a.png\" width=\"75%\" height=\"75%\">\n\u003C\u002Fp>\n\n\n\u003Cfont size=7>\u003Cdiv align='center' > :grapes: \\[[阅读我们的 arXiv 论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.16045.pdf)\\]   :apple: \\[[试用我们的演示版](https:\u002F\u002Fdeb6a97bae6fab67ae.gradio.live\u002F)\\] \u003C\u002Fdiv>\u003C\u002Ffont>\n\n-----------------\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_b11b87376ba3.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n> 幻觉是笼罩在快速发展的多模态大语言模型（MLLMs）上的一片巨大阴影，指的是生成文本与图像内容不一致的现象。为了缓解幻觉问题，现有研究主要采用指令调优的方式，需要通过特定数据对模型进行重新训练。在本文中，我们开辟了一条全新的路径，提出了一种无需训练的方法——“木啄”。正如啄木鸟治愈树木一样，“木啄”能够从生成的文本中精准识别并纠正幻觉。具体而言，“木啄”由五个阶段组成：关键概念提取、问题构建、视觉知识验证、视觉主张生成以及幻觉修正。以事后补救的方式实现，“木啄”可以轻松服务于多种 MLLM，并且只需通过访问五个阶段的中间输出即可实现解释性分析。我们从定量和定性两个维度对“木啄”进行了评估，并展示了这一新范式的巨大潜力。在 POPE 基准测试中，我们的方法在准确率上分别比基线模型 MiniGPT-4\u002FmPLUG-Owl 提升了 30.66% 和 24.33%。\n\n这是首篇针对多模态大语言模型幻觉问题进行修正的研究成果。如果您有任何疑问，请随时发送邮件至 bradyfu24@gmail.com，或添加微信 ID xjtupanda。\n\n## 🌋 评估\n我们基于以下四种基准模型开展实验：\n- [LLaVA](https:\u002F\u002Fgithub.com\u002Fhaotian-liu\u002FLLaVA)、[mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl)、[Otter](https:\u002F\u002Fgithub.com\u002FLuodian\u002FOtter)、[MiniGPT-4](https:\u002F\u002Fgithub.com\u002FVision-CAIR\u002FMiniGPT-4)\n\n实验结果如下所示。更多详细信息，请参阅我们的论文 [arXiv 论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2310.16045.pdf)。\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_d5668404f051.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n### 📍 POPE 结果\n\n本部分重点评估对象级幻觉。\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_af716d24ffec.png\" width=\"70%\">\n\u003C\u002Fp>\n\n### 📍 MME 结果\n\n本部分同时关注对象级和属性级幻觉。\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_9a0e33f2bb61.png\" width=\"60%\">\n\u003C\u002Fp>\n\n### 📍 LLaVA-QA90 结果\n\n我们还提议直接通过最新开放的 GPT-4V 接口进行开放式评估。我们设计了两项指标：准确率和细节度。\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_41931ca714d2.png\" width=\"50%\">\n\u003C\u002Fp>\n\n\n## ▶️ 演示\n欢迎随时尝试我们的 [在线演示](https:\u002F\u002Fdeb6a97bae6fab67ae.gradio.live\u002F)！\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_readme_372293c7b666.png\" width=\"96%\" height=\"96%\">\n\u003C\u002Fp>\n\n## 🛠️ 预备工作\n\n1. 创建 Conda 环境\n\n```bash\nconda create -n corrector python=3.10\nconda activate corrector\npip install -r requirements.txt\n```\n\n2. 安装所需软件包和模型\n\n- 安装 `spacy` 及相关模型包，按照 [链接](https:\u002F\u002Fgithub.com\u002Fexplosion\u002FspaCy) 中的说明进行操作。该工具用于执行一些文本处理任务。\n\n```bash\npip install -U spacy\npython -m spacy download en_core_web_lg\npython -m spacy download en_core_web_md\npython -m spacy download en_core_web_sm\n```\n- 对于我们的 **开放集检测器**，请按照 [链接](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO) 中的说明安装 GroundingDINO。\n\n## ⭐ 使用方法\n\n**1. 推理**\n\n要根据图像与 MLLM 的文本输出进行修正，请按如下方式运行推理代码：\n\n```Shell\npython inference.py \\\n        --image-path {path\u002Fto\u002Fimage} \\\n        --query \"一些查询。（例如：描述这张图片。)\" \\\n        --text \"一些需要修正的文本。\" \\\n        --detector-config \"path\u002Fto\u002FGroundingDINO_SwinT_OGC.py\" \\\n        --detector-model \"path\u002Fto\u002Fgroundingdino_swint_ogc.pth\" \\\n        --api-key \"sk-xxxxxxx\" \\\n```\n\n输出的文本会打印在终端中，中间结果默认保存为 ```.\u002Fintermediate_view.json```.\n\n***\n\n**2. 演示环境搭建**\n\n在实验中，我们默认使用 mPLUG-Owl 作为 MLLM。如果您希望复现在线演示，请克隆 [项目](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl)，并修改 https:\u002F\u002Fgithub.com\u002FBradyFU\u002FWoodpecker\u002Fblob\u002Fe3fcac307cc5ff5a3dc079d9a94b924ebcdc2531\u002Fgradio_demo.py#L7 和 https:\u002F\u002Fgithub.com\u002FBradyFU\u002FWoodpecker\u002Fblob\u002Fe3fcac307cc5ff5a3dc079d9a94b924ebcdc2531\u002Fgradio_demo.py#L35-L36 中的相关变量。\n\n然后只需运行：\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py\n```\n\n在这里，我们将校正组件部署到 GPU 上，ID 为 0；而 mPLUG-Owl 则部署到 GPU 上，ID 为 1。\n\n\n## 🌻 致谢\n本仓库的开发得益于 [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl)、[GroundingDINO](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO)、[BLIP-2](https:\u002F\u002Fhuggingface.co\u002FSalesforce\u002Fblip2-flan-t5-xxl) 以及 [LLaMA-Adapter](https:\u002F\u002Fgithub.com\u002FOpenGVLab\u002FLLaMA-Adapter)。感谢这些优秀研究成果的贡献！\n\n## 📑 引用格式\n如果您发现我们的项目对您的研究有所帮助，请考虑引用以下文献：\n\n```\n@article{yin2024woodpecker,\n  title={Woodpecker: 多模态大语言模型的幻觉修正},\n  author={Yin, Shukang and Fu, Chaoyou and Zhao, Sirui and Xu, Tong and Wang, Hao and Sui, Dianbo and Shen, Yunhang and Li, Ke and Sun, Xing and Chen, Enhong},\n  journal={中国科学信息学报},\n  volume={67},\n  number={12},\n  pages={220105},\n  year={2024},\n  publisher={Springer}\n}\n```","# Woodpecker 快速上手指南\n\nWoodpecker 是一个无需训练的开源工具，旨在纠正多模态大语言模型（MLLM）生成的文本中的“幻觉”问题（即生成内容与图像不符）。它通过五个阶段（关键概念提取、问题构建、视觉知识验证、视觉主张生成、幻觉纠正）对现有模型的输出进行后处理修正。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.10\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（建议显存充足以运行检测模型和 MLLM）\n*   **依赖管理**: Conda\n\n## 安装步骤\n\n### 1. 创建并激活 Conda 环境\n\n```bash\nconda create -n corrector python=3.10\nconda activate corrector\npip install -r requirements.txt\n```\n\n> **提示**：国内用户建议使用清华或阿里镜像源加速安装：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2. 安装文本处理依赖 (spaCy)\n\nWoodpecker 需要 spaCy 进行文本处理操作。\n\n```bash\npip install -U spacy\npython -m spacy download en_core_web_lg\npython -m spacy download en_core_web_md\npython -m spacy download en_core_web_sm\n```\n\n### 3. 安装开放集检测器 (GroundingDINO)\n\nWoodpecker 依赖 GroundingDINO 进行视觉验证。请前往 [GroundingDINO GitHub 仓库](https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO) 按照其官方说明完成安装。\n\n主要步骤通常包括：\n```bash\n# 示例：克隆并安装 GroundingDINO (具体请参考其官方 README)\ngit clone https:\u002F\u002Fgithub.com\u002FIDEA-Research\u002FGroundingDINO.git\ncd GroundingDINO\npip install -e .\n```\n*注意：安装 GroundingDINO 可能需要预先安装 `torch` 和 `torchvision`，请根据您的 CUDA 版本选择合适的安装命令。*\n\n## 基本使用\n\n安装完成后，您可以直接运行推理脚本，对指定图片和 MLLM 生成的文本进行幻觉纠正。\n\n### 命令行推理示例\n\n请准备好以下文件\u002F信息：\n*   输入图片路径\n*   原始查询问题 (Query)\n*   MLLM 生成的待修正文本\n*   GroundingDINO 的配置文件 (`.py`) 和权重文件 (`.pth`)\n*   API Key (用于调用外部模型辅助验证，如 GPT-4)\n\n运行以下命令：\n\n```Shell\npython inference.py \\\n        --image-path {path\u002Fto\u002Fimage} \\\n        --query \"Some query.(e.x. Describe this image.)\" \\\n        --text \"Some text to be corrected.\" \\\n        --detector-config \"path\u002Fto\u002FGroundingDINO_SwinT_OGC.py\" \\\n        --detector-model \"path\u002Fto\u002Fgroundingdino_swint_ogc.pth\" \\\n        --api-key \"sk-xxxxxxx\"\n```\n\n**输出说明：**\n*   修正后的文本将直接打印在终端中。\n*   中间处理结果（如提取的关键概念、验证过程等）默认保存为 `.\u002Fintermediate_view.json`，便于调试和分析。\n\n### 启动本地 Demo (可选)\n\n如果您希望复现在线 Demo 体验，可以使用 mPLUG-Owl 作为基座模型。需先克隆 [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl) 项目，并修改 `gradio_demo.py` 中的相关路径配置（参考原仓库第 7 行及 35-36 行）。\n\n配置完成后，使用双卡（或单卡显存足够时调整设备号）运行：\n\n```bash\nCUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py\n```\n*注：上述命令默认将纠正组件放在 GPU 0，将 mPLUG-Owl 模型放在 GPU 1。*","某电商平台的自动化运营团队正利用多模态大模型（MLLM）批量生成商品详情页的图文描述，以提升上架效率。\n\n### 没有 Woodpecker 时\n- **虚构商品特征**：模型常“幻觉”出图片中不存在的颜色或配件（如将白色衬衫描述为蓝色，或凭空添加口袋），导致客诉率上升。\n- **人工复核成本高**：运营人员必须逐条核对生成的文案与实物图是否一致，耗费大量人力时间，严重拖慢上新节奏。\n- **信任危机**：频繁的描述错误让用户对平台商品信息的真实性产生怀疑，直接影响转化率和品牌声誉。\n- **修复门槛高**：若要减少错误，传统方法需收集特定纠错数据并重新训练模型，周期长且技术投入巨大。\n\n### 使用 Woodpecker 后\n- **精准纠偏幻觉**：Woodpecker 通过视觉知识验证阶段，自动识别并修正了关于颜色、材质等关键概念的虚假描述，确保文案严格对应图片内容。\n- **实现免训介入**：无需重新训练底层大模型，Woodpecker 以“事后补救”方式直接接入现有工作流，即刻提升输出质量。\n- **流程透明可控**：其五阶段处理流程（从概念提取到最终修正）提供了可解释的中间输出，让团队能清晰追踪错误来源并放心采纳结果。\n- **显著提效降本**：在 POPE 基准测试中准确率提升超 30%，大幅减少了人工复核工作量，使自动化生成真正具备商用价值。\n\nWoodpecker 像一位不知疲倦的质检员，在不改动原有模型的前提下，精准啄除多模态生成中的虚假内容，让 AI 创作既高效又可信。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVITA-MLLM_Woodpecker_6bcbb297.png","VITA-MLLM","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FVITA-MLLM_3aa8d99c.png","VITA Team",null,"https:\u002F\u002Fgithub.com\u002FBradyFU\u002FAwesome-Multimodal-Large-Language-Models","https:\u002F\u002Fgithub.com\u002FVITA-MLLM",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,649,30,"2026-03-24T14:19:04",4,"Linux","必需 NVIDIA GPU。演示脚本示例使用双卡 (CUDA_VISIBLE_DEVICES=0,1)，分别运行校正组件和 mPLUG-Owl 模型。具体显存需求取决于所选基座模型（如 LLaVA, mPLUG-Owl 等），通常建议 16GB+ 以运行大型多模态模型。","未说明",{"notes":94,"python":95,"dependencies":96},"1. 建议使用 conda 创建名为 'corrector' 的环境。2. 必须安装 GroundingDINO 作为开放集检测器，需遵循其官方安装指南（通常涉及编译 CUDA 扩展）。3. 需要安装 spaCy 及其英文模型包用于文本处理。4. 推理时需要提供 OpenAI API Key 调用 GPT 系列模型进行验证。5. 运行 Demo 默认需要两张 GPU，也可修改代码适配单卡或更换基座模型。","3.10",[97,98,99,100,101,102,103,104],"spacy","en_core_web_lg","en_core_web_md","en_core_web_sm","GroundingDINO","gradio","torch","transformers",[54,26,13],[107,108,109,110,111,112,113],"hallucination","hallucinations","large-language-models","llm","mllm","multimodal-large-language-models","multimodality","2026-03-27T02:49:30.150509","2026-04-06T05:37:59.774662",[117,122,127,132,137,142,147],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},6477,"运行 Woodpecker 需要多少显存？","运行该模型大约需要 22GB 显存。维护者确认在单张 Nvidia RTX 3090 (24GB) 显卡上可以成功运行。如果您使用 RTX 4090 遇到显存不足，请检查其他占用或尝试更新相关库。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F8",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},6478,"遇到 'PyPreTokenizerTypeWrapper' 枚举匹配错误怎么办？","这是一个环境依赖版本问题。解决方案是升级 PyTorch 到 2.x 版本，随后更新 tokenizers 和 transformers 库即可解决该报错。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F14",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},6479,"Woodpecker 的许可证是什么？可以用于商业用途吗？","目前 Woodpecker 的代码和权重仅允许用于纯学术研究（Academic Research），不支持商业用途。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F4",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},6480,"如何复现 POPE 基准测试的结果？","复现 POPE 结果时，除将 `img_num` 参数设置为 50 外，其余超参数（如 temperature）均使用默认设置。您可以直接使用提供的模型生成输出，然后按照官方评估协议计算指标。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F11",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},6481,"在哪里可以找到评估代码和指标计算工具？","项目本身是免训练的（training-free），您可以直接使用发布的代码生成结果。对于指标计算，请使用各基准测试官方提供的评估工具：\n1. MME 评估工具：https:\u002F\u002Fgithub.com\u002FBradyFU\u002FAwesome-Multimodal-Large-Language-Models\u002Ftree\u002FEvaluation\u002Ftools\n2. GPT-4V 辅助评估的 Prompt 参考：https:\u002F\u002Fgithub.com\u002FBradyFU\u002FWoodpecker\u002Fblob\u002Fmain\u002Fassets\u002Fgpt4v_prompt.txt","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F7",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},6482,"在线演示（Online Demo）无法访问或速度很慢怎么办？","由于计算资源有限，在线演示链接可能会暂时下线或响应缓慢（排队时间长）。建议用户根据主页说明在本地部署推理脚本或自行搭建 Demo。如果链接失效，请留意仓库更新，维护者会不定期修复临时链接。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F10",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},6483,"有训练代码发布计划吗？","Woodpecker 是一种免训练（training-free）的方法，因此不需要额外的训练代码。所有相关的推理和校正代码均已完全开源发布。","https:\u002F\u002Fgithub.com\u002FVITA-MLLM\u002FWoodpecker\u002Fissues\u002F3",[]]