[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-showlab--Image2Paragraph":3,"tool-showlab--Image2Paragraph":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":45,"env_os":91,"env_gpu":92,"env_ram":91,"env_deps":93,"category_tags":101,"github_topics":102,"view_count":45,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":107,"updated_at":108,"faqs":109,"releases":140},373,"showlab\u002FImage2Paragraph","Image2Paragraph","[Image 2 Text Para] Transform Image into Unique Paragraph with ChatGPT, BLIP2, OFA, GRIT, Segment Anything, ControlNet.","Image2Paragraph 是一款开源项目，旨在将静态图片转化为生动且结构化的文本段落。它整合了 ChatGPT、BLIP2、GRIT 以及 Segment Anything 等多种先进模型，不仅能识别画面主体，还能深入分析局部区域的语义信息，生成包含丰富细节和逻辑的叙述性文字。\n\n这一功能有效解决了传统图像标签过于简略、缺乏上下文关联的痛点，让机器对视觉内容的理解更加接近人类语言习惯。对于开发者、AI 研究人员以及数字内容创作者来说，Image2Paragraph 是一个实用的多模态处理助手。它支持通过 Gradio 界面直接交互，也提供命令行操作，支持灵活部署。\n\n技术亮点方面，它在性能优化上表现突出，仅需 8GB 显存的显卡即可在 20 秒内完成推理，甚至支持纯 CPU 环境运行。此外，它还具备反向生成能力，能根据生成的文本段落配合 ControlNet 还原或创作新的图像。无论是用于数据增强、图像检索还是创意写作辅助，Image2Paragraph 都能提供可靠且高效的解决方案。","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_3ddbbb6ca03b.png\" alt=\"Your Image Description\" width=800>\n\u003C\u002Fp>\n\n\n# Image.txt: Transform Image Into Unique Paragraph \n\n\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAwiny\u002FImage2Paragraph), ![](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fawinyimgprocess?style=social), [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1RCzMgApzbwI6cp_NZGIbHBP_HDslZjeH?usp=sharing)\n\n[Project Website](https:\u002F\u002Fzhaohengyuan1.github.io\u002Fimage2paragraph.github.io)\n\n(huggingface sometimes may not work with safari, use chrome)\n\n**Demo**\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_40e0ad131ff0.gif)\n\n\n\u003Cp align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_d22521c32a19.gif\" alt=\"Your Image Description\" width=100>  \u003Cstrong>\u003Cspan style=\"font-size: 24px;\">News\u003C\u002Fspan>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n- 17\u002FApril\u002F2023. In addition to semantic segment anything, we use [Edit Anything](https:\u002F\u002Fgithub.com\u002Fsail-sg\u002FEditAnything) to get region-level semantic. Now all models takes less than 20s on 8G memory GPU card. (10times faster than previous version on cpu)\n- 17\u002FApril\u002F2023. Our project is online on Huggingface. Have a try! [huggingface](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAwiny\u002FImage2Paragraph\u002Ftree\u002Fmain)\n- 14\u002FApril\u002F2023. Our project is very popular in twitter. Looking [the posted twitter](https:\u002F\u002Ftwitter.com\u002Fawinyimgprocess\u002Fstatus\u002F1646225454599372800?s=46&t=HvOe9T2n35iFuCHP5aIHpQ) for details.\n\n\n\n**(Can run on 8GB memory GPU within 20S!)**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_037cc547e3ed.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n**Main Pipeline**\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_34d3923eac21.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n\n**Reasoning Details**\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_97a564246eb1.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n### To Do List\n\n#### Done\n- [x] GRIT example.\n- [x] ControNet, BLIP2.\n- [x] Semantic Segment Anything.\n- [x] Segment Anything for fine-grained semantic.\n- [x] Gradio.\n- [x] Integrate GRIT into our code.\n- [x] Support GPT4 API.\n- [x] Notebook\u002FHuggingface Space.\n- [x] Region Semantic Classification from Edit-Anything.\n- [x] Make the model lightweight.\n\n#### Doing\n- [ ] Replace ChatGPT with own trained LLM.\n- [ ] Other grounding text2image model as instead of Canny ControlNet.\n- [ ] Show retrieval result in gradio.\n\n## Visualization\n\nThe text to image model is conrolnet with canny from diffuser.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_c1eae2ae7e76.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_94e7b970f458.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_a7cce9d11627.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n##  Installation\n\nPlease find installation instructions in [install.md](install.md).\n\n\n## 2. Start\n\n### Simple visualization\n\n```bash\nexport OPENAI_KEY=[YOUR KEY HERE]\npython main.py  --image_src [image_path] --out_image_name [out_file_name]\n```\n\nIf your GPU memory smaller than 8 GPB.\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu\n```\n\nIf you have no GPU available.\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu --dense_caption_device cpu  --contolnet_device cpu\n```\n\nlike\n```bash\npython main.py --image_src \"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_b38e9fcbd52f.jpg\" --out_image_name \"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_94e7b970f458.jpg\"\n```\n\n**Note: If you have GPU card with larger memory than 15GB. Set all device to GPU for fast inference.**\n\nThe generated text and image are show in \"output\u002F\".\n\n**Note: Use GPT4 for good result as GPT3.5 miss the position information sometime.**\n\n\n\n## Use gradio directly\n\n```bash\npython main_gradio.py\n```\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_059ae0ca30e4.png)\n\nIf you have GPU Memory larger than 20GB.\nUse device='cuda' as default.\n\n\n\n\n## 3. Visualization\n\n\u003C!-- % a dog sitting on a porch with a bike -->\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_b38e9fcbd52f.jpg\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n    \u003Ctd>\n      A dog sitting on a porch with a bike.\n    \u003C\u002Ftd>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_a3ac90e90ccd.jpg\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_2426f590c546.png\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">Input\u003C\u002Ftd>\n    \u003Ctd align=\"center\">BLIP2 Image Caption \u003C\u002Ftd>\n    \u003Ctd align=\"center\">GRIT Dense Caption \u003C\u002Ftd>\n    \u003Ctd align=\"center\">Semantic Segment Anything \u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\nThe final generated paragraph with ChatGPT is:\n\n>       This image depicts a black and white dog sitting on a porch beside a red bike. The dense caption mentions other objects in the scene, such as a white car parked on the street and a red bike parked on the side of the road. The region semantic provides more specific information, including the porch, floor, wall, and trees. The dog can be seen sitting on the floor beside the bike, and there is also a parked bicycle and tree in the background. The wall is visible on one side of the image, while the street and trees can be seen in the other direction. \n\n## 4. Retrieval Result on COCO\n\n| Method  | Trainable Parameter | Running Time  |  IR@1   | TR@1|\n|---|---|---|---|---|\n| Image-text  | 230M | 9H |  43.8 |  33.2 |\n|Generated Paragraph-text| 0 |5m|__49.7__|__36.1__|\n\n\nInteresting, we find compress image into paragraph. The retrieval result is even better than use source image.\n\n\n## Others\nIf you have more suggestions or functions need to be implemented in this codebase, feel free to drop me an email awinyimg dot gmail dot com or open an issue.\n\n## Acknowledgment\n\nThis work is based on [ChatGPT](http:\u002F\u002Fchat.openai.com), [Edit_Anything](https:\u002F\u002Fgithub.com\u002Fsail-sg\u002FEditAnything), [BLIP2](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FSalesforce\u002FBLIP2), [GRIT](https:\u002F\u002Fgithub.com\u002FJialianW\u002FGRiT),  [OFA](https:\u002F\u002Fgithub.com\u002FOFA-Sys\u002FOFA),[Segment-Anything](https:\u002F\u002Fsegment-anything.com), [Semantic-Segment-Anything](https:\u002F\u002Fgithub.com\u002Ffudan-zvg\u002FSemantic-Segment-Anything), [ControlNet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet).","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_3ddbbb6ca03b.png\" alt=\"Your Image Description\" width=800>\n\u003C\u002Fp>\n\n\n# Image.txt：将图像转换为独特段落 \n\n\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAwiny\u002FImage2Paragraph), ![](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Ffollow\u002Fawinyimgprocess?style=social), [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1RCzMgApzbwI6cp_NZGIbHBP_HDslZjeH?usp=sharing)\n\n[项目网站](https:\u002F\u002Fzhaohengyuan1.github.io\u002Fimage2paragraph.github.io)\n\n（Hugging Face 有时在 Safari 上可能无法正常工作，请使用 Chrome）\n\n**演示**\n\n![](examples\u002Fdemo.gif)\n\n\n\u003Cp align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_d22521c32a19.gif\" alt=\"Your Image Description\" width=100>  \u003Cstrong>\u003Cspan style=\"font-size: 24px;\">新闻\u003C\u002Fspan>\u003C\u002Fstrong>\n\u003C\u002Fp>\n\n- 2023 年 4 月 17 日。除了语义分割任意目标 (Semantic Segment Anything)，我们还使用了 [Edit Anything](https:\u002F\u002Fgithub.com\u002Fsail-sg\u002FEditAnything) 来获取区域级语义。现在所有模型在 8GB 显存 GPU 卡上耗时少于 20 秒。（比 CPU 上的上一版本快 10 倍）\n- 2023 年 4 月 17 日。我们的项目已上线 Hugging Face。欢迎尝试！[huggingface](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAwiny\u002FImage2Paragraph\u002Ftree\u002Fmain)\n- 2023 年 4 月 14 日。我们的项目在 Twitter 上非常受欢迎。查看 [发布的推文](https:\u002F\u002Ftwitter.com\u002Fawinyimgprocess\u002Fstatus\u002F1646225454599372800?s=46&t=HvOe9T2n35iFuCHP5aIHpQ) 了解详情。\n\n\n\n**（可在 8GB 显存 GPU 上 20 秒内运行！）**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_037cc547e3ed.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n**主流程**\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_34d3923eac21.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n\n**推理细节**\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_97a564246eb1.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n### 待办事项\n\n#### 已完成\n- [x] GRIT 示例。\n- [x] ControlNet, BLIP2。\n- [x] 语义分割任意目标 (Semantic Segment Anything)。\n- [x] 用于细粒度语义的 Segment Anything。\n- [x] Gradio。\n- [x] 将 GRIT 集成到我们的代码中。\n- [x] 支持 GPT-4 API。\n- [x] Notebook\u002FHugging Face Space。\n- [x] 来自 Edit-Anything 的区域语义分类。\n- [x] 使模型轻量化。\n\n#### 进行中\n- [ ] 用自训练的大型语言模型 (LLM) 替换 ChatGPT。\n- [ ] 使用其他 grounding text2image 模型替代 Canny ControlNet。\n- [ ] 在 Gradio 中显示检索结果。\n\n## 可视化\n\n文本到图像模型是基于 Diffusers 的 ControlNet，使用 Canny 边缘检测。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_c1eae2ae7e76.png\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_94e7b970f458.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_a7cce9d11627.jpg\" alt=\"Your Image Description\" width=600>\n\u003C\u002Fp>\n\n\n\n## 安装\n\n请在 [install.md](install.md) 中查找安装说明。\n\n\n## 2. 启动\n\n### 简单可视化\n\n```bash\nexport OPENAI_KEY=[YOUR KEY HERE]\npython main.py  --image_src [image_path] --out_image_name [out_file_name]\n```\n\n如果您的 GPU 显存小于 8 GB。\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu\n```\n\n如果您没有可用的 GPU。\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu --dense_caption_device cpu  --contolnet_device cpu\n```\n\n例如\n```bash\npython main.py --image_src \"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_b38e9fcbd52f.jpg\" --out_image_name \"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_94e7b970f458.jpg\"\n```\n\n**注意：如果您拥有显存大于 15GB 的 GPU 卡。请将所有设备设置为 GPU 以实现快速推理。**\n\n生成的文本和图像将显示在 \"output\u002F\" 目录中。\n\n**注意：请使用 GPT-4 以获得更好的结果，因为 GPT-3.5 有时会丢失位置信息。**\n\n\n\n## 直接使用 Gradio\n\n```bash\npython main_gradio.py\n```\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_059ae0ca30e4.png)\n\n如果您的 GPU 显存大于 20GB。\n默认使用 device='cuda'。\n\n\n\n\n## 3. 可视化\n\n\u003C!-- 一只坐在门廊上的狗，旁边有一辆自行车 -->\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_b38e9fcbd52f.jpg\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n    \u003Ctd>\n      A dog sitting on a porch with a bike.\n    \u003C\u002Ftd>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_a3ac90e90ccd.jpg\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n    \u003Ctd>\n      \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_readme_2426f590c546.png\" alt=\"Your Image Description\" width=300>\n    \u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd align=\"center\">输入\u003C\u002Ftd>\n    \u003Ctd align=\"center\">BLIP2 图像描述\u003C\u002Ftd>\n    \u003Ctd align=\"center\">GRIT 密集描述\u003C\u002Ftd>\n    \u003Ctd align=\"center\">语义分割任意目标\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n使用 ChatGPT 生成的最终段落如下：\n\n>       This image depicts a black and white dog sitting on a porch beside a red bike. The dense caption mentions other objects in the scene, such as a white car parked on the street and a red bike parked on the side of the road. The region semantic provides more specific information, including the porch, floor, wall, and trees. The dog can be seen sitting on the floor beside the bike, and there is also a parked bicycle and tree in the background. The wall is visible on one side of the image, while the street and trees can be seen in the other direction. \n\n## 4. COCO 上的检索结果\n\n| 方法 | 可训练参数 | 运行时间 | IR@1 | TR@1|\n|---|---|---|---|---|\n| Image-text | 230M | 9H | 43.8 | 33.2 |\n|Generated Paragraph-text| 0 |5m|__49.7__|__36.1__|\n\n\n有趣的是，我们发现将图像压缩为段落后，检索结果甚至比使用原始图像更好。\n\n\n## 其他\n如果您有更多建议或需要在本代码库中实现的功能，请随时通过电子邮件 awinyimg@gmail.com 联系我或提交 Issue。\n\n## 致谢\n\n本工作基于 [ChatGPT](http:\u002F\u002Fchat.openai.com), [Edit_Anything](https:\u002F\u002Fgithub.com\u002Fsail-sg\u002FEditAnything), [BLIP2](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FSalesforce\u002FBLIP2), [GRIT](https:\u002F\u002Fgithub.com\u002FJialianW\u002FGRiT), [OFA](https:\u002F\u002Fgithub.com\u002FOFA-Sys\u002FOFA), [Segment-Anything](https:\u002F\u002Fsegment-anything.com), [Semantic-Segment-Anything](https:\u002F\u002Fgithub.com\u002Ffudan-zvg\u002FSemantic-Segment-Anything), [ControlNet](https:\u002F\u002Fgithub.com\u002Flllyasviel\u002FControlNet)。","# Image2Paragraph 快速上手指南\n\n**Image2Paragraph** 是一个开源工具，旨在将图片转换为独特的描述段落，并结合多模态模型（如 GRIT、BLIP2、Segment Anything）生成细粒度语义信息，最终通过 LLM 整合为自然语言段落。它支持在本地运行，甚至可在 8GB 显存的 GPU 上于 20 秒内完成推理。\n\n## 1. 环境准备\n\n*   **系统要求**: 支持 Linux \u002F Windows \u002F macOS。\n*   **硬件配置**:\n    *   **推荐**: 8GB 显存以上的 GPU 卡（推理速度约 20 秒）。\n    *   **备选**: 无 GPU 设备也可运行（需设置所有设备为 CPU，速度较慢）。\n    *   **高性能**: 若显存大于 15GB，建议将所有模块设置为 GPU 以加速。\n*   **软件依赖**: Python 环境，CUDA（如需使用 GPU）。\n*   **API 密钥**: 需要有效的 OpenAI API Key（建议使用 GPT-4 以获得更好的位置信息识别效果）。\n\n## 2. 安装步骤\n\n1.  **克隆项目**:\n    ```bash\n    git clone \u003Crepository_url>\n    cd Image2Paragraph\n    ```\n\n2.  **安装依赖**:\n    请严格按照项目根目录下的 [`install.md`](install.md) 文件指引安装所需库。\n\n3.  **配置环境变量**:\n    设置您的 OpenAI API Key：\n    ```bash\n    export OPENAI_KEY=[YOUR KEY HERE]\n    ```\n    > **注意**: 如果您使用的是 Safari 浏览器访问 Hugging Face Space，可能会遇到问题，建议使用 Chrome。\n\n## 3. 基本使用\n\n### 命令行模式\n\n**基础用法 (GPU 加速)**\n```bash\npython main.py  --image_src [image_path] --out_image_name [out_file_name]\n```\n例如：\n```bash\npython main.py --image_src \"examples\u002F3.jpg\" --out_image_name \"output\u002F3_result.jpg\"\n```\n\n**CPU 模式 (显存小于 8GB 或无 GPU)**\n如果显存不足 8GB，将部分设备设为 CPU：\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu\n```\n如果没有可用 GPU，将所有设备设为 CPU：\n```bash\npython main.py --image_caption_device cpu --semantic_segment_device cpu --dense_caption_device cpu  --contolnet_device cpu\n```\n\n生成的文本和图像将保存在 `output\u002F` 目录下。\n\n### Gradio Web 界面\n\n启动本地 Web UI 进行可视化操作：\n```bash\npython main_gradio.py\n```\n> **提示**: 如果您的 GPU 显存大于 20GB，默认即可使用 `device='cuda'`。","某电商运营团队正在筹备双 11 大促，急需为上千张新品摄影图生成详细的商品详情页文案。\n\n### 没有 Image2Paragraph 时\n- 运营人员需逐张手动观察并撰写，单张图片平均耗时超过 10 分钟。\n- 人工描述容易遗漏关键细节，如面料纹理、配饰位置或背景环境信息。\n- 不同员工撰写的文案风格参差不齐，影响品牌整体视觉调性统一。\n- 面对海量库存图片，难以实现规模化自动化处理，严重拖慢上架进度。\n\n### 使用 Image2Paragraph 后\n- Image2Paragraph 调用多模态模型，仅需 20 秒即可生成包含丰富细节的完整段落。\n- 通过语义分割技术精准定位画面区域，自动补充材质、颜色及空间关系描述。\n- 结合 ChatGPT 等语言模型能力，确保生成的文案逻辑通顺且符合营销语境。\n- 支持本地部署与批量处理，大幅降低人力成本，让团队专注于创意优化而非重复劳动。\n- 能够根据图片内容推理出潜在的使用场景，增强文案的吸引力和转化率。\n\nImage2Paragraph 通过自动化深度图像理解，将繁琐的图片转文字工作从小时级缩短至秒级。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fshowlab_Image2Paragraph_059ae0ca.png","showlab","Show Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fshowlab_fc159bb4.png","",null,"https:\u002F\u002Fsites.google.com\u002Fview\u002Fshowlab","https:\u002F\u002Fgithub.com\u002Fshowlab",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,823,56,"2026-03-17T08:05:12","Apache-2.0","未说明","需要 NVIDIA GPU，显存 8GB+ 推荐，支持 CPU 降级运行，15GB+ 体验最佳",{"notes":94,"python":91,"dependencies":95},"需配置 OPENAI_KEY 环境变量；显存不足可强制使用 CPU 但速度慢；推荐使用 GPT-4 而非 GPT-3.5；HuggingFace Space 在 Safari 浏览器可能无法访问；详细安装步骤见 install.md",[96,97,98,99,100],"gradio","openai","diffusers","transformers","torch",[15],[103,104,105,106],"chatgpt","toolbox","segmentt-anything","gpt4","2026-03-27T02:49:30.150509","2026-04-06T05:27:13.988662",[110,115,120,125,130,135],{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},1352,"运行时报错 'TypeError: issubclass() arg 1 must be a class' 如何解决？","这是依赖包版本冲突问题。建议先尝试安装特定版本的 pydantic：pip install pydantic==1.7.4。如果问题依旧，可能需要修复 type_extensions 包（参考 pydantic issue #545）。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F32",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},1353,"启动时出现 'Unexpected token \u003C' 或 JSON 解析错误怎么办？","这通常是 Gradio 相关的问题。根据社区反馈，使用 ngrok 可以解决此问题。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F9",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},1354,"运行程序后 'Dense Caption' 总是返回空或 '\u002F' 是什么原因？","请确保你能独立成功运行 GRIT demo。检查 GRIT_model.py 文件中指定的环境名称是否正确。此外，输入图像路径请务必使用**绝对路径**以避免文件路径错误。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F6",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},1355,"是否需要单独安装 GRIT？代码中的路径是否硬编码？","项目已将 GRIT 集成到代码中，无需再单独安装 GRIT，请按照 install.md 进行配置。注意：可能还需要手动创建 grit_output.txt 文件。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F5",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},1356,"是否有 Notebook 或 HuggingFace Space 版本可以使用？","HuggingFace Space 已上线：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FAwiny\u002FImage2Paragraph。由于 GPU 成本较高，目前提供的是 CPU 演示版。作者计划近期将所有模型整合进单个 Notebook 文件。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F4",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},1357,"Image2Paragraph 在 COCO 数据集上检索结果更好的原理是什么？","流程如下：首先为 COCO 数据集中的每张图像生成段落；然后使用基于传统 BERT 模型的零样本检索（冻结参数，无图像编码器）；最后对生成的段落和原始标题进行归一化，计算相似度得分并选择 Top-K 样本。","https:\u002F\u002Fgithub.com\u002Fshowlab\u002FImage2Paragraph\u002Fissues\u002F3",[]]