[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-X-PLUG--mPLUG-DocOwl":3,"tool-X-PLUG--mPLUG-DocOwl":64},[4,17,27,35,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":23,"last_commit_at":54,"category_tags":55,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,46],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74963,"2026-04-06T11:16:39",[15,26,13,46],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":93,"forks":94,"last_commit_at":95,"license":96,"difficulty_score":23,"env_os":97,"env_gpu":98,"env_ram":97,"env_deps":99,"category_tags":106,"github_topics":107,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":114,"updated_at":115,"faqs":116,"releases":146},4656,"X-PLUG\u002FmPLUG-DocOwl","mPLUG-DocOwl","mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding","mPLUG-DocOwl 是阿里巴巴集团推出的一款强大的多模态大语言模型家族，专为文档理解任务设计。它的核心目标是让 AI 能够像人类一样“看懂”各种复杂的文档，如论文、报表、图表和书籍页面，而无需依赖传统的 OCR（光学字符识别）技术进行文字提取。\n\n传统方法在处理长文档或多页文件时，往往因文字识别错误丢失版面信息，或受限于输入长度无法处理高分辨率图像。mPLUG-DocOwl 通过独特的模块化架构和高压缩编码技术解决了这些痛点。特别是其最新版本 DocOwl2，能够将整页高分辨率文档图像压缩为极少的标记数量（仅 324 个 token），不仅大幅降低了计算成本，还完整保留了文档的结构与视觉细节，实现了对多页文档的精准理解与分析。\n\n这款工具非常适合人工智能研究人员、开发者以及需要处理大量文档数据的企业用户。研究人员可以利用其开源的训练代码和数据集探索多模态学习的前沿；开发者可以基于 DeepSpeed 等框架进行微调，构建定制化的文档分析应用；普通用户也能通过在线演示体验高效的文档问答服务。作为当前在无 OCR 文档理解领域的领先方案，mPLUG-DocOwl 以高效、精准的特性，","mPLUG-DocOwl 是阿里巴巴集团推出的一款强大的多模态大语言模型家族，专为文档理解任务设计。它的核心目标是让 AI 能够像人类一样“看懂”各种复杂的文档，如论文、报表、图表和书籍页面，而无需依赖传统的 OCR（光学字符识别）技术进行文字提取。\n\n传统方法在处理长文档或多页文件时，往往因文字识别错误丢失版面信息，或受限于输入长度无法处理高分辨率图像。mPLUG-DocOwl 通过独特的模块化架构和高压缩编码技术解决了这些痛点。特别是其最新版本 DocOwl2，能够将整页高分辨率文档图像压缩为极少的标记数量（仅 324 个 token），不仅大幅降低了计算成本，还完整保留了文档的结构与视觉细节，实现了对多页文档的精准理解与分析。\n\n这款工具非常适合人工智能研究人员、开发者以及需要处理大量文档数据的企业用户。研究人员可以利用其开源的训练代码和数据集探索多模态学习的前沿；开发者可以基于 DeepSpeed 等框架进行微调，构建定制化的文档分析应用；普通用户也能通过在线演示体验高效的文档问答服务。作为当前在无 OCR 文档理解领域的领先方案，mPLUG-DocOwl 以高效、精准的特性，为智能文档处理提供了新的技术范式。","\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_8a58d66e5c80.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n\u003Ch2>The Powerful Multi-modal LLM Family\n\nfor OCR-free Document Understanding\u003Ch2>\n\u003Cstrong>Alibaba Group\u003C\u002Fstrong>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F9061\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_bbada6ddd5d3.png\" alt=\"DocOwl | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n## 📢 News\n* 🔥🔥🔥 [2025.5.16] Our paper [DocOwl2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.03420) is accepted by ACL 2025.\n* 🔥🔥🔥 [2024.12.24] We have released the training code of DocOwl2 by [**ms-swift**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-swift)! Now you can finetune a stronger model with your own data based on DocOwl2!\n* 🔥🔥🔥 [2024.9.28] We have released the training data, inference code and evaluation code of [DocOwl2](.\u002FDocOwl2\u002F) on both **HuggingFace** 🤗 and **ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>.\n* 🔥🔥🔥 [2024.9.20] Our paper [DocOwl 1.5](http:\u002F\u002Farxiv.org\u002Fabs\u002F2403.12895) and [TinyChart](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.16635) is accepted by EMNLP 2024.\n* 🔥🔥 [2024.9.06] We release the arxiv paper of [mPLUG-DocOwl 2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.03420), a SOTA 8B Multimodal LLM on OCR-free Multipage Document Understanding, each document image is encoded with just 324 tokens!\n* [2024.7.16] Our paper [PaperOwl](https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.18248) is accepted by ACM MM 2024.\n* [2024.5.08] We have released the training code of [DocOwl1.5](.\u002FDocOwl1.5\u002F) supported by DeepSpeed. You can now finetune a stronger model based on DocOwl1.5!\n* [2024.4.26] We release the arxiv paper of [TinyChart](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.16635), a SOTA 3B Multimodal LLM for Chart Understanding with Program-of-Throught ability (ChartQA: 83.6 > Gemin-Ultra 80.8 > GPT4V 78.5). The demo of TinyChart is available on [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FTinyChart-3B) 🤗. Both codes, models and data are released in [TinyChart](.\u002FTinyChart\u002F).\n* [2024.4.3] We build demos of DocOwl1.5 on both [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FmPLUG-DocOwl\u002F) \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'> and [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FDocOwl) 🤗, supported by the DocOwl1.5-Omni. The source codes of launching a local demo are also released in [DocOwl1.5](.\u002FDocOwl1.5\u002F).\n* [2024.3.28] We release the training data (DocStruct4M, DocDownstream-1.0, DocReason25K), codes and models (DocOwl1.5-stage1, DocOwl1.5, DocOwl1.5-Chat, DocOwl1.5-Omni) of [mPLUG-DocOwl 1.5](.\u002FDocOwl1.5\u002F) on both **HuggingFace** 🤗 and **ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>.\n* [2024.3.20] We release the arxiv paper of [mPLUG-DocOwl 1.5](http:\u002F\u002Farxiv.org\u002Fabs\u002F2403.12895), a SOTA 8B Multimodal LLM on OCR-free Document Understanding (DocVQA 82.2, InfoVQA 50.7, ChartQA 70.2, TextVQA 68.6).\n* [2024.01.13] Our Scientific Diagram Analysis dataset [M-Paper](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Ftree\u002Fmain\u002FPaperOwl) has been available on both **HuggingFace** 🤗 and **ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>, containing 447k high-resolution diagram images and corresponding paragraph analysis.\n* [2023.10.13] Training data, models of [mPLUG-DocOwl](.\u002FDocOwl\u002F)\u002F[UReader](.\u002FUReader\u002F) has been open-sourced.\n* [2023.10.10] Our paper [UReader](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.05126) is accepted by EMNLP 2023.\n\u003C!-- * 🔥 [10.10] The source code and instruction data will be released in [UReader](https:\u002F\u002Fgithub.com\u002FLukeForeverYoung\u002FUReader). -->\n* [2023.07.10] The demo of mPLUG-DocOwl on [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FmPLUG-DocOwl\u002Fsummary) is avaliable.\n* [2023.07.07] We release the technical report and evaluation set of mPLUG-DocOwl.\n\n## 🤖 Models\n- [**mPLUG-DocOwl2**](.\u002FDocOwl2\u002F) (Arxiv 2024) - mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding\n\n- [**mPLUG-DocOwl1.5**](.\u002FDocOwl1.5\u002F) (EMNLP 2024) - mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding\n\n- [**TinyChart**](.\u002FTinyChart\u002F) (EMNLP 2024) - TinyChart: Efficient Chart Understanding with\nVisual Token Merging and Program-of-Thoughts Learning\n\n- [**mPLUG-PaperOwl**](.\u002FPaperOwl\u002F) (ACM MM 2024) - mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model\n\n- [**UReader**](.\u002FUReader\u002F) (EMNLP 2023) - UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model\n\n- [**mPLUG-DocOwl**](.\u002FDocOwl\u002F) (Arxiv 2023) - mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding\n\n## 📺 Online Demo\nNote: The demo of HuggingFace is not as stable as ModelScope because the GPU in ZeroGPU Spaces of HuggingFace is dynamically assigned.\n### 📖 DocOwl 1.5\n- 🤗 [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FDocOwl)\n\n- \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'> [ModelScope Space](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FmPLUG-DocOwl\u002F) \n\n### 📈 TinyChart-3B\n- 🤗 [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FTinyChart-3B)\n\n\n## 🌰 Cases\n\n![images](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_273ff293dabf.jpg)\n\n  \n\n## Related Projects\n\n* [mPLUG](https:\u002F\u002Fgithub.com\u002Falibaba\u002FAliceMind\u002Ftree\u002Fmain\u002FmPLUG).\n* [mPLUG-2](https:\u002F\u002Fgithub.com\u002Falibaba\u002FAliceMind).\n* [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl)\n","\u003Cdiv align=\"center\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_8a58d66e5c80.png\" width=\"80%\">\n\u003C\u002Fdiv>\n\n\n\u003Cdiv align=\"center\">\n\u003Ch2>强大的多模态大模型家族\n\n用于无OCR文档理解\u003C\u002Fh2>\n\u003Cstrong>阿里巴巴集团\u003C\u002Fstrong>\n\u003C\u002Fdiv>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Ftrendshift.io\u002Frepositories\u002F9061\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_bbada6ddd5d3.png\" alt=\"DocOwl | Trendshift\" style=\"width: 250px; height: 55px;\" width=\"250\" height=\"55\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n## 📢 新闻\n* 🔥🔥🔥 [2025.5.16] 我们的论文[DocOwl2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.03420)被ACL 2025接收。\n* 🔥🔥🔥 [2024.12.24] 我们已通过[**ms-swift**](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fms-swift)发布了DocOwl2的训练代码！现在你可以基于DocOwl2，使用自己的数据微调出更强大的模型！\n* 🔥🔥🔥 [2024.9.28] 我们已在**HuggingFace** 🤗和**ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>上同时发布了[DocOwl2](.\u002FDocOwl2\u002F)的训练数据、推理代码和评估代码。\n* 🔥🔥🔥 [2024.9.20] 我们的论文[DocOwl 1.5](http:\u002F\u002Farxiv.org\u002Fabs\u002F2403.12895)和[TinyChart](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.16635)被EMNLP 2024接收。\n* 🔥🔥 [2024.9.06] 我们发布了[木PLUG-DocOwl 2](https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.03420)的arXiv论文，这是一份在无OCR多页文档理解任务上表现SOTA的8B多模态大模型，每张文档图像仅用324个token进行编码！\n* [2024.7.16] 我们的论文[PaperOwl](https:\u002F\u002Farxiv.org\u002Fabs\u002F2311.18248)被ACM MM 2024接收。\n* [2024.5.08] 我们发布了由DeepSpeed支持的[DocOwl1.5](.\u002FDocOwl1.5\u002F)的训练代码。你现在可以基于DocOwl1.5微调出更强大的模型！\n* [2024.4.26] 我们发布了[TinyChart](https:\u002F\u002Farxiv.org\u002Fabs\u002F2404.16635)的arXiv论文，这是一份具有思维链能力的SOTA 3B多模态大模型，专门用于图表理解（ChartQA: 83.6 > Gemin-Ultra 80.8 > GPT4V 78.5）。TinyChart的演示可在[HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FTinyChart-3B) 🤗上体验。所有代码、模型和数据均已发布在[TinyChart](.\u002FTinyChart\u002F)中。\n* [2024.4.3] 我们在[ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FmPLUG-DocOwl\u002F) \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>和[HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FDocOwl) 🤗上分别搭建了DocOwl1.5的演示，并由DocOwl1.5-Omni提供支持。启动本地演示的源代码也已在[DocOwl1.5](.\u002FDocOwl1.5\u002F)中公开。\n* [2024.3.28] 我们在**HuggingFace** 🤗和**ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>上同时发布了[mPLUG-DocOwl 1.5](.\u002FDocOwl1.5\u002F)的训练数据（DocStruct4M、DocDownstream-1.0、DocReason25K）、代码和模型（DocOwl1.5-stage1、DocOwl1.5、DocOwl1.5-Chat、DocOwl1.5-Omni）。\n* [2024.3.20] 我们发布了[mPLUG-DocOwl 1.5](http:\u002F\u002Farxiv.org\u002Fabs\u002F2403.12895)的arXiv论文，这是一份在无OCR文档理解任务上表现SOTA的8B多模态大模型（DocVQA 82.2、InfoVQA 50.7、ChartQA 70.2、TextVQA 68.6）。\n* [2024.01.13] 我们的科学图表分析数据集[M-Paper](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Ftree\u002Fmain\u002FPaperOwl)已在**HuggingFace** 🤗和**ModelScope** \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'>上开放，包含44.7万张高分辨率图表图像及对应的段落分析。\n* [2023.10.13] [mPLUG-DocOwl](.\u002FDocOwl\u002F)\u002F[UReader](.\u002FUReader\u002F)的训练数据和模型已开源。\n* [2023.10.10] 我们的论文[UReader](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.05126)被EMNLP 2023接收。\n\u003C!-- * 🔥 [10.10] 源代码和指令数据将在[UReader](https:\u002F\u002Fgithub.com\u002FLukeForeverYoung\u002FUReader)中发布。 -->\n* [2023.07.10] mPLUG-DocOwl在[ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FmPLUG-DocOwl\u002Fsummary)上的演示已上线。\n* [2023.07.07] 我们发布了mPLUG-DocOwl的技术报告和评估集。\n\n## 🤖 模型\n- [**mPLUG-DocOwl2**](.\u002FDocOwl2\u002F) (Arxiv 2024) - mPLUG-DocOwl2：高分辨率压缩技术，用于无OCR多页文档理解\n\n- [**mPLUG-DocOwl1.5**](.\u002FDocOwl1.5\u002F) (EMNLP 2024) - mPLUG-DocOwl 1.5：统一结构学习，用于无OCR文档理解\n\n- [**TinyChart**](.\u002FTinyChart\u002F) (EMNLP 2024) - TinyChart：高效图表理解，结合视觉Token合并与思维链学习\n\n- [**mPLUG-PaperOwl**](.\u002FPaperOwl\u002F) (ACM MM 2024) - mPLUG-PaperOwl：利用多模态大语言模型进行科学图表分析\n\n- [**UReader**](.\u002FUReader\u002F) (EMNLP 2023) - UReader：通用型无OCR视觉情境语言理解，基于多模态大语言模型\n\n- [**mPLUG-DocOwl**](.\u002FDocOwl\u002F) (Arxiv 2023) - mPLUG-DocOwl：模块化多模态大语言模型，专为文档理解设计\n\n## 📺 在线演示\n注：HuggingFace上的演示不如ModelScope稳定，因为HuggingFace的ZeroGPU Spaces中的GPU是动态分配的。\n### 📖 DocOwl 1.5\n- 🤗 [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FDocOwl)\n\n- \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_9ba993df50a2.png\" width='20'> [ModelScope Space](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FmPLUG-DocOwl\u002F) \n\n### 📈 TinyChart-3B\n- 🤗 [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FTinyChart-3B)\n\n\n## 🌰 案例\n\n![images](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_readme_273ff293dabf.jpg)\n\n  \n\n## 相关项目\n\n* [mPLUG](https:\u002F\u002Fgithub.com\u002Falibaba\u002FAliceMind\u002Ftree\u002Fmain\u002FmPLUG)。\n* [mPLUG-2](https:\u002F\u002Fgithub.com\u002Falibaba\u002FAliceMind)。\n* [mPLUG-Owl](https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-Owl)","# mPLUG-DocOwl 快速上手指南\n\nmPLUG-DocOwl 是阿里巴巴集团推出的强大多模态大语言模型家族，专注于**无需 OCR 的文档理解**。该系列模型（包括 DocOwl2、DocOwl1.5、TinyChart 等）能够高效处理高分辨率、多页文档及复杂图表，将文档图像编码为极少量的 Token，在多项基准测试中达到 SOTA 水平。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 20.04+)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA GPU (建议显存 16GB 以上以运行 8B 模型，TinyChart-3B 可适当降低要求)\n*   **前置依赖**:\n    *   PyTorch (与您的 CUDA 版本匹配)\n    *   Transformers\n    *   Accelerate\n    *   DeepSpeed (可选，用于训练和高效推理)\n\n## 安装步骤\n\n推荐使用国内镜像源加速依赖安装。您可以选择通过 `pip` 直接安装基础依赖，或使用官方推荐的 `ms-swift` 框架进行微调和推理。\n\n### 方案一：基础环境安装 (HuggingFace\u002FModelScope)\n\n```bash\n# 创建虚拟环境\npython -m venv docowl-env\nsource docowl-env\u002Fbin\u002Factivate\n\n# 使用清华源安装 PyTorch (根据实际 CUDA 版本调整，此处以 cu118 为例)\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n\n# 安装其他核心依赖\npip install transformers accelerate sentencepiece protobuf -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 ModelScope (国内用户推荐，下载模型更快)\npip install modelscope -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 方案二：使用 ms-swift 框架 (推荐用于微调和最新模型)\n\n如果您计划微调 DocOwl2 或使用最新的训练代码，建议使用阿里巴巴开源的 `ms-swift`：\n\n```bash\n# 安装 ms-swift\npip install swift -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n\n以下示例展示如何使用 Python 加载 **DocOwl1.5** 模型并进行简单的文档问答。代码同时支持从 HuggingFace 和 ModelScope 加载模型（国内用户请取消 ModelScope 相关注释）。\n\n### 1. 加载模型与推理\n\n```python\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\nfrom PIL import Image\n\n# --- 配置模型路径 ---\n# 选项 A: 从 ModelScope 加载 (国内推荐)\n# model_id = \"iic\u002FmPLUG-DocOwl1.5\" \n# 选项 B: 从 HuggingFace 加载\nmodel_id = \"mPLUG\u002FDockOwl1.5\" \n\n# --- 加载模型和分词器 ---\ntokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_id,\n    device_map=\"auto\",\n    trust_remote_code=True,\n    torch_dtype=torch.float16 # 使用半精度节省显存\n).eval()\n\n# --- 准备输入 ---\n# 加载文档图片\nimage_path = \"your_document_image.png\"\nimage = Image.open(image_path).convert('RGB')\n\n# 构建提示词 (Prompt)\nquestion = \"What is the main topic of this document?\"\nmessages = [\n    {\"role\": \"user\", \"content\": [{\"type\": \"image\"}, {\"type\": \"text\", \"text\": question}]}\n]\n\n# --- 执行推理 ---\n# 注意：不同子模型（如 TinyChart, DocOwl2）的预处理方式可能略有差异，请参考对应子目录文档\ntext = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)\ninputs = tokenizer([text], return_tensors='pt').to(model.device)\n\n# 生成回答\ngenerated_ids = model.generate(\n    **inputs,\n    max_new_tokens=512,\n    do_sample=False\n)\n\ngenerated_ids = [\n    output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, generated_ids)\n]\n\nresponse = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]\nprint(response)\n```\n\n### 2. 使用在线 Demo (免部署体验)\n\n如果您希望先体验效果再部署本地环境，可以访问以下在线空间：\n\n*   **DocOwl 1.5**:\n    *   [ModelScope 在线体验](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fiic\u002FmPLUG-DocOwl\u002F) (推荐，稳定性更高)\n    *   [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FDocOwl)\n*   **TinyChart-3B** (专注图表理解):\n    *   [HuggingFace Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FmPLUG\u002FTinyChart-3B)\n\n> **提示**: 对于多页文档理解或特定任务（如 TinyChart 的程序思维推理），请参考项目中对应子文件夹（`.\u002FDocOwl2\u002F`, `.\u002FTinyChart\u002F`）下的详细推理脚本。","某金融风控团队需要每天从数百份扫描版的跨国财报和合同中提取关键数据，以进行自动化风险评估。\n\n### 没有 mPLUG-DocOwl 时\n- **流程繁琐且易错**：必须先调用独立的 OCR 引擎识别文字，再尝试还原表格结构，一旦原文档存在倾斜或模糊，识别结果就会乱码，导致后续分析完全失效。\n- **多页关联困难**：面对跨页的复杂财务报表，传统工具难以理解上下文逻辑，无法准确判断“总计”行是否包含了上一页的数据，需人工逐页核对。\n- **图表信息丢失**：文档中的趋势图和饼图仅被当作图片处理，其中的关键数值和趋势含义无法被提取，分析师不得不手动录入数据。\n- **维护成本高昂**：针对不同版式的文档需要编写大量的正则规则和预处理脚本，每当文件格式微调，整个流水线就需要重新适配。\n\n### 使用 mPLUG-DocOwl 后\n- **端到端无 OCR 解析**：mPLUG-DocOwl 直接以多模态方式理解文档图像，无需前置 OCR 步骤，即使面对低质量扫描件也能精准还原文字与布局，大幅降低错误率。\n- **长文档逻辑贯通**：凭借对多页文档的压缩编码能力，mPLUG-DocOwl 能跨越页面界限理解财务逻辑，自动关联跨页的表头与数据，确保统计口径一致。\n- **深度图表理解**：mPLUG-DocOwl 内置强大的图表分析能力，能直接读取图表中的数值趋势并生成文字总结，将非结构化图像转化为可计算的结构化数据。\n- **泛化能力强**：基于统一的结构学习，mPLUG-DocOwl 无需针对特定模板编写规则，即可适应各种未知的报表格式，显著减少了代码维护工作量。\n\nmPLUG-DocOwl 通过“去 OCR 化”的多模态理解能力，将原本耗时数天的文档清洗工作缩短至分钟级，让团队能专注于高价值的风险决策。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FX-PLUG_mPLUG-DocOwl_8a58d66e.png","X-PLUG","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FX-PLUG_6004af7a.png",null,"https:\u002F\u002Fgithub.com\u002FX-PLUG",[81,85,89],{"name":82,"color":83,"percentage":84},"Python","#3572A5",88.3,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",10.6,{"name":90,"color":91,"percentage":92},"Shell","#89e051",1.1,2372,149,"2026-04-06T16:17:28","Apache-2.0","未说明","需要 NVIDIA GPU（基于 HuggingFace\u002FModelScope 演示及 DeepSpeed 训练支持推断），具体显存大小和 CUDA 版本未在提供的文本中明确说明（通常 8B 模型推理建议 16GB+ 显存，训练需更高）",{"notes":100,"python":97,"dependencies":101},"README 主要提供了模型发布新闻、论文链接、数据集信息以及在线演示地址（HuggingFace 和 ModelScope）。具体的本地运行环境配置（如 Python 版本、具体依赖库版本号、操作系统要求）未在提供的文本片段中列出，需参考子目录（如 .\u002FDocOwl2\u002F 或 .\u002FDocOwl1.5\u002F）中的详细文档。该工具支持 OCR-free 文档理解，包含多个版本（DocOwl, DocOwl1.5, DocOwl2, TinyChart 等），其中 DocOwl2 为 8B 参数模型。训练代码已通过 ms-swift 发布，支持使用自定义数据微调。",[102,103,104,105],"ms-swift (用于微调)","DeepSpeed (用于训练)","transformers (推断)","torch (推断)",[46,15],[108,109,110,111,112,113],"chart-understanding","document-understanding","mllm","multimodal","multimodal-large-language-models","table-understanding","2026-03-27T02:49:30.150509","2026-04-07T06:14:03.702416",[117,122,127,132,137,142],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},21188,"运行推理时遇到 'Transformers does not recognize this architecture' 或 tokenizer 相关错误怎么办？","请检查以下两点：1. 确保 sentencepiece 库的版本为 0.1.98（可通过 pip install sentencepiece==0.1.98 安装）。2. 确认已完整下载 tokenizer.model 文件（大小约为 500kb），如果文件缺失或不完整会导致加载失败。","https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Fissues\u002F26",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},21189,"运行 DocOwl1.5 模型推理需要多少显存（GPU RAM）？","经过验证，推理代码可以在配备 32GB 显存的 NVIDIA V100 显卡上正常运行。如果显存不足导致溢出，建议使用至少 32GB 显存的 GPU 或尝试量化加载（如 load_8bit 或 load_4bit，需代码支持）。","https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Fissues\u002F35",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},21190,"在哪里可以找到 DocOwl 的模型权重和使用文档？","模型权重托管在 Hugging Face 的 mPLUG 组织下（https:\u002F\u002Fhuggingface.co\u002FmPLUG）。具体的使用方法和文档请参考 GitHub 仓库中的 DocOwl1.5 目录（https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Ftree\u002Fmain\u002FDocOwl1.5），那里包含了详细的推理代码示例。","https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Fissues\u002F7",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},21191,"DocStruct4M 数据集中的 \u003Cdoc>, \u003Cocr>, \u003Cmd> 等标识符在训练中是作为特殊 token 处理的吗？","这些标识符在训练中被视为普通文本处理，并没有在分词器中注册为特殊的保留 token（special tokens）。它们在数据集中用于统一不同任务的结构，但在模型输入时直接作为文本序列的一部分进行编码。","https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Fissues\u002F77",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},21192,"是否有针对 DocOwl1.5 的微调（Finetuning）代码可用？","是的，官方已在 GitHub 仓库的 DocOwl1.5 目录下发布了微调代码（https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Ftree\u002Fmain\u002FDocOwl1.5）。目前该代码临时支持 DeepSpeed zero2 模式；维护者提到在使用 zero3 模式时遇到了死锁问题，建议优先使用 zero2 进行训练。","https:\u002F\u002Fgithub.com\u002FX-PLUG\u002FmPLUG-DocOwl\u002Fissues\u002F52",{"id":143,"question_zh":144,"answer_zh":145,"source_url":141},21193,"本地化文本识别（Localized Text Recognition）的结果顺序经常错误怎么办？","结果顺序错误可能与注意力掩码（attention mask）未设置有关。运行时若出现 'The attention mask and the pad token id were not set' 警告，请确保在输入时正确传递了 attention_mask。此外，部分权重未从检查点初始化是正常的（如 rotary_emb.inv_freq），但这通常不影响推理，若顺序问题持续，建议检查输入图像的预处理或使用微调后的模型。",[]]