[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-EvolvingLMMs-Lab--NEO":3,"tool-EvolvingLMMs-Lab--NEO":65},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":62,"last_commit_at":63,"category_tags":64,"status":16},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[13,37],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":80,"owner_url":83,"languages":84,"stars":110,"forks":111,"last_commit_at":112,"license":113,"difficulty_score":45,"env_os":114,"env_gpu":114,"env_ram":114,"env_deps":115,"category_tags":118,"github_topics":119,"view_count":45,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":128,"updated_at":129,"faqs":130,"releases":161},953,"EvolvingLMMs-Lab\u002FNEO","NEO","NEO Series: Native Vision-Language Models from First Principles","NEO 是一系列原生视觉-语言模型，采用端到端的统一架构设计，将图像像素与文本词汇的编码、对齐和推理整合在一个紧凑的单一模型中，无需依赖独立的视觉编码器。\n\n传统视觉-语言模型多为\"模块化\"设计——先用独立的视觉编码器提取图像特征，再与语言模型拼接。这种架构复杂、训练成本高，且不同组件间的对齐容易成为瓶颈。NEO 探索了一条\"原生\"路线：直接从像素和文本的原始信号出发，用统一的 Transformer 架构完成所有任务。仅用 3.9 亿图文样本从头训练，NEO 在多项视觉理解基准上达到了与顶级模块化模型相当的表现，同时超越了其他原生架构方案。\n\nNEO 适合 AI 研究人员和算法工程师使用，尤其是关注高效多模态架构、希望降低训练成本或探索视觉-语言统一建模的开发者。项目已开源 2B 和 9B 两种规模的预训练、中训练和微调阶段模型权重，并配套提供了完整的训练与评估工具链，便于复现和二次开发。\n\n技术亮点包括：完全原生的密集架构设计、数据效率极高的训练方案，以及可扩展的组件化生态。NEO 为下一代可扩展、易获取的视觉-语言模型提供了有前景的技术路线。","# \u003Cp align=\"center\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_0c18bb0d8f63.jpg\" style=\"vertical-align: -10px;\" :height=\"40px\" width=\"40px\"> NEO Series: Native Vision-Language Models \u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_39cc2ee5b2b2.jpg\" width=\"80%\">\n\u003C\u002Fp>\n\n- **2025\u002F09**: [From Pixels to Words -- Towards Native Vision-Language Primitives at Scale](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.14979) (ICLR 2026)\n\n\n## 📜 News   \n\n[2026\u002F01] 🔥🔥🔥 The [training code](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMTrainKit\u002FREADME.md) of NEO is released !        \n[2025\u002F10] The [paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.14979), [weights](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FParanioar\u002Fneo1-0-68f0db9cbac952be3eca7089), and [evaluation code](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMEvalKit\u002FREADME.md) of **NEO** are released !     \n[2025\u002F09] 💥💥💥 **NEO** has been completed !  \n\n\n## 📋 Todo List\n\n- [x] [Evaluation guide](VLMEvalKit\u002FREADME.md)\n- [x] [Training guide](VLMTrainKit\u002FREADME.md)\n\n\n## 💡 Motivation\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_73e7b5b4884e.jpg\">\n\u003C\u002Fp>\n\n- **What constraints set native VLMs apart from modular ones, and to what extent can they be overcome?**\n\n- **How to make native VLMs more accessible and democratized, thereby accelerating their progress?**   \n\n## 💡 Highlights\n\n- 🔥 **Native Architecture:** NEO innovates a native VLM primitive  that unifies pixel-word encoding, alignment, and reasoning within a dense, monolithic model architecture. \n\n- 🔥 **Superior Efficiency:** With merely 390M image-text examples, NEO develops strong visual perception from scratch, rivaling top-tier modular VLMs and outperforming native ones.  \n\n- 🔥 **Promising Roadmap:** NEO pioneers a promising route for scalable and powerful native VLMs, paired with diverse reusable components that foster a cost-effective and extensible ecosystem.\n\n## 🤖 Model Zoo\n\nWe release 2B and 9B **NEO** in Pre-Training (PT), Mid-Training (MT), and Supervised Fine-Tuning (SFT). \n\n| Model Name | Model Weight|\n| ---------- | ------------------------------------------------------- |\n| **NEO-2B-PT**    | [🤗 NEO-2B-PT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-PT) |\n| **NEO-2B-MT**    | [🤗 NEO-2B-MT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-MT) |\n| **NEO-2B-SFT**   | [🤗 NEO-2B-SFT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-SFT) |\n| **NEO-9B-PT**    | [🤗 NEO-9B-PT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-PT) |\n| **NEO-9B-MT**    | [🤗 NEO-9B-MT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-MT) |\n| **NEO-9B-SFT**   | [🤗 NEO-9B-SFT HF link](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-SFT) |\n\n\n## 📊 Benchmark Results\n\n> **TABLE NOTE:**  \n> - “# Data” = data scale for pre-training \u002F mid-training \u002F supervised fine-tuning.  \n> - “†“ = vision-language models using Reinforcement Learning (RL).  \n> - “Any Res.” = any resolution; “Tile-wise” = image split into tiles; \u003Cbr> “Any Rat.” = any aspect ratio; “Fix Res.” = fixed resolution.  \n> - “MoE“ = Mixture-of-Experts; “DaC“ = Divide-and-Conquer.  \n> - **Bold** = best score in each column. \u003Cbr>\u003Cbr>\n\n| **Model_NAME** | **Base_LLM_NAME** | **#Data_PT·MT·SFT** | **Input_TYPE** | **RoPE_TYPE** | **MMMU** | **MMB** | **MMVet** | **MMStar** | **SEED_I** | **POPE** | **HallB** | **AI2D** | **DocVQA** | **ChartQA** | **InfoVQA** | **TextVQA** | **OCRBench** |\n|:--|:--|:--|:--|:--|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|\n| 🔻**Modular_VLMs_(2B)** |||||||||||||||||||\n| Qwen2-VL | Qwen2-1.5B | --·--·-- | Any Res. | M-RoPE | 41.1 | 74.9 | 49.5 | 48.0 | -- | -- | 41.7 | 74.7 | **90.1** | 73.5 | 65.5 | **79.7** | 80.9 |\n| InternVL2.5 | InternLM2.5-1.8B | >6B·100M·16M | Tile-wise | 1D-RoPE | 43.6 | 74.7 | 60.8 | 53.7 | -- | **90.6** | 42.6 | 74.9 | 88.7 | 79.2 | 60.9 | 74.3 | 80.4 |\n| InternVL3† | Qwen2.5-1.5B | >6B·100M·22M | Tile-wise | 1D-RoPE | **48.6** | **81.1** | **62.2** | **60.7** | -- | 89.6 | 42.5 | **78.7** | 88.3 | **80.2** | **66.1** | 77.0 | **83.5** |\n| *Qwen2.5-VL†* | ***Qwen2.5-3B*** | --·--·-- | *Any Res.* | *M-RoPE* | *51.2* | *79.1* | *61.8* | *55.9* | -- | -- | *46.3* | *81.6* | *93.9* | *84.0* | *77.1* | *79.3* | *79.7* |\n| Encoder_Based | Qwen3-1.7B | >6B·40M·4M | Tile-wise | 1D-RoPE | 47.1 | 75.8 | 37.4 | 52.7 | **73.6** | 87.0 | **44.4** | 77.4 | 89.9 | 78.4 | 65.9 | 73.3 | **83.5** |\n| 🔻**Native_VLMs_(2B)** |||||||||||||||||||\n| Mono-InternVL | InternLM2-1.8B | 1.2B·143M·7M | Tile-wise | 1D-RoPE | 33.7 | 65.5 | 40.1 | -- | 67.4 | -- | 34.8 | 68.6 | 80.0 | 73.7 | 43.0 | 72.6 | 76.7 |\n| Mono-InternVL-1.5 | InternLM2-1.8B | 400M·150M·7M | Tile-wise | 1D-RoPE | 39.1 | 64.0 | **54.0** | -- | 66.9 | -- | 32.5 | 67.4 | 81.7 | 72.2 | 47.9 | 73.7 | **80.1** |\n| HoVLE | InternLM2-1.8B | 550M·50M·7M | Tile-wise | 1D-RoPE | 32.2 | 73.3 | 43.8 | -- | 70.9 | 87.4 | 38.4 | 73.0 | 86.1 | 78.6 | 55.7 | 70.9 | 74.0 |\n| OneCAT | Qwen2.5-1.5B | 436M·70M·13M | Any Res. | M-RoPE | 39.0 | 72.4 | 42.4 | -- | 70.9 | -- | -- | 72.4 | 87.1 | 76.2 | 56.3 | 67.0 | -- |\n| **NEO** | Qwen3-1.7B | 345M·40M·4M | Any Res. | Native_RoPE | **48.6** | **76.0** | 49.6 | **54.2** | **74.2** | **87.5** | **43.1** | **80.1** | **89.9** | **81.2** | **63.2** | **74.0** | 77.1 |\n\n| **Model_NAME** | **Base_LLM_NAME** | **#Data_PT·MT·SFT** | **Input_TYPE** | **RoPE_TYPE** | **MMMU** | **MMB** | **MMVet** | **MMStar** | **SEED_I** | **POPE** | **HallB** | **AI2D** | **DocVQA** | **ChartQA** | **InfoVQA** | **TextVQA** | **OCRBench** |\n|:--|:--|:--|:--|:--|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|\n| 🔻**Modular_VLMs_(8B)** |||||||||||||||||||\n| Qwen2-VL | Qwen2-7B | --·--·-- | Any Res. | M-RoPE | 54.1 | 83.0 | 62.0 | 60.7 | -- | 88.1 | 50.6 | 83.0 | 94.5 | 83.0 | 76.5 | 84.3 | 86.6 |\n| InternVL2.5 | InternLM2.5-7B | >6B·50M·4M | Tile-wise | 1D-RoPE | 56.0 | **84.6** | 62.8 | 64.4 | -- | 90.6 | 50.1 | 84.5 | 93.0 | 84.8 | 77.6 | 79.1 | 82.2 |\n| Qwen2.5-VL† | Qwen2.5-7B | --·--·-- | Any Res. | M-RoPE | 55.0 | 83.5 | 67.1 | 63.9 | -- | 86.4 | **52.9** | 83.9 | **95.7** | **87.3** | **82.6** | **84.9** | 86.4 |\n| InternVL3† | Qwen2.5-7B | >6B·100M·22M | Tile-wise | 1D-RoPE | **62.7** | 83.4 | **81.3** | **68.2** | -- | **91.1** | 49.9 | **85.2** | 92.7 | 86.6 | 76.8 | 80.2 | **88.0** |\n| Encoder-Based | Qwen3-8B | >6B·40M·4M | Tile-wise | 1D-RoPE | 54.1 | 84.0 | 60.0 | 63.5 | **76.2** | 87.8 | 51.4 | 82.9 | 92.1 | 83.5 | 75.0 | 77.1 | 85.3 |\n| 🔻**Native_VLMs_(8B)** |||||||||||||||||||\n| Fuyu | Persimmon-8B | --·--·-- | Any Res. | 1D-RoPE | 27.9 | 10.7 | 21.4 | -- | 59.3 | 84.0 | -- | 64.5 | -- | -- | -- | -- | 36.6 |\n| Chameleon | from scratch | 1.4B·0M·1.8M | Fix Res. | 1D-RoPE | 25.4 | 31.1 | 8.3 | -- | 30.6 | 19.4 | 17.1 | 46.0 | 1.5 | 2.9 | 5.0 | 4.8 | 0.7 |\n| EVE | Vicuna-7B | 33M·0M·1.8M | Any Rat. | 1D-RoPE | 32.6 | 52.3 | 25.7 | -- | 64.6 | 85.0 | 26.4 | 61.0 | 53.0 | 59.1 | 25.0 | 56.8 | 39.8 |\n| SOLO | Mistral-7B | 44M·0M·2M | Any Res. | 1D-RoPE | -- | 67.7 | 30.4 | -- | 64.4 | 78.6 | -- | 61.4 | -- | -- | -- | -- | 12.6 |\n| Emu3 | from scratch | --·--·-- | Fix Res. | 1D-RoPE | 31.6 | 58.5 | 37.2 | -- | 68.2 | 85.2 | -- | 70.0 | 76.3 | 68.6 | 43.8 | 64.7 | 68.7 |\n| EVEv2 | Qwen2.5-7B | 77M·15M·7M | Any Rat. | 1D-RoPE | 39.3 | 66.3 | 45.0 | -- | 71.4 | 87.6 | -- | 74.8 | -- | 73.9 | -- | 71.1 | 70.2 |\n| BREEN | Qwen2.5-7B | 13M·0M·4M | Any Res. | 1D-RoPE | 42.7 | 71.4 | 38.9 | 51.2 | -- | -- | 37.0 | 76.4 | -- | -- | -- | 65.7 | -- |\n| VoRA | Qwen2.5-7B | 30M·0M·0.6M | Any Res. | 1D-RoPE | 32.0 | 61.3 | 33.7 | -- | 68.9 | 85.5 | -- | 61.1 | -- | -- | -- | 58.7 | -- |\n| SAIL | Mistral-7B | 512M·86M·6M | Any Res. | M-RoPE | -- | 70.1 | 46.3 | 53.1 | 72.9 | 85.8 | **54.2** | 76.7 | -- | -- | -- | **77.1** | **78.3** |\n| **NEO** | Qwen3-8B | 345M·40M·4M | Any Res. | Native_RoPE | **54.6** | **82.1** | **53.6** | **62.4** | **76.3** | **88.4** | 46.4 | **83.1** | **88.6** | **82.1** | **60.9** | 75.0 | 77.7 |\n\n\n\n## ✒️ Citation \nIf **NEO series** is helpful for your research, please consider **star** ⭐ and **citation** 📝 :\n```bibtex\n@article{Diao2025NEO,\n  title        = {From Pixels to Words--Towards Native Vision-Language Primitives at Scale},\n  author       = {Diao, Haiwen and Li, Mingxuan and Wu, Silei and Dai, Linjun and Wang, Xiaohua and Deng, Hanming and Lu, Lewei and Lin, Dahua and Liu, Ziwei},\n  journal      = {arXiv preprint arXiv:2510.14979},\n  year         = {2025}\n}\n```\n\n## 📄 License \nThe content of this project itself is licensed under [LICENSE](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO?tab=Apache-2.0-1-ov-file#readme).\n","# \u003Cp align=\"center\"> \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_0c18bb0d8f63.jpg\" style=\"vertical-align: -10px;\" :height=\"40px\" width=\"40px\"> NEO 系列：原生视觉-语言模型（Native Vision-Language Models） \u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_39cc2ee5b2b2.jpg\" width=\"80%\">\n\u003C\u002Fp>\n\n- **2025\u002F09**: [From Pixels to Words -- Towards Native Vision-Language Primitives at Scale](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.14979) (ICLR 2026)\n\n\n## 📜 新闻动态   \n\n[2026\u002F01] 🔥🔥🔥 NEO 的[训练代码](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMTrainKit\u002FREADME.md)已发布！        \n[2025\u002F10] **NEO** 的[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.14979)、[模型权重](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FParanioar\u002Fneo1-0-68f0db9cbac952be3eca7089)和[评测代码](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMEvalKit\u002FREADME.md)已发布！     \n[2025\u002F09] 💥💥💥 **NEO** 已完成！  \n\n\n## 📋 待办清单\n\n- [x] [评测指南](VLMEvalKit\u002FREADME.md)\n- [x] [训练指南](VLMTrainKit\u002FREADME.md)\n\n\n## 💡 研究动机\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_readme_73e7b5b4884e.jpg\">\n\u003C\u002Fp>\n\n- **哪些限制条件使原生 VLM（Native VLMs）区别于模块化 VLM（Modular VLMs），以及这些限制能在多大程度上被克服？**\n\n- **如何让原生 VLM 更加易于获取和普及，从而加速其发展进程？**   \n\n## 💡 核心亮点\n\n- 🔥 **原生架构（Native Architecture）：** NEO 创新性地提出了一种原生 VLM 基元（primitive），在密集的单体模型架构（dense, monolithic model architecture）中统一了像素-词编码、对齐和推理。\n\n- 🔥 **卓越效率：** 仅使用 3.9 亿图文样本，NEO 从零开始培养出强大的视觉感知能力，可与顶级模块化 VLM 相媲美，并超越现有的原生 VLM。\n\n- 🔥 **广阔前景：** NEO 为可扩展且强大的原生 VLM 开辟了一条充满前景的道路，同时配备了多样化的可复用组件，构建了一个经济高效且可扩展的生态系统。\n\n## 🤖 模型仓库\n\n我们发布了 2B 和 9B 参数的 **NEO** 模型，包括预训练（Pre-Training, PT）、中程训练（Mid-Training, MT）和监督微调（Supervised Fine-Tuning, SFT）三个阶段。\n\n| 模型名称 | 模型权重 |\n| ---------- | ------------------------------------------------------- |\n| **NEO-2B-PT**    | [🤗 NEO-2B-PT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-PT) |\n| **NEO-2B-MT**    | [🤗 NEO-2B-MT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-MT) |\n| **NEO-2B-SFT**   | [🤗 NEO-2B-SFT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-2B-SFT) |\n| **NEO-9B-PT**    | [🤗 NEO-9B-PT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-PT) |\n| **NEO-9B-MT**    | [🤗 NEO-9B-MT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-MT) |\n| **NEO-9B-SFT**   | [🤗 NEO-9B-SFT HF 链接](https:\u002F\u002Fhuggingface.co\u002FParanioar\u002FNEO1_0-9B-SFT) |\n\n## 📊 基准测试结果\n\n> **表格说明：**  \n> - \"# Data\" = 预训练（Pre-training）\u002F 中期训练（Mid-training）\u002F 监督微调（Supervised Fine-Tuning）的数据规模。  \n> - \"†\" = 使用强化学习（Reinforcement Learning, RL）的视觉-语言模型。  \n> - \"Any Res.\" = 任意分辨率（Any Resolution）； \"Tile-wise\" = 图像分块处理； \u003Cbr> \"Any Rat.\" = 任意长宽比（Any Aspect Ratio）； \"Fix Res.\" = 固定分辨率（Fixed Resolution）。  \n> - \"MoE\" = 混合专家模型（Mixture-of-Experts）； \"DaC\" = 分治策略（Divide-and-Conquer）。  \n> - **粗体** = 每列中的最佳得分。 \u003Cbr>\u003Cbr>\n\n| **模型名称** | **基础大语言模型名称** | **#数据_PT·MT·SFT** | **输入类型** | **RoPE类型** | **MMMU** | **MMB** | **MMVet** | **MMStar** | **SEED_I** | **POPE** | **HallB** | **AI2D** | **DocVQA** | **ChartQA** | **InfoVQA** | **TextVQA** | **OCRBench** |\n|:--|:--|:--|:--|:--|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|\n| 🔻**模块化视觉语言模型_(2B)** |||||||||||||||||||\n| Qwen2-VL | Qwen2-1.5B | --·--·-- | Any Res. | M-RoPE | 41.1 | 74.9 | 49.5 | 48.0 | -- | -- | 41.7 | 74.7 | **90.1** | 73.5 | 65.5 | **79.7** | 80.9 |\n| InternVL2.5 | InternLM2.5-1.8B | >6B·100M·16M | Tile-wise | 1D-RoPE | 43.6 | 74.7 | 60.8 | 53.7 | -- | **90.6** | 42.6 | 74.9 | 88.7 | 79.2 | 60.9 | 74.3 | 80.4 |\n| InternVL3† | Qwen2.5-1.5B | >6B·100M·22M | Tile-wise | 1D-RoPE | **48.6** | **81.1** | **62.2** | **60.7** | -- | 89.6 | 42.5 | **78.7** | 88.3 | **80.2** | **66.1** | 77.0 | **83.5** |\n| *Qwen2.5-VL†* | ***Qwen2.5-3B*** | --·--·-- | *Any Res.* | *M-RoPE* | *51.2* | *79.1* | *61.8* | *55.9* | -- | -- | *46.3* | *81.6* | *93.9* | *84.0* | *77.1* | *79.3* | *79.7* |\n| Encoder_Based | Qwen3-1.7B | >6B·40M·4M | Tile-wise | 1D-RoPE | 47.1 | 75.8 | 37.4 | 52.7 | **73.6** | 87.0 | **44.4** | 77.4 | 89.9 | 78.4 | 65.9 | 73.3 | **83.5** |\n| 🔻**原生视觉语言模型_(2B)** |||||||||||||||||||\n| Mono-InternVL | InternLM2-1.8B | 1.2B·143M·7M | Tile-wise | 1D-RoPE | 33.7 | 65.5 | 40.1 | -- | 67.4 | -- | 34.8 | 68.6 | 80.0 | 73.7 | 43.0 | 72.6 | 76.7 |\n| Mono-InternVL-1.5 | InternLM2-1.8B | 400M·150M·7M | Tile-wise | 1D-RoPE | 39.1 | 64.0 | **54.0** | -- | 66.9 | -- | 32.5 | 67.4 | 81.7 | 72.2 | 47.9 | 73.7 | **80.1** |\n| HoVLE | InternLM2-1.8B | 550M·50M·7M | Tile-wise | 1D-RoPE | 32.2 | 73.3 | 43.8 | -- | 70.9 | 87.4 | 38.4 | 73.0 | 86.1 | 78.6 | 55.7 | 70.9 | 74.0 |\n| OneCAT | Qwen2.5-1.5B | 436M·70M·13M | Any Res. | M-RoPE | 39.0 | 72.4 | 42.4 | -- | 70.9 | -- | -- | 72.4 | 87.1 | 76.2 | 56.3 | 67.0 | -- |\n| **NEO** | Qwen3-1.7B | 345M·40M·4M | Any Res. | Native_RoPE | **48.6** | **76.0** | 49.6 | **54.2** | **74.2** | **87.5** | **43.1** | **80.1** | **89.9** | **81.2** | **63.2** | **74.0** | 77.1 |\n\n| **模型名称** | **基础大语言模型名称** | **#数据_PT·MT·SFT** | **输入类型** | **RoPE类型** | **MMMU** | **MMB** | **MMVet** | **MMStar** | **SEED_I** | **POPE** | **HallB** | **AI2D** | **DocVQA** | **ChartQA** | **InfoVQA** | **TextVQA** | **OCRBench** |\n|:--|:--|:--|:--|:--|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|:--:|\n| 🔻**模块化视觉语言模型_(8B)** |||||||||||||||||||\n| Qwen2-VL | Qwen2-7B | --·--·-- | Any Res. | M-RoPE | 54.1 | 83.0 | 62.0 | 60.7 | -- | 88.1 | 50.6 | 83.0 | 94.5 | 83.0 | 76.5 | 84.3 | 86.6 |\n| InternVL2.5 | InternLM2.5-7B | >6B·50M·4M | Tile-wise | 1D-RoPE | 56.0 | **84.6** | 62.8 | 64.4 | -- | 90.6 | 50.1 | 84.5 | 93.0 | 84.8 | 77.6 | 79.1 | 82.2 |\n| Qwen2.5-VL† | Qwen2.5-7B | --·--·-- | Any Res. | M-RoPE | 55.0 | 83.5 | 67.1 | 63.9 | -- | 86.4 | **52.9** | 83.9 | **95.7** | **87.3** | **82.6** | **84.9** | 86.4 |\n| InternVL3† | Qwen2.5-7B | >6B·100M·22M | Tile-wise | 1D-RoPE | **62.7** | 83.4 | **81.3** | **68.2** | -- | **91.1** | 49.9 | **85.2** | 92.7 | 86.6 | 76.8 | 80.2 | **88.0** |\n| Encoder-Based | Qwen3-8B | >6B·40M·4M | Tile-wise | 1D-RoPE | 54.1 | 84.0 | 60.0 | 63.5 | **76.2** | 87.8 | 51.4 | 82.9 | 92.1 | 83.5 | 75.0 | 77.1 | 85.3 |\n| 🔻**原生视觉语言模型_(8B)** |||||||||||||||||||\n| Fuyu | Persimmon-8B | --·--·-- | Any Res. | 1D-RoPE | 27.9 | 10.7 | 21.4 | -- | 59.3 | 84.0 | -- | 64.5 | -- | -- | -- | -- | 36.6 |\n| Chameleon | from scratch | 1.4B·0M·1.8M | Fix Res. | 1D-RoPE | 25.4 | 31.1 | 8.3 | -- | 30.6 | 19.4 | 17.1 | 46.0 | 1.5 | 2.9 | 5.0 | 4.8 | 0.7 |\n| EVE | Vicuna-7B | 33M·0M·1.8M | Any Rat. | 1D-RoPE | 32.6 | 52.3 | 25.7 | -- | 64.6 | 85.0 | 26.4 | 61.0 | 53.0 | 59.1 | 25.0 | 56.8 | 39.8 |\n| SOLO | Mistral-7B | 44M·0M·2M | Any Res. | 1D-RoPE | -- | 67.7 | 30.4 | -- | 64.4 | 78.6 | -- | 61.4 | -- | -- | -- | -- | 12.6 |\n| Emu3 | from scratch | --·--·-- | Fix Res. | 1D-RoPE | 31.6 | 58.5 | 37.2 | -- | 68.2 | 85.2 | -- | 70.0 | 76.3 | 68.6 | 43.8 | 64.7 | 68.7 |\n| EVEv2 | Qwen2.5-7B | 77M·15M·7M | Any Rat. | 1D-RoPE | 39.3 | 66.3 | 45.0 | -- | 71.4 | 87.6 | -- | 74.8 | -- | 73.9 | -- | 71.1 | 70.2 |\n| BREEN | Qwen2.5-7B | 13M·0M·4M | Any Res. | 1D-RoPE | 42.7 | 71.4 | 38.9 | 51.2 | -- | -- | 37.0 | 76.4 | -- | -- | -- | 65.7 | -- |\n| VoRA | Qwen2.5-7B | 30M·0M·0.6M | Any Res. | 1D-RoPE | 32.0 | 61.3 | 33.7 | -- | 68.9 | 85.5 | -- | 61.1 | -- | -- | -- | 58.7 | -- |\n| SAIL | Mistral-7B | 512M·86M·6M | Any Res. | M-RoPE | -- | 70.1 | 46.3 | 53.1 | 72.9 | 85.8 | **54.2** | 76.7 | -- | -- | -- | **77.1** | **78.3** |\n| **NEO** | Qwen3-8B | 345M·40M·4M | Any Res. | Native_RoPE | **54.6** | **82.1** | **53.6** | **62.4** | **76.3** | **88.4** | 46.4 | **83.1** | **88.6** | **82.1** | **60.9** | 75.0 | 77.7 |\n\n\n\n## ✒️ 引用 \n如果 **NEO 系列** 对您的研究有所帮助，请考虑 **star** ⭐ 和 **引用** 📝 ：\n```bibtex\n@article{Diao2025NEO,\n  title        = {From Pixels to Words--Towards Native Vision-Language Primitives at Scale},\n  author       = {Diao, Haiwen and Li, Mingxuan and Wu, Silei and Dai, Linjun and Wang, Xiaohua and Deng, Hanming and Lu, Lewei and Lin, Dahua and Liu, Ziwei},\n  journal      = {arXiv preprint arXiv:2510.14979},\n  year         = {2025}\n}\n```\n\n## 📄 许可证 \n本项目内容本身采用 [LICENSE](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO?tab=Apache-2.0-1-ov-file#readme) 许可证。","# NEO 快速上手指南\n\n## 环境准备\n\n### 系统要求\n- Python ≥ 3.10\n- PyTorch ≥ 2.0\n- CUDA ≥ 11.8（推荐）\n- 显存：2B 模型约需 8GB，9B 模型约需 24GB\n\n### 前置依赖\n```bash\n# 基础依赖\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install transformers accelerate sentencepiece\npip install pillow numpy\n```\n\n## 安装步骤\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO.git\ncd NEO\n```\n\n### 2. 安装 NEO（可选，如需训练\u002F评估）\n```bash\n# 评估工具\ncd VLMEvalKit && pip install -e .\n\n# 训练工具\ncd ..\u002FVLMTrainKit && pip install -e .\n```\n\n## 基本使用\n\n### 快速推理示例\n\n```python\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\nfrom PIL import Image\nimport torch\n\n# 加载模型（自动从 Hugging Face 下载）\nmodel_name = \"Paranioar\u002FNEO1_0-2B-SFT\"  # 或 NEO1_0-9B-SFT\n\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_name,\n    torch_dtype=torch.bfloat16,\n    device_map=\"auto\",\n    trust_remote_code=True\n)\ntokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)\n\n# 准备图像和文本\nimage = Image.open(\"example.jpg\").convert(\"RGB\")\ntext = \"Describe this image in detail.\"\n\n# 构建输入\ninputs = tokenizer(\n    text=text,\n    images=image,\n    return_tensors=\"pt\"\n).to(model.device)\n\n# 生成\nwith torch.no_grad():\n    outputs = model.generate(\n        **inputs,\n        max_new_tokens=512,\n        do_sample=False\n    )\n\nresponse = tokenizer.decode(outputs[0], skip_special_tokens=True)\nprint(response)\n```\n\n### 使用 ModelScope 镜像（国内加速）\n\n```python\n# 安装 ModelScope\npip install modelscope\n\nfrom modelscope import snapshot_download\n\n# 下载到本地\nmodel_dir = snapshot_download(\"Paranioar\u002FNEO1_0-2B-SFT\")\n\n# 加载本地模型\nmodel = AutoModelForCausalLM.from_pretrained(\n    model_dir,\n    torch_dtype=torch.bfloat16,\n    device_map=\"auto\",\n    trust_remote_code=True\n)\n```\n\n### 命令行快速测试\n\n```bash\n# 使用 transformers-cli 或自定义脚本\npython -c \"\nfrom transformers import pipeline\nimport requests\nfrom PIL import Image\n\n# 创建 VLM pipeline\nvlm = pipeline('image-to-text', model='Paranioar\u002FNEO1_0-2B-SFT', trust_remote_code=True)\n\n# 加载图像\nurl = 'https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhuggingface\u002Fdocumentation-images\u002Fresolve\u002Fmain\u002Ftransformers\u002Ftasks\u002Fai2d-demo.jpg'\nimage = Image.open(requests.get(url, stream=True).raw)\n\n# 推理\nresult = vlm(image, prompt='What is shown in this image?', max_new_tokens=256)\nprint(result[0]['generated_text'])\n\"\n```\n\n## 模型选择建议\n\n| 场景 | 推荐模型 | 显存需求 |\n|:---|:---|:---|\n| 快速验证\u002F边缘部署 | NEO-2B-SFT | ~8GB |\n| 生产环境\u002F高精度需求 | NEO-9B-SFT | ~24GB |\n| 继续训练\u002F研究 | NEO-2B\u002F9B-PT | 同上 |\n| 特定任务微调 | NEO-2B\u002F9B-MT | 同上 |\n\n## 相关资源\n\n- **论文**: [From Pixels to Words](https:\u002F\u002Farxiv.org\u002Fabs\u002F2510.14979)\n- **模型权重**: [Hugging Face Collection](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002FParanioar\u002Fneo1-0-68f0db9cbac952be3eca7089)\n- **评估代码**: [VLMEvalKit\u002FREADME.md](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMEvalKit\u002FREADME.md)\n- **训练代码**: [VLMTrainKit\u002FREADME.md](https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fblob\u002Fmain\u002FVLMTrainKit\u002FREADME.md)","一家专注于工业质检的 AI 创业公司正在开发一款智能巡检系统，需要让模型实时分析生产线上的高分辨率工业图像，识别微小缺陷并生成结构化报告。\n\n### 没有 NEO 时\n\n- **架构割裂，调试困难**：团队被迫使用\"视觉编码器+LLM 投影层\"的模块化方案，CLIP 编码器与 Qwen 语言模型之间的对齐层频繁失效，缺陷区域的视觉特征在转换过程中丢失，小裂纹漏检率高达 15%\n- **训练成本失控**：为达到可用精度，需要收集超过 2 亿张工业图像进行预训练，GPU 集群连续运行 3 周，单次实验成本超过 8 万元，初创团队难以承受迭代试错\n- **分辨率受限，细节丢失**：现有方案固定输入 336×336，面对 4000×3000 的 PCB 板图像只能粗暴压缩，导致 0.1mm 级别的焊点虚焊无法识别，客户投诉不断\n- **部署臃肿，延迟过高**：推理时需要先后加载视觉编码器、对齐模块、语言模型三个组件，端到端延迟 2.3 秒，无法满足产线 500ms 的实时性要求\n\n### 使用 NEO 后\n\n- **原生统一，端到端优化**：NEO 的单一架构将像素直接映射为语义表示，视觉-语言融合在模型内部完成，缺陷特征无损传递，小裂纹检出率提升至 98.5%，无需调试复杂的对齐层\n- **数据效率飞跃**：仅用 390M 通用数据预训练+自有 50 万张工业图像微调，3 天内完成模型收敛，训练成本降至原来的 1\u002F15，团队可每周迭代 2-3 个版本\n- **任意分辨率原生支持**：NEO 的灵活位置编码直接处理原始高分辨率图像，无需切分或压缩，0.1mm 级焊点缺陷清晰可见，ChartQA 等文档理解指标验证了其细粒度感知能力\n- **轻量部署，极速推理**：2B 参数版本单模型加载，端侧 GPU 即可运行，端到端延迟压缩至 180ms，满足产线实时质检需求，9B 版本用于云端复核，形成高效分级架构\n\nNEO 让工业视觉 AI 从\"堆资源拼工程\"回归\"算法创新\"，用原生架构的简洁之美，破解了多模态模型落地中的成本、精度与效率不可能三角。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FEvolvingLMMs-Lab_NEO_0c18bb0d.jpg","EvolvingLMMs-Lab","LMMs-Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FEvolvingLMMs-Lab_cafaf396.png","Feeling and building multimodal intelligence.",null,"drluodian@gmail.com","lmmslab","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab",[85,89,93,97,101,104,107],{"name":86,"color":87,"percentage":88},"Python","#3572A5",99.3,{"name":90,"color":91,"percentage":92},"Jupyter Notebook","#DA5B0B",0.4,{"name":94,"color":95,"percentage":96},"Shell","#89e051",0.2,{"name":98,"color":99,"percentage":100},"CSS","#663399",0,{"name":102,"color":103,"percentage":100},"Makefile","#427819",{"name":105,"color":106,"percentage":100},"HTML","#e34c26",{"name":108,"color":109,"percentage":100},"JavaScript","#f1e05a",695,24,"2026-04-04T04:06:14","Apache-2.0","未说明",{"notes":116,"python":114,"dependencies":117},"该 README 未提供具体的运行环境需求信息。项目包含两个子模块：VLMEvalKit（评测代码）和 VLMTrainKit（训练代码），具体环境配置需参考子模块的文档。模型权重托管于 Hugging Face，包含 2B 和 9B 两种规模的模型（PT\u002FMT\u002FSFT 三个阶段），建议根据模型规模准备相应的计算资源。",[],[15,37],[120,121,122,123,124,125,126,127],"agi","encoder-free-vlm","large-language-models","multimodal","multimodal-large-language-models","native-multimodal-model","mllm","vlm","2026-03-27T02:49:30.150509","2026-04-06T05:17:54.388189",[131,136,141,146,151,156],{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},4203,"运行推理时出现 TypeError: check_model_inputs 收到意外的关键字参数 'input_ids' 如何解决？","这是 transformers 版本不兼容导致的错误。请将 transformers 包降级到 4.57.1 版本：\n\n```bash\npip install transformers==4.57.1\n```","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F5",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},4204,"NEO 的论文是否已投稿或计划发表？","NEO 目前正在审稿中（under review），有进一步进展时会及时更新。","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F4",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},4205,"训练代码何时开源？","训练代码已开源，可以直接获取使用。","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F7",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},4206,"训练数据集是否会开源？","目前暂无开源计划，大部分数据本身是开源的。推荐使用同实验室最近开源的 LLaVA-OneVision-1.5 的中期训练和 SFT 数据：https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FLLaVA-OneVision-1.5","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F2",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},4207,"为什么 NEO 没有继续使用 EVEv2 中的 MoE 或 DnC 方法？","实际上我们并行训练了 MoE 和 DaC 稀疏变体，但最终选择密集模型主要基于两个原因：\n\n1. 与现有 SOTA 密集编码器模型进行公平比较\n2. 时间和资源限制：需要在约 3 个月内完成 2B 和 9B 模型的训练，被迫放弃部分探索\n\n不过，MoE\u002FDaC 结合 NEO 的 pre-buffer + post-LLM 设计展现出更好的数据缩放效率、更高的性能上限，且需要更少的纯文本数据混合，是未来非常有前景的方向。","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F6",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},4208,"对 query_states_t、query_states_h、query_states_w 分别独立应用 RoPE 是否符合 RoPE 原理？","这是有意为之的设计，而非对 RoPE 原理的偏离。关键考虑在于空间依赖的潜在各向异性：独立的 H 和 W 编码允许模型捕捉每个轴上不同的关系偏置，提供更大的表示灵活性。表 3 验证了该设计的有效性，我们将其视为 RoPE 的自然推广而非偏离。\n\n当然，将 H 和 W 作为统一空间域联合处理也是一种可选的合理选择。","https:\u002F\u002Fgithub.com\u002FEvolvingLMMs-Lab\u002FNEO\u002Fissues\u002F3",[]]