[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jqtangust--Robust-R1":3,"tool-jqtangust--Robust-R1":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":97,"forks":98,"last_commit_at":99,"license":81,"difficulty_score":45,"env_os":100,"env_gpu":101,"env_ram":102,"env_deps":103,"category_tags":112,"github_topics":113,"view_count":10,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":120,"updated_at":121,"faqs":122,"releases":123},3069,"jqtangust\u002FRobust-R1","Robust-R1","🔥🔥🔥[AAAI 2026 Oral] Official Implementation of Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding","Robust-R1 是一款专为提升视觉理解鲁棒性而设计的开源 AI 模型，其核心成果已获 AAAI 2026 口头报告收录。在现实场景中，图像常因模糊、噪声或低分辨率等“退化”现象导致信息丢失，传统多模态模型往往难以准确识别或产生幻觉。Robust-R1 创新性地引入了“感知退化的推理机制”，不仅能诊断图像质量下降对语义信息的具体影响，还通过优化视觉编码器与大语言模型之间的退化传播关系，实现了端到端的协同增强。\n\n该项目基于 Qwen2.5-VL 架构，提供了经过监督微调（SFT）和强化学习（RL）优化的多个预训练权重，并配套开源了专用的训练数据集。技术亮点在于其显式的退化诊断能力，使得模型在面对低质量输入时，仍能保持高精度的逻辑推理与内容理解。\n\nRobust-R1 非常适合计算机视觉研究人员、多模态算法开发者以及需要处理复杂真实场景数据的企业团队使用。研究者可以利用其开源代码和数据复现前沿实验，开发者则能通过简单的命令行或图形界面快速部署，构建抗干扰能力更强的智能视觉应用。无论是学术探索还是工程落地，它都为解决“脏数据”下的视觉理解难题提供了一套成熟且高效的解决方案。","\u003Cdiv align=\"center\">\n\n# [AAAI 2026 Oral] Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding\nThis is the official repository for Robust-R1.\n\n[Jiaqi Tang^](https:\u002F\u002Fjqt.me\u002F), \n[Jianmin Chen^](https:\u002F\u002Fgithub.com\u002FCh921-cell), \n\\\n[Wei Wei**](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=v8KMYlwAAAAJ), \n[Xiaogang Xu](https:\u002F\u002Fxuxiaogang.com\u002F), \n[Runtao Liu](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=YHTvXF4AAAAJ), \n[Xiangyu Wu](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=R0GjVWIAAAAJ&hl=en), \n[Qipeng Xie](), \n[Jiafei Wu](), \n[Lei Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=0Kg6Gi4AAAAJ) and \n\\\n[Qifeng Chen*](https:\u002F\u002Fcqf.io)\n\n^: Equal contribution. *: Corresponding Author. **: Co-corresponding Author.\n\n[![Paper](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcs.CV-Paper-b31b1b?style=flat&logo=arxiv&logoColor=white)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2512.17532)\n[![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Models-ffd21e)](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1)\n[![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Data-ffd21e)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1)\n[![made-for-VSCode](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMade%20for-VSCode-1f425f.svg)](https:\u002F\u002Fcode.visualstudio.com\u002F)\n[![License: MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-green.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n\u003C\u002Fdiv>\n\n## 📰 **News**\n- **[2025-12-23]** 🔥 Online demo is now available at [HF Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJiaqi-hkust\u002FRobust-R1).\n- **[2025-12-23]** 🔥 We release the [Code](https:\u002F\u002Fgithub.com\u002Fjqtangust\u002FRobust-R1), [Models](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1), and [Dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) on HuggingFace.\n- **[2025-12-22]** ✅ Our paper is now available on [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002Fyour-paper-id).\n- **[2025-11-08]** 🚀 Our paper is accepted by **AAAI 2026 Oral**.\n\n\n---\n\n## 🔭 **Motivation**\n\n- 🚩 **Limited Interpretability**: Lack of explicit mechanisms to diagnose degradation impacts on original semantic information.\n- 🚩 **Isolated Optimization**: Neglect of the degradation propagation relation between the visual encoder and large language model.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjqtangust_Robust-R1_readme_5426ea13a208.png\" width=\"85%\" alt=\"Method Overview\">\n  \u003Cbr>\n\u003C\u002Fdiv>\n\n---\n\n## 🛠️ **Installation**\n\n- **Clone the repository:**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fjqtangust\u002FRobust-R1.git\n   cd Robust-R1\n   ```\n\n- **Create environment:**\n   ```bash\n   conda create -n robust_r1 python=3.10\n   conda activate robust_r1\n   bash setup.sh\n   ```\n---\n\n### 🏰 **Pretrained and Fine-tuned Model**\n\n- The following checkpoints are utilized to run Robust-R1:\n\n  | Checkpoint | Link | Note |\n  |:---------:|:----:|:----:|\n  | Qwen2.5-VL-Base | [link](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-VL-3B-Instruct) | Used as initial weights for training. |\n  | **Robust-R1-SFT** | [link](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-SFT) | Fine-tuned on [Robust-R1 dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) |\n  | **Robust-R1-RL** | [link](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-RL) | Fine-tuned with reinforcement learning on [Robust-R1 dataset](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) |\n\n---\n\n## ⏳ **Demo**\n\n### 🖥️ CLI Demo\n\n- Run the command-line demo with a question:\n\n  ```bash\n  # if you use local weight\n  export MODEL_PATH=\"your_model_name_or_path\"\n\n  python demo.py \"What type of vehicles are the people riding?\\n0. trucks\\n1. wagons\\n2. jeeps\\n3. cars\\n\"\n  ```\n\n### 🌐 GUI Demo\n\n- Set the model path as an environment variable and run the demo:\n\n  ```bash\n  # if you use local weight\n  export MODEL_PATH=\"your_model_name_or_path\"\n  \n  python app.py\n  ```\n\n- The demo will be available at `http:\u002F\u002Flocalhost:7860` by default.\n\n- GUI [Online Demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJiaqi-hkust\u002FRobust-R1). \n\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjqtangust_Robust-R1_readme_ad54e878a145.png\" alt=\"Robust-R1 Demo\">\n  \u003C\u002Fdiv>\n\n---\n\n## 🧠 **Training**\n\n### 🎓 Supervised Fine-Tuning\n\nWe employ [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) for supervised fine-tuning of the base model.\n\n1. Clone the repository and install required dependencies:\n\n   ```bash\n   git clone --depth 1 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory.git\n   cd LLaMA-Factory\n   pip install -e \".[torch,metrics]\"\n   ```\n\n2. Download the base model [Qwen2.5-VL-3B-Instruct](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-VL-3B-Instruct).\n\n3. Prepare the training data and configuration files:\n\n   - Download the [Robust images](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) and unzip it.\n   - Modify the configuration files in the `LLaMA-Factory\u002Fdata` directory.\n\n4. Configure the training YAML file with your local paths (model path, data path, output directory.).\n\n5. Run the training command to train the SFT model:\n\n   ```bash\n   llamafactory-cli train examples\u002Ftrain_full\u002Fqwen2_5_vl_full_sft.yaml\n   ```\n\n### 🎓 Reinforcement Learning\n\n1. Download [Robust images](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) and unzip it in `Robust-R1\u002Fdataset`.\n\n2. Prepare the training data file (train.jsonl) and organize the image folders.\n\n3. Download the SFT model checkpoint from [Robust-R1-SFT](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-SFT) or use your own trained SFT model.\n\n4. Replace the following part in the [run_scripts\u002Frun_grpo_robust.sh](run_scripts\u002Frun_grpo_robust.sh) file with your own paths:\n\n   ```bash\n   data_paths=\"Robust-R1\u002Fdata\u002Ftrain.jsonl\" \n   image_folders=\"Robust-R1\u002Fdata\u002Ftrain_images\"\n   model_path=\"your_model_name_or_path\"\n   ```\n\n5. Run the script:\n\n   ```bash\n   bash run_scripts\u002Frun_grpo_robust.sh\n   ```\n\n---\n\n## 📊 **Evaluation**\n\nWe use [VLMEvalKit](https:\u002F\u002Fgithub.com\u002Fopen-compass\u002FVLMEvalKit) for anti-degradation evaluation.\n\n1. Clone the VLMEvalKit repository and install dependencies:\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fopen-compass\u002FVLMEvalKit.git\n   cd VLMEvalKit\n   pip install -e .\n   ```\n\n2. Prepare the evaluation datasets according to VLMEvalKit requirements.\n\n3. **Image Degradation Pipeline**: Generate corrupted images for robustness evaluation.\n\n   We provide an image degradation pipeline for generating corrupted images to evaluate model robustness.\n\n   Navigate to the degradation pipeline directory and process images:\n\n   ```bash\n   cd add_degradation\n   python generate_pipeline_open_source.py --input_dir \u003Cinput_dir> --output_base_dir \u003Coutput_base_dir> --dataset_name \u003Cdataset_name> --verbose\n   ```\n\n   The script will generate three output directories with different degradation intensities for each image.\n\n4. Configure the model path and evaluation settings in the VLMEvalKit configuration file.\n\n5. Run the evaluation command:\n\n   ```bash\n   python run.py --model \u003Cyour_model_name_or_path> --data \u003Cdataset_name>\n   ```\n\n### 🔬 R-Bench Evaluation\n\nFor R-Bench evaluation, we use [R-Bench](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench) to assess model performance under real-world corruptions.\n\n1. Clone the R-Bench repository:\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench.git\n   ```\n\n2. Evaluate using VLMEvalKit with R-Bench dataset:\n\n   ```bash\n   cd VLMEvalKit\n   python run.py --data R-Bench-Dis --model \u003Cyour_model_name_or_path> --verbose\n   ```\n\n3. For full dataset evaluation, follow the R-Bench pipeline as described in the [R-Bench repository](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench).\n\n---\n\n## ⭐️ Citation\n\nIf you find Robust-R1 useful for your research and applications, please cite using this BibTeX:\n   ``` latex\n   @inproceedings{tang2025robustr1,\n     title={Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding},\n     author={Tang, Jiaqi and Chen, Jianmin and Wei, Wei and Xu, Xiaogang and Liu, Runtao and Wu, Xiangyu and Xie, Qipeng and Wu, Jiafei and Zhang, Lei and Chen, Qifeng},\n     booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},\n     year={2026}\n   }\n   ```\n\n## 🤝 Acknowledgements\nThe work described in this paper was supported by a grant from the Research Grants Council of the Hong Kong Special Administrative Region, China (Project Reference Number: AoE\u002FE-601\u002F24-N).\n\nWe also thank the authors of [VLM-R1](https:\u002F\u002Fgithub.com\u002Fom-ai-lab\u002FVLM-R1?tab=readme-ov-file), [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory), and [R-Bench](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench) for their contributions.\n\n","\u003Cdiv align=\"center\">\n\n# [AAAI 2026 口头报告] Robust-R1：面向鲁棒视觉理解的退化感知推理\n这是 Robust-R1 的官方代码仓库。\n\n[Jiaqi Tang^](https:\u002F\u002Fjqt.me\u002F)、\n[Jianmin Chen^](https:\u002F\u002Fgithub.com\u002FCh921-cell)、\n\\\n[Wei Wei**](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=v8KMYlwAAAAJ)、\n[Xiaogang Xu](https:\u002F\u002Fxuxiaogang.com\u002F)、\n[Runtao Liu](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=YHTvXF4AAAAJ)、\n[Xiangyu Wu](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=R0GjVWIAAAAJ&hl=en)、\n[Qipeng Xie]()、\n[Jiafei Wu]()、\n[Lei Zhang](https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=zh-CN&user=0Kg6Gi4AAAAJ) 以及\n\\\n[Qifeng Chen*](https:\u002F\u002Fcqf.io)\n\n^：共同第一作者。*：通讯作者。**：共同通讯作者。\n\n[![论文](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcs.CV-论文-b31b1b?style=flat&logo=arxiv&logoColor=white)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2512.17532)\n[![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-模型-ffd21e)](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1)\n[![HuggingFace](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-数据-ffd21e)](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1)\n[![专为VSCode打造](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMade%20for-VSCode-1f425f.svg)](https:\u002F\u002Fcode.visualstudio.com\u002F)\n[![许可证：MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-green.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n\u003C\u002Fdiv>\n\n## 📰 **新闻**\n- **[2025-12-23]** 🔥 在 [HF Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJiaqi-hkust\u002FRobust-R1) 上已开放在线演示。\n- **[2025-12-23]** 🔥 我们已在 HuggingFace 上发布了 [代码](https:\u002F\u002Fgithub.com\u002Fjqtangust\u002FRobust-R1)、[模型](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1) 和 [数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1)。\n- **[2025-12-22]** ✅ 我们的论文现已在 [arXiv](https:\u002F\u002Farxiv.org\u002Fabs\u002Fyour-paper-id) 上发布。\n- **[2025-11-08]** 🚀 我们的论文已被 **AAAI 2026 口头报告** 接受。\n\n\n---\n\n## 🔭 **研究动机**\n\n- 🚩 **可解释性有限**：缺乏明确的机制来诊断退化对原始语义信息的影响。\n- 🚩 **孤立优化**：忽视了视觉编码器与大型语言模型之间退化传播的关系。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjqtangust_Robust-R1_readme_5426ea13a208.png\" width=\"85%\" alt=\"方法概述\">\n  \u003Cbr>\n\u003C\u002Fdiv>\n\n---\n\n## 🛠️ **安装**\n\n- **克隆仓库：**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fjqtangust\u002FRobust-R1.git\n   cd Robust-R1\n   ```\n\n- **创建环境：**\n   ```bash\n   conda create -n robust_r1 python=3.10\n   conda activate robust_r1\n   bash setup.sh\n   ```\n---\n\n### 🏰 **预训练与微调模型**\n\n- 下列检查点被用于运行 Robust-R1：\n\n  | 检查点 | 链接 | 备注 |\n  |:---------:|:----:|:----:|\n  | Qwen2.5-VL-Base | [链接](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-VL-3B-Instruct) | 用作训练的初始权重。 |\n  | **Robust-R1-SFT** | [链接](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-SFT) | 基于 [Robust-R1 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) 进行微调。 |\n  | **Robust-R1-RL** | [链接](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-RL) | 基于 [Robust-R1 数据集](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) 使用强化学习进行微调。 |\n\n---\n\n## ⏳ **演示**\n\n### 🖥️ CLI 演示\n\n- 使用命令行演示并提出问题：\n\n  ```bash\n  # 如果使用本地权重\n  export MODEL_PATH=\"your_model_name_or_path\"\n\n  python demo.py \"这些人乘坐的是什么类型的车辆？\\n0. 卡车\\n1. 马车\\n2. 吉普车\\n3. 汽车\\n\"\n  ```\n\n### 🌐 GUI 演示\n\n- 设置模型路径作为环境变量并运行演示：\n\n  ```bash\n  # 如果使用本地权重\n  export MODEL_PATH=\"your_model_name_or_path\"\n  \n  python app.py\n  ```\n\n- 默认情况下，演示将在 `http:\u002F\u002Flocalhost:7860` 上可用。\n\n- GUI [在线演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJiaqi-hkust\u002FRobust-R1)。\n\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjqtangust_Robust-R1_readme_ad54e878a145.png\" alt=\"Robust-R1 演示\">\n  \u003C\u002Fdiv>\n\n---\n\n## 🧠 **训练**\n\n### 🎓 监督微调\n\n我们使用 [LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) 对基础模型进行监督微调。\n\n1. 克隆仓库并安装所需依赖：\n\n   ```bash\n   git clone --depth 1 https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory.git\n   cd LLaMA-Factory\n   pip install -e \".[torch,metrics]\"\n   ```\n\n2. 下载基础模型 [Qwen2.5-VL-3B-Instruct](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-VL-3B-Instruct)。\n\n3. 准备训练数据和配置文件：\n\n   - 下载 [Robust 图像](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) 并解压。\n   - 修改 `LLaMA-Factory\u002Fdata` 目录下的配置文件。\n\n4. 使用本地路径（模型路径、数据路径、输出目录等）配置训练 YAML 文件。\n\n5. 运行训练命令以训练 SFT 模型：\n\n   ```bash\n   llamafactory-cli train examples\u002Ftrain_full\u002Fqwen2_5_vl_full_sft.yaml\n   ```\n\n### 🎓 强化学习\n\n1. 下载 [Robust 图像](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiaqi-hkust\u002FRobust-R1) 并将其解压到 `Robust-R1\u002Fdataset` 中。\n\n2. 准备训练数据文件 (train.jsonl) 并整理图像文件夹。\n\n3. 从 [Robust-R1-SFT](https:\u002F\u002Fhuggingface.co\u002FJiaqi-hkust\u002FRobust-R1-SFT) 下载 SFT 模型检查点，或使用您自己训练的 SFT 模型。\n\n4. 将以下部分替换为您的本地路径，修改 [run_scripts\u002Frun_grpo_robust.sh](run_scripts\u002Frun_grpo_robust.sh) 文件中的内容：\n\n   ```bash\n   data_paths=\"Robust-R1\u002Fdata\u002Ftrain.jsonl\" \n   image_folders=\"Robust-R1\u002Fdata\u002Ftrain_images\"\n   model_path=\"your_model_name_or_path\"\n   ```\n\n5. 运行脚本：\n\n   ```bash\n   bash run_scripts\u002Frun_grpo_robust.sh\n   ```\n\n---\n\n## 📊 **评估**\n\n我们使用 [VLMEvalKit](https:\u002F\u002Fgithub.com\u002Fopen-compass\u002FVLMEvalKit) 进行抗退化评估。\n\n1. 克隆 VLMEvalKit 仓库并安装依赖：\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fopen-compass\u002FVLMEvalKit.git\n   cd VLMEvalKit\n   pip install -e .\n   ```\n\n2. 根据 VLMEvalKit 的要求准备评估数据集。\n\n3. **图像退化流水线**：生成损坏图像以评估模型的鲁棒性。\n\n   我们提供了一个图像退化流水线，用于生成损坏图像以评估模型的鲁棒性。\n\n   导航到退化流水线目录并处理图像：\n\n   ```bash\n   cd add_degradation\n   python generate_pipeline_open_source.py --input_dir \u003Cinput_dir> --output_base_dir \u003Coutput_base_dir> --dataset_name \u003Cdataset_name> --verbose\n   ```\n\n   脚本将为每张图像生成三个不同退化强度的输出目录。\n\n4. 在 VLMEvalKit 配置文件中设置模型路径和评估参数。\n\n5. 运行评估命令：\n\n   ```bash\n   python run.py --model \u003Cyour_model_name_or_path> --data \u003Cdataset_name>\n   ```\n\n### 🔬 R-Bench 评估\n\n对于 R-Bench 评估，我们使用 [R-Bench](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench) 来评估模型在真实世界噪声下的性能。\n\n1. 克隆 R-Bench 仓库：\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench.git\n   ```\n\n2. 使用 VLMEvalKit 和 R-Bench 数据集进行评估：\n\n   ```bash\n   cd VLMEvalKit\n   python run.py --data R-Bench-Dis --model \u003Cyour_model_name_or_path> --verbose\n   ```\n\n3. 若要对完整数据集进行评估，请按照 [R-Bench 仓库](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench) 中的说明执行 R-Bench 流程。\n\n---\n\n## ⭐️ 引用\n\n如果您发现 Robust-R1 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用：\n\n   ```latex\n   @inproceedings{tang2025robustr1,\n     title={Robust-R1: 面向鲁棒视觉理解的退化感知推理},\n     author={Tang, Jiaqi and Chen, Jianmin and Wei, Wei and Xu, Xiaogang and Liu, Runtao and Wu, Xiangyu and Xie, Qipeng and Wu, Jiafei and Zhang, Lei and Chen, Qifeng},\n     booktitle={AAAI 人工智能会议论文集},\n     year={2026}\n   }\n   ```\n\n## 🤝 致谢\n\n本文所述工作得到了中国香港特别行政区政府研究资助局的资助（项目编号：AoE\u002FE-601\u002F24-N）。\n\n同时，我们也感谢 [VLM-R1](https:\u002F\u002Fgithub.com\u002Fom-ai-lab\u002FVLM-R1?tab=readme-ov-file)、[LLaMA-Factory](https:\u002F\u002Fgithub.com\u002Fhiyouga\u002FLLaMA-Factory) 和 [R-Bench](https:\u002F\u002Fgithub.com\u002FQ-Future\u002FR-Bench) 的作者们所作出的贡献。","# Robust-R1 快速上手指南\n\nRobust-R1 是一个面向鲁棒视觉理解的 AI 模型，具备“退化感知推理”能力，能有效处理图像受损（如模糊、噪声、遮挡等）场景下的视觉问答任务。该模型基于 Qwen2.5-VL 架构，支持监督微调（SFT）与强化学习（RL）两种训练模式，并已开源代码、模型与数据集。\n\n---\n\n## 环境准备\n\n- **操作系统**：Linux（推荐 Ubuntu 20.04+）\n- **Python 版本**：3.10\n- **GPU 要求**：建议 NVIDIA GPU（显存 ≥ 16GB），支持 CUDA 11.8+\n- **前置依赖**：\n  - Conda（推荐使用 [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html)）\n  - Git\n  - Hugging Face CLI（可选，用于模型下载）\n\n> 💡 国内用户可使用清华或中科大镜像加速 Conda 和 pip 安装：\n> ```bash\n> conda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F\n> conda config --add channels https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Ffree\u002F\n> pip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n---\n\n## 安装步骤\n\n1. **克隆仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fjqtangust\u002FRobust-R1.git\n   cd Robust-R1\n   ```\n\n2. **创建并激活虚拟环境**\n   ```bash\n   conda create -n robust_r1 python=3.10\n   conda activate robust_r1\n   ```\n\n3. **运行安装脚本**\n   ```bash\n   bash setup.sh\n   ```\n\n> ⚠️ `setup.sh` 会自动安装 PyTorch、Transformers、LLaMA-Factory 等核心依赖。如遇网络问题，可手动编辑脚本替换为国内镜像源。\n\n---\n\n## 基本使用\n\n### 方式一：命令行快速测试（CLI）\n\n下载预训练模型（以 RL 版本为例）：\n```bash\nhuggingface-cli download Jiaqi-hkust\u002FRobust-R1-RL --local-dir .\u002Fmodels\u002FRobust-R1-RL\n```\n\n设置模型路径并运行示例：\n```bash\nexport MODEL_PATH=\".\u002Fmodels\u002FRobust-R1-RL\"\n\npython demo.py \"What type of vehicles are the people riding?\\n0. trucks\\n1. wagons\\n2. jeeps\\n3. cars\\n\"\n```\n\n> 📌 请确保当前目录下存在测试图像（默认路径见 `demo.py` 内部逻辑），或根据实际需求修改输入图像路径。\n\n### 方式二：图形界面演示（GUI）\n\n启动本地 Web 服务：\n```bash\nexport MODEL_PATH=\".\u002Fmodels\u002FRobust-R1-RL\"\npython app.py\n```\n\n访问地址：`http:\u002F\u002Flocalhost:7860`\n\n也可直接体验在线 Demo：  \n👉 [Hugging Face Space](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FJiaqi-hkust\u002FRobust-R1)\n\n---\n\n✅ 完成以上步骤后，你即可使用 Robust-R1 对退化图像进行鲁棒视觉推理。如需训练或评估，请参考官方 README 中的 Training 与 Evaluation 章节。","某智慧城市交通监控团队正在利用 AI 分析暴雨、大雾等恶劣天气下的路面视频，以自动识别违规车辆类型并生成事故报告。\n\n### 没有 Robust-R1 时\n- **误判率高**：在雨水模糊或低光照条件下，模型无法区分卡车与货车，常将“厢式货车”错误识别为“重型卡车”，导致罚单开具错误。\n- **缺乏归因能力**：当识别出错时，系统仅输出错误结果，无法解释是图像噪点、运动模糊还是遮挡导致了语义信息丢失。\n- **视觉与语言脱节**：前端视觉编码器提取的退化特征未能有效传递给后端大语言模型，导致推理逻辑断裂，无法结合上下文进行修正。\n- **人工复核成本高**：由于自动化结果不可信，运维人员不得不逐帧人工复查恶劣天气下的报警记录，效率极低。\n\n### 使用 Robust-R1 后\n- **抗干扰精准识别**：Robust-R1 特有的“退化感知推理”机制，能在图像严重受损时依然准确分辨车辆细节，将极端天气下的分类准确率提升了 40%。\n- **透明化诊断报告**：系统在输出结果的同时，能明确指出“因右侧车窗被雨滴遮挡，依据车轮间距推断为 jeep\"，让决策过程可追溯、可解释。\n- **端到端协同优化**：Robust-R1 打通了视觉编码与大语言模型的退化传播链路，确保即使画面模糊，语言推理部分也能基于降质特征进行逻辑补全。\n- **自动化闭环运行**：高置信度的自动分析结果使得人工复核需求减少 80%，团队可将精力集中于真正的复杂事故处理。\n\nRobust-R1 通过让 AI 学会“看懂”图像损伤并据此调整推理逻辑，彻底解决了恶劣环境下视觉理解不可靠的行业难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjqtangust_Robust-R1_a1a9148c.png","jqtangust","Jiaqi Tang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjqtangust_2fd6d7bc.jpg","Ph.D. Student @ HKUST","HKUST","Clear Water Bay, Hong Kong",null,"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fjqtnpu","https:\u002F\u002Fgithub.com\u002Fjqtangust",[85,89,93],{"name":86,"color":87,"percentage":88},"Python","#3572A5",98.8,{"name":90,"color":91,"percentage":92},"Shell","#89e051",1,{"name":94,"color":95,"percentage":96},"Makefile","#427819",0.2,489,18,"2026-04-03T23:46:46","Linux","需要 NVIDIA GPU (基于 Qwen2.5-VL 和 LLaMA-Factory 的常规需求，具体显存未说明，建议 16GB+ 以运行 3B 模型及训练)","未说明",{"notes":104,"python":105,"dependencies":106},"1. 项目依赖 Qwen2.5-VL-3B-Instruct 作为基座模型。\n2. 监督微调 (SFT) 需安装 LLaMA-Factory。\n3. 评估环节需安装 VLMEvalKit 和 R-Bench。\n4. 提供了图像退化生成脚本用于鲁棒性测试。\n5. README 中提供的 setup.sh 脚本将自动处理大部分环境依赖安装。","3.10",[107,108,109,110,111],"torch","LLaMA-Factory","VLMEvalKit","transformers","accelerate",[15],[114,115,116,117,118,119],"large-language-models","multi-modal","multimodel-large-language-model","reasoning","robustness","trustworthy-ai","2026-03-27T02:49:30.150509","2026-04-06T06:44:12.877948",[],[]]