[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-qiuzh20--gated_attention":3,"tool-qiuzh20--gated_attention":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":76,"owner_website":76,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":32,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":103,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":143},6196,"qiuzh20\u002Fgated_attention","gated_attention","The official implementation for [NeurIPS2025 Oral] Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free","gated_attention 是一个专为大型语言模型设计的开源项目，提供了基于 Qwen3 架构的“门控注意力”机制实现及可视化工具。它核心解决了传统注意力机制中常见的“注意力汇聚（Attention Sink）”问题，即早期令牌过度主导注意力分布的现象，同时显著提升了模型在超长上下文（高达 100 万令牌）下的泛化能力与训练稳定性。\n\n该项目荣获 NeurIPS 2025 最佳论文奖，其独特技术亮点在于在标准缩放点积注意力后引入了依赖查询的稀疏门控机制。这种设计不仅为模型注入了非线性特性，还能根据输入动态调整每个注意力头的稀疏度，从而在不增加过多计算负担的前提下优化信息流动。目前，该技术已成功应用于 Qwen3-Next 系列模型中。\n\ngated_attention 非常适合 AI 研究人员、大模型开发者以及对 Transformer 架构优化感兴趣的技术人员使用。通过内置的可视化工具，用户可以直观地观察门控机制如何影响注意力图谱，深入理解模型内部运作原理。项目提供了多种配置版本的预训练模型，并附带了易于上手的演示脚本，方便用户快速复现论文成果或将其集成到自己的研发流程中，是探索","gated_attention 是一个专为大型语言模型设计的开源项目，提供了基于 Qwen3 架构的“门控注意力”机制实现及可视化工具。它核心解决了传统注意力机制中常见的“注意力汇聚（Attention Sink）”问题，即早期令牌过度主导注意力分布的现象，同时显著提升了模型在超长上下文（高达 100 万令牌）下的泛化能力与训练稳定性。\n\n该项目荣获 NeurIPS 2025 最佳论文奖，其独特技术亮点在于在标准缩放点积注意力后引入了依赖查询的稀疏门控机制。这种设计不仅为模型注入了非线性特性，还能根据输入动态调整每个注意力头的稀疏度，从而在不增加过多计算负担的前提下优化信息流动。目前，该技术已成功应用于 Qwen3-Next 系列模型中。\n\ngated_attention 非常适合 AI 研究人员、大模型开发者以及对 Transformer 架构优化感兴趣的技术人员使用。通过内置的可视化工具，用户可以直观地观察门控机制如何影响注意力图谱，深入理解模型内部运作原理。项目提供了多种配置版本的预训练模型，并附带了易于上手的演示脚本，方便用户快速复现论文成果或将其集成到自己的研发流程中，是探索下一代高效注意力机制的优质资源。","# Gated Attention: Implementation and Visualization\n\nThis repository contains the implementation of **gated attention** mechanisms based on [Qwen3](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen3) model architecture, along with tools for visualizing attention maps. Our modifications are based on findings from recent research that demonstrate how applying **sparse, head-specific gating after Scaled Dot-Product Attention (SDPA)** can significantly improve performance, training stability, and long-context generalization. More details are in our paper [Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.06708).\n\n\n---\n\n## 🆕 Updates\n\n**2025-12-20** — We will release additional analyses and case studies on the effectiveness of Gated Attention, including visualizations and quantitative investigations into the model’s internal mechanisms to offer more intuitive insights into how and why gating works.\n\n**2025-11-26** — Our paper, *Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free*, has been awarded the **NeurIPS 2025 Best Paper Award**! 🎉  \nThis prestigious honor recognizes only 4 papers out of 5,290 accepted submissions, highlighting the foundational impact of our work on attention mechanism design.  \nOfficial announcement: [NeurIPS 2025 Best Paper Awards](https:\u002F\u002Fblog.neurips.cc\u002F2025\u002F11\u002F26\u002Fannouncing-the-neurips-2025-best-paper-awards\u002F)\n\n**2025-09-18** — Our paper, *Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free*, has been selected as an **Oral Presentation** at **NeurIPS 2025**, placing among the top 1.5% of submissions (77 out of 5,290 accepted papers). This recognition underscores the significance and novelty of our findings in rethinking attention gating for scalable, stable, and long-context LLMs.\n\n**2025-09-10** — **Gated Attention** has been successfully integrated into the official **Qwen3-Next** architecture, as featured in Qwen’s latest research blog ([Read Here](https:\u002F\u002Fqwen.ai\u002Fblog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list)) and deployed in the [Qwen3-Next-80B-A3B-Instruct](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen3-Next-80B-A3B-Instruct) model. This real-world adoption validates our core hypothesis: gating mechanisms significantly enhance **training stability** and **ultra-long-context performance** (up to 1M tokens).\n\n---\n\n\n## 📚 Introduction\n\nGating mechanisms have long been a cornerstone of neural network design, enabling dynamic control over information flow. In this work, we focus on integrating and evaluating these mechanisms within standard softmax attention layers of transformer models.\n\nWe introduce a **query-dependent sparse gate** after the SDPA output (`G1`), which modulates each attention head independently using a sigmoid function. This simple yet effective change:\n\n- Introduces **non-linearity** into the low-rank transformation formed by value and output projections.\n- Enables **input-dependent sparsity**, preventing the \"attention sink\" phenomenon where early tokens dominate attention distributions.\n- Improves **training stability**, allowing larger learning rates.\n- Enhances **long-context extrapolation**, showing significant gains on benchmarks like RULER.\n\n---\n\n## 📦 Models\n\nWe provide models follow Qwen3's architecture with different gating configurations:\n\n- `baseline`: Standard attention without any gating.\n- `gate_headwise`: Headwise gating applied after SDPA.\n- `gate_elementwise`: Elementwise gating applied after SDPA.\n\nThese models are available at [huggingface repo](https:\u002F\u002Fhuggingface.co\u002FQwQZh\u002Fgated_attention).\n\n---\n\n\n## 🧪 Demo Usage\n\nA demo script is included to load a trained model and visualize attention maps with gating enabled.\n\n### Requirements\n\n```bash\npip install transformers matplotlib numpy torch\n```\n\n### Run Demo\n\n```bash\npython demo.py\n```\n\nThis will produce a file named `{model_name}_selected_layer_attention_maps.png`, showing attention maps for four key layers.\n\n#### Attention Maps Comparison\n\nBelow are the attention maps from **Layer 1**, **Layer 7**, **Layer 21**, and **Layer 28** of three different model variants: `baseline`, `gate_headwise`, and `gate_elementwise`. These visualizations help illustrate how gating mechanisms affect attention patterns, especially in relation to the \"attention sink\" phenomenon.\n\nIn the **baseline** model, we observe a strong \"attention sink\" effect — the **first token** consistently receives disproportionately high attention scores across multiple layers. This indicates that the model overly relies on the initial token, potentially limiting its ability to distribute attention meaningfully across other positions.\n\n##### Baseline Model  \n\n![baseline](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_26183021e896.png)\n\n> **Observation**: Strong diagonal dominance with significant focus on the first token (attention sink). This pattern persists across multiple layers.\n\n##### Gate Headwise Model  \n\n![headwise](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_d0883da10877.png)\n\n> **Observation**: Gating applied headwise reduces the attention sink effect. Attention becomes more distributed and context-dependent.\n\n##### Gate Elementwise Model  \n\n![elementwise](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_648fc4011fa3.png)\n\n> **Observation**: Elementwise gating further enhances sparsity and selectivity in attention patterns, leading to cleaner and more structured attention maps.\n\n---\n\n## 📁 Repository Structure\n\n```sh\nqwen3-gated\u002F\n├── figs\u002F                    # used figs in the paper\n├── modeling_qwen3.py        # Modified Qwen3 model with gated attention\n├── configuration_qwen3.py   # Model configuration with gating flags\n├── demo.py                  # Simple demo for loading model and extracting \n└── README.md                # You are here\n```\n\n---\n\n## 🔧 Implementation Details\n\nThe core changes to implement gated attention are found in the `Qwen3Attention` class in the provided code.\n\n### 🧠 Gating Variants\n\nWe support two main types of gating:\n\n#### 1. **Headwise Gating**\n\nEach attention head has its own gate scalar.\n\n```python\nself.headwise_attn_output_gate = True\n```\n\nThese options can be configured in the model config under:\n\n```json\n{\n  \"headwise_attn_output_gate\": true,\n  \"elementwise_attn_output_gate\": false\n}\n```\n\n#### 2. **Elementwise Gating**\n\nEach element of the attention output is modulated independently.\n\n```python\nself.elementwise_attn_output_gate = True\n```\n\nThese options can be configured in the model config under:\n\n```json\n{\n  \"headwise_attn_output_gate\": false,\n  \"elementwise_attn_output_gate\": true\n}\n```\n\n---\n\n\n## 📝 Citation\n\nIf you use this code or models in your research, please cite our paper:\n\n```bibtex\n@misc{qiu2025gatedattentionlargelanguage,\n      title={Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free}, \n      author={Zihan Qiu and Zekun Wang and Bo Zheng and Zeyu Huang and Kaiyue Wen and Songlin Yang and Rui Men and Le Yu and Fei Huang and Suozhi Huang and Dayiheng Liu and Jingren Zhou and Junyang Lin},\n      year={2025},\n      eprint={2505.06708},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.06708}, \n}\n```\n\n## 📬 Contact\n\nFor questions or collaboration opportunities, feel free to reach out at \u003Cqzh11628@gmail.com>.\n","# 门控注意力：实现与可视化\n\n本仓库包含基于 [Qwen3](https:\u002F\u002Fgithub.com\u002FQwenLM\u002FQwen3) 模型架构的 **门控注意力** 机制的实现，以及用于可视化注意力图的工具。我们的修改基于近期研究发现：在缩放点积注意力（SDPA）之后应用 **稀疏的、头级别的门控机制**，能够显著提升性能、训练稳定性和长上下文泛化能力。更多细节请参阅我们的论文《面向大型语言模型的门控注意力：非线性、稀疏性与无注意力陷阱》（[arXiv:2505.06708](https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.06708)）。\n\n---\n\n## 🆕 最新动态\n\n**2025年12月20日** — 我们将发布关于门控注意力有效性的更多分析和案例研究，包括可视化结果及对模型内部机制的定量探究，以更直观地揭示门控机制的作用原理及其有效性。\n\n**2025年11月26日** — 我们的论文 *面向大型语言模型的门控注意力：非线性、稀疏性与无注意力陷阱* 荣获 **NeurIPS 2025 最佳论文奖**！🎉  \n该奖项从5,290篇被接受的论文中仅评选出4篇获奖，彰显了我们在注意力机制设计方面的基础性贡献。官方公告：[NeurIPS 2025 最佳论文奖](https:\u002F\u002Fblog.neurips.cc\u002F2025\u002F11\u002F26\u002Fannouncing-the-neurips-2025-best-paper-awards\u002F)  \n\n**2025年9月18日** — 我们的论文 *面向大型语言模型的门控注意力：非线性、稀疏性与无注意力陷阱* 被选为 **NeurIPS 2025 的口头报告**，入选比例仅为1.5%（在5,290篇被接受的论文中排名第77位）。这一荣誉充分肯定了我们关于重新思考注意力门控机制以构建可扩展、稳定且具备长上下文处理能力的语言模型的研究成果的重要性与创新性。\n\n**2025年9月10日** — **门控注意力** 已成功集成到官方的 **Qwen3-Next** 架构中，并在 Qwen 的最新研究博客中有所介绍（[阅读此处](https:\u002F\u002Fqwen.ai\u002Fblog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list)），同时部署于 [Qwen3-Next-80B-A3B-Instruct](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen3-Next-80B-A3B-Instruct) 模型中。这一实际应用验证了我们的核心假设：门控机制能够显著提升 **训练稳定性** 和 **超长上下文性能**（最高可达100万 tokens）。\n\n---\n\n## 📚 引言\n\n门控机制长期以来一直是神经网络设计中的重要组成部分，它能够动态控制信息流动。在本工作中，我们专注于将此类机制整合并评估于 Transformer 模型的标准 softmax 注意力层中。\n\n我们提出了一种在 SDPA 输出后引入的 **查询依赖型稀疏门控**（记为 `G1`），该门控通过 sigmoid 函数独立调节每个注意力头。这一简单而有效的改动：\n\n- 为由值投影和输出投影形成的低秩变换引入了 **非线性**；\n- 实现了 **输入依赖的稀疏性**，从而避免了“注意力陷阱”现象——即早期 token 过度主导注意力分布；\n- 提升了 **训练稳定性**，允许使用更大的学习率；\n- 增强了 **长上下文外推能力**，在 RULER 等基准测试中表现出显著优势。\n\n---\n\n## 📦 模型\n\n我们提供了遵循 Qwen3 架构的不同门控配置模型：\n\n- `baseline`：标准注意力，不施加任何门控；\n- `gate_headwise`：在 SDPA 后应用头级别门控；\n- `gate_elementwise`：在 SDPA 后应用元素级别门控。\n\n这些模型已在 [Hugging Face 仓库](https:\u002F\u002Fhuggingface.co\u002FQwQZh\u002Fgated_attention) 上发布。\n\n---\n\n## 🧪 示例用法\n\n我们提供了一个示例脚本，用于加载训练好的模型并可视化启用门控后的注意力图。\n\n### 需求\n\n```bash\npip install transformers matplotlib numpy torch\n```\n\n### 运行示例\n\n```bash\npython demo.py\n```\n\n运行后将生成名为 `{model_name}_selected_layer_attention_maps.png` 的文件，展示四个关键层的注意力图。\n\n#### 注意力图对比\n\n以下是三种不同模型变体——`baseline`、`gate_headwise` 和 `gate_elementwise`——在第1层、第7层、第21层和第28层的注意力图。这些可视化有助于说明门控机制如何影响注意力模式，尤其是在“注意力陷阱”现象方面。\n\n在 **baseline** 模型中，我们观察到明显的“注意力陷阱”效应——**第一个 token** 在多层中始终获得不成比例的高注意力分数。这表明模型过度依赖初始 token，可能限制了其在其他位置上合理分配注意力的能力。\n\n##### 基线模型  \n\n![baseline](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_26183021e896.png)\n\n> **观察**：强烈的对角线 dominance，显著关注第一个 token（注意力陷阱）。这种模式在多层中持续存在。\n\n##### 头级别门控模型  \n\n![headwise](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_d0883da10877.png)\n\n> **观察**：头级别门控降低了注意力陷阱效应。注意力分布更加均匀，且更具上下文相关性。\n\n##### 元素级别门控模型  \n\n![elementwise](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_readme_648fc4011fa3.png)\n\n> **观察**：元素级别门控进一步增强了注意力模式的稀疏性和选择性，使得注意力图更为清晰、结构化。\n\n---\n\n## 📁 仓库结构\n\n```sh\nqwen3-gated\u002F\n├── figs\u002F                    # 论文中使用的图片\n├── modeling_qwen3.py        # 修改后的带门控注意力的 Qwen3 模型\n├── configuration_qwen3.py   # 包含门控开关的模型配置\n├── demo.py                  # 用于加载模型和提取注意力图的简单示例\n└── README.md                # 您当前所在的位置\n```\n\n---\n\n## 🔧 实现细节\n\n实现门控注意力的核心改动位于提供的代码中的 `Qwen3Attention` 类中。\n\n### 🧠 门控变体\n\n我们支持两种主要的门控类型：\n\n#### 1. **头级别门控**\n\n每个注意力头拥有独立的门控标量。\n\n```python\nself.headwise_attn_output_gate = True\n```\n\n这些选项可在模型配置中进行设置：\n\n```json\n{\n  \"headwise_attn_output_gate\": true,\n  \"elementwise_attn_output_gate\": false\n}\n```\n\n#### 2. **元素级别门控**\n\n注意力输出中的每个元素被独立调节。\n\n```python\nself.elementwise_attn_output_gate = True\n```\n\n这些选项可在模型配置中进行设置：\n\n```json\n{\n  \"headwise_attn_output_gate\": false,\n  \"elementwise_attn_output_gate\": true\n}\n```\n\n---\n\n## 📝 引用\n\n如果您在研究中使用了本代码或模型，请引用我们的论文：\n\n```bibtex\n@misc{qiu2025gatedattentionlargelanguage,\n      title={Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free}, \n      author={Zihan Qiu and Zekun Wang and Bo Zheng and Zeyu Huang and Kaiyue Wen and Songlin Yang and Rui Men and Le Yu and Fei Huang and Suozhi Huang and Dayiheng Liu and Jingren Zhou and Junyang Lin},\n      year={2025},\n      eprint={2505.06708},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2505.06708}, \n}\n```\n\n## 📬 联系方式\n\n如有任何问题或合作意向，欢迎随时通过 \u003Cqzh11628@gmail.com> 与我们联系。","# Gated Attention 快速上手指南\n\n本指南帮助开发者快速部署并体验基于 Qwen3 架构的 **Gated Attention**（门控注意力）机制。该机制通过在缩放点积注意力（SDPA）后引入稀疏的门控操作，有效解决了“注意力汇聚（Attention Sink）”问题，显著提升了模型的训练稳定性及长上下文处理能力。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux \u002F macOS \u002F Windows\n*   **Python 版本**：推荐 Python 3.8 及以上\n*   **硬件要求**：建议使用支持 CUDA 的 NVIDIA GPU 以获得最佳推理和可视化性能（CPU 亦可运行演示脚本，但速度较慢）\n*   **前置依赖**：需安装 `transformers`, `torch`, `matplotlib`, `numpy`\n\n> **💡 国内加速建议**\n> 推荐使用清华或阿里镜像源安装依赖，以提升下载速度：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple transformers matplotlib numpy torch\n> ```\n> 若拉取 Hugging Face 模型受阻，建议设置环境变量使用国内镜像：\n> ```bash\n> export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n> ```\n\n## 安装步骤\n\n本项目无需复杂的编译过程，只需安装必要的 Python 库并克隆代码库即可。\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FQwQZh\u002Fgated_attention.git\n    cd gated_attention\n    ```\n\n2.  **安装依赖**\n    执行以下命令安装运行演示脚本所需的库：\n    ```bash\n    pip install transformers matplotlib numpy torch\n    ```\n\n3.  **获取模型权重**\n    演示脚本默认会尝试从 Hugging Face 加载预训练模型。确保网络通畅或已配置国内镜像加速。\n    *   模型仓库地址：[https:\u002F\u002Fhuggingface.co\u002FQwQZh\u002Fgated_attention](https:\u002F\u002Fhuggingface.co\u002FQwQZh\u002Fgated_attention)\n    *   可选变体：`baseline` (基线), `gate_headwise` (头级门控), `gate_elementwise` (元素级门控)\n\n## 基本使用\n\n项目提供了一个简单的演示脚本 `demo.py`，用于加载模型并生成注意力热力图，直观对比不同门控机制的效果。\n\n### 运行演示\n\n在项目根目录下直接运行：\n\n```bash\npython demo.py\n```\n\n### 结果查看\n\n脚本运行完成后，将在当前目录生成名为 `{model_name}_selected_layer_attention_maps.png` 的图片文件。\n\n*   **图片内容**：展示模型第 1、7、21、28 层的注意力分布图。\n*   **效果对比**：\n    *   **Baseline**：可见明显的“注意力汇聚”现象（首 token 占据过高权重）。\n    *   **Gate Headwise\u002FElementwise**：注意力分布更加均匀且具备上下文依赖性，有效消除了首 token 的异常主导，体现了门控机制带来的稀疏性和选择性优势。\n\n### 自定义配置（进阶）\n\n如需修改门控类型，可调整 `configuration_qwen3.py` 中的配置参数，或在加载模型时传入相应参数：\n\n*   **启用头级门控**：\n    ```json\n    {\n      \"headwise_attn_output_gate\": true,\n      \"elementwise_attn_output_gate\": false\n    }\n    ```\n*   **启用元素级门控**：\n    ```json\n    {\n      \"headwise_attn_output_gate\": false,\n      \"elementwise_attn_output_gate\": true\n    }\n    ```","某金融科技公司正在构建基于 Qwen3 架构的智能研报分析系统，需要处理长达数十万字的招股说明书并提取关键风险因素。\n\n### 没有 gated_attention 时\n- **注意力沉没现象严重**：模型过度关注文档开头的“目录”或“声明”段落，导致后续具体的财务风险分析被忽略，关键信息提取准确率不足 60%。\n- **长上下文推理崩溃**：当输入超过 10 万 token 时，标准注意力机制出现数值不稳定，生成内容开始重复或产生幻觉，无法完成跨章节的逻辑关联。\n- **训练收敛困难**：为了维持长文本训练的稳定性，团队被迫将学习率调至极低，导致模型迭代周期从 3 天延长至 2 周，研发效率低下。\n- **计算资源浪费**：稠密的注意力分布让模型对所有无关词汇（如停用词、格式符号）分配了不必要的计算权重，推理延迟居高不下。\n\n### 使用 gated_attention 后\n- **彻底消除注意力沉没**：gated_attention 引入的查询依赖稀疏门控机制，动态抑制了对开头无关令牌的关注，使模型能精准聚焦于文档中后部的核心风险段落，提取准确率提升至 92%。\n- **百万级上下文稳定泛化**：得益于门控带来的非线性与稀疏性，模型在 100 万 token 的超长语境下依然保持训练稳定，成功实现了跨百页文档的复杂逻辑推理。\n- **训练效率大幅飞跃**：改进后的架构允许使用更大的学习率进行训练，不仅避免了梯度爆炸，还将整体训练时间缩短了 60%，加速了模型上线进程。\n- **推理更敏捷高效**：输入依赖的稀疏性自动过滤了噪声干扰，显著降低了无效计算量，在同等硬件条件下推理速度提升了 35%。\n\ngated_attention 通过引入智能稀疏门控，从根本上解决了大模型在超长文本处理中的注意力偏移与稳定性难题，让海量文档分析变得精准且高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fqiuzh20_gated_attention_26183021.png","qiuzh20","Zihan Qiu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fqiuzh20_166303ec.png",null,"Tsinghua University","Beijing","qzh11628@gmail.com","https:\u002F\u002Fgithub.com\u002Fqiuzh20",[82,86],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",65.8,{"name":87,"color":88,"percentage":89},"Python","#3572A5",34.2,929,57,"2026-04-09T09:53:09","MIT","未说明","未说明 (基于 PyTorch 和 Qwen3 架构，通常建议使用支持 CUDA 的 NVIDIA GPU)",{"notes":97,"python":94,"dependencies":98},"README 中仅列出了基础依赖库（transformers, matplotlib, numpy, torch），未指定具体版本号。该工具基于 Qwen3 架构，包含演示脚本用于加载模型和可视化注意力图。论文提及该机制可支持长达 1M token 的上下文，实际运行大模型可能需要较高的显存。",[99,100,101,102],"transformers","matplotlib","numpy","torch",[35,14,104],"其他","2026-03-27T02:49:30.150509","2026-04-10T19:04:58.798792",[108,113,118,123,128,133,138],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},28079,"配置文件中的 `qkv_bias` 和 `attention_bias` 参数不一致，是版本错误吗？","是的，这是一个版本控制错误。维护者确认整个模型中实际上并不使用 bias（偏置项）。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F12",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},28078,"论文表 1 中 Headwise G2 实验的 Score Shape 标注是否有误？","是的，这是一个笔误。对于 Headwise G2 实验，Score Shape 应该是 n × k，而不是论文中写的 n × q。维护者确认将在下一版本中修复此错误。此外，项目解耦了 d_model 与 q * d_k（即 d_model != q * d_k），以便调整模型中的注意力参数比例。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F7",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},28073,"门控机制（Gating）是否适用于预训练模型或迁移学习场景？","实验表明，门控机制主要影响模型从一开始的训练动态，因此在从头开始训练并集成门控时效果最显著。若在继续预训练（CPT）阶段引入：1. 若将门控参数初始化为零并使用 2×sigmoid 激活（使初始值为 1 以保持原计算），门控参数在后续训练中几乎不变，性能无提升；2. 若随机初始化门控参数，训练损失会先激增后缓慢下降，这种扰动往往会损害模型已有的能力。因此，不建议直接在预训练模型上应用此策略，最好从头训练。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F10",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},28074,"如何复现论文中的实验？推荐使用什么框架？","项目的预训练框架基于修改版的 Megatron-LM，专为大规模训练设计，因此未直接开源完整的训练代码。对于希望从头训练的用户，推荐使用 NanoGPT（https:\u002F\u002Fgithub.com\u002Fkarpathy\u002FnanoGPT），因为它更容易上手且环境依赖较少。如果只对特定的消融实验感兴趣，维护者计划未来添加更多基于 Hugging Face Transformers 实现的门控变体代码。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F2",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},28075,"是否可以同时启用多个门控（例如 G1 和 G2）以提升性能？","维护者未尝试同时使用 G1 和 G2。虽然两者都能增强 W_v 和 W_o 之间的非线性，但通常认为仅使用 G1 就足够了。此外，当使用 G1 门控时，增加前馈神经网络（FFNs）的参数可能比添加 G2 门控更有效。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F4",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},28076,"为什么消融研究中只测试了 SiLU 而没有测试 tanh 激活函数变体？","团队没有直接测试 tanh 变体。因为在实验中观察到 SiLU 的表现不如 sigmoid，他们推测负的門控分数可能会引入不稳定性，因此决定不进行 tanh 的实验。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F3",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},28077,"论文中提到的每个注意力头独立的 RMSNorm 是在门控之前还是之后应用？代码中为何没找到？","实际上，提供的代码主要包含门控的使用，许多消融研究的变体（包括结合 RMSNorm 的版本）并未包含在清理后的代码中。在实际实验中，团队发现加入门控后训练非常稳定，且不同头的稀疏性差异显著，因此在使用门控时并没有引入组归一化（Group Norm\u002FRMSNorm）。组归一化仅被添加到标准的 softmax 注意力机制中作为增加非线性的分析手段。","https:\u002F\u002Fgithub.com\u002Fqiuzh20\u002Fgated_attention\u002Fissues\u002F1",[]]