[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-lsdefine--attention-is-all-you-need-keras":3,"tool-lsdefine--attention-is-all-you-need-keras":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":79,"owner_location":79,"owner_email":80,"owner_twitter":79,"owner_website":79,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":79,"difficulty_score":23,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":98,"github_topics":99,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":105,"updated_at":106,"faqs":107,"releases":137},2615,"lsdefine\u002Fattention-is-all-you-need-keras","attention-is-all-you-need-keras","A Keras+TensorFlow Implementation of the Transformer: Attention Is All You Need","attention-is-all-you-need-keras 是一个基于 Keras 和 TensorFlow 框架实现的 Transformer 模型开源项目，完整复现了经典论文《Attention Is All You Need》中的核心架构。它主要解决了开发者在自然语言处理任务中，希望使用熟悉的 Keras 生态而非 PyTorch 来构建和训练高效序列模型的需求，特别适用于机器翻译、拼音转换等序列到序列（Seq2Seq）场景。\n\n这款工具非常适合熟悉 Python 的 AI 开发者、深度学习研究人员以及希望深入理解 Transformer 内部机制的学生使用。通过参考内置的英德翻译和拼音生成示例，用户可以快速将自己的数据预处理为标准格式并启动训练。\n\n其技术亮点在于不仅重构了类结构以便更灵活地复用组件，还集成了支持逐步解码的快速推理模块及升级版的束搜索（Beam Search）算法。此外，项目针对深层网络训练提供了分阶段训练策略，并适配了 TensorFlow 2.6.0 版本，确保了在现代环境下的稳定运行。对于想要在不切换框架的前提下探索注意力机制威力的用户来说，这是一个实","attention-is-all-you-need-keras 是一个基于 Keras 和 TensorFlow 框架实现的 Transformer 模型开源项目，完整复现了经典论文《Attention Is All You Need》中的核心架构。它主要解决了开发者在自然语言处理任务中，希望使用熟悉的 Keras 生态而非 PyTorch 来构建和训练高效序列模型的需求，特别适用于机器翻译、拼音转换等序列到序列（Seq2Seq）场景。\n\n这款工具非常适合熟悉 Python 的 AI 开发者、深度学习研究人员以及希望深入理解 Transformer 内部机制的学生使用。通过参考内置的英德翻译和拼音生成示例，用户可以快速将自己的数据预处理为标准格式并启动训练。\n\n其技术亮点在于不仅重构了类结构以便更灵活地复用组件，还集成了支持逐步解码的快速推理模块及升级版的束搜索（Beam Search）算法。此外，项目针对深层网络训练提供了分阶段训练策略，并适配了 TensorFlow 2.6.0 版本，确保了在现代环境下的稳定运行。对于想要在不切换框架的前提下探索注意力机制威力的用户来说，这是一个实用且友好的入门选择。","# The Transformer model in Attention is all you need：a Keras implementation.\nA Keras+TensorFlow Implementation of the Transformer: \"[Attention is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)\" (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, arxiv, 2017)\n\n# Usage\nPlease refer to *en2de_main.py* and *pinyin_main.py*\n### en2de_main.py\n- This task is same as in [jadore801120\u002Fattention-is-all-you-need-pytorch](https:\u002F\u002Fgithub.com\u002Fjadore801120\u002Fattention-is-all-you-need-pytorch): WMT'16 Multimodal Translation: Multi30k (de-en) [(http:\u002F\u002Fwww.statmt.org\u002Fwmt16\u002Fmultimodal-task.html)](http:\u002F\u002Fwww.statmt.org\u002Fwmt16\u002Fmultimodal-task.html). We borrowed the data preprocessing step 0 and 1 in the repository, and then construct the input file *en2de.s2s.txt*\n#### Results\n- The code achieves near results as in the repository: about 70% valid accuracy. \nIf using smaller model parameters, such as *layers=2* and *d_model=256*, the valid accuracy is better since the task is quite small.\n### For your own data\n- Just preprocess your source and target sequences as the format in *en2de.s2s.txt* and *pinyin.corpus.examples.txt*.\n### Some notes\n- For larger number of layers, the special learning rate scheduler reported in the papar is necessary.\n- In *pinyin_main.py*, I tried another method to train the deep network. I train the first layer and the embedding layer first, then train a 2-layers model, and then train a 3-layers, etc. It works in this task.\n\n### Upgrades \n- Reconstruct some classes. \n- It is easier to use the components in other models, just import transformer.py\n- A fast step-by-step decoder is added, including an upgraded beam-search. But they should be modified to be reuseable.\n- Updated for tensorflow 2.6.0\n\n# Acknowledgement\n- Some model structures and some scripts are borrowed from [jadore801120\u002Fattention-is-all-you-need-pytorch](https:\u002F\u002Fgithub.com\u002Fjadore801120\u002Fattention-is-all-you-need-pytorch).\n","# 《Attention is All You Need》中的Transformer模型：Keras实现。\n基于Keras和TensorFlow的Transformer实现：“[Attention is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.03762)”（Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser、Illia Polosukhin，arXiv，2017年）\n\n# 使用说明\n请参考 *en2de_main.py* 和 *pinyin_main.py*。\n### en2de_main.py\n- 该任务与 [jadore801120\u002Fattention-is-all-you-need-pytorch](https:\u002F\u002Fgithub.com\u002Fjadore801120\u002Fattention-is-all-you-need-pytorch) 中的任务相同：WMT'16 多模态机器翻译——Multi30k（德语到英语）[(http:\u002F\u002Fwww.statmt.org\u002Fwmt16\u002Fmultimodal-task.html)](http:\u002F\u002Fwww.statmt.org\u002Fwmt16\u002Fmultimodal-task.html)。我们借用了该仓库中的数据预处理步骤0和步骤1，随后构建了输入文件 *en2de.s2s.txt*。\n#### 结果\n- 代码的性能接近该仓库中的结果：验证集准确率约为70%。如果使用较小的模型参数，例如 *layers=2* 和 *d_model=256*，由于任务规模较小，验证集准确率会更高。\n### 针对您自己的数据\n- 只需将您的源序列和目标序列按照 *en2de.s2s.txt* 和 *pinyin.corpus.examples.txt* 的格式进行预处理即可。\n### 注意事项\n- 当层数较多时，论文中提到的特殊学习率调度器是必要的。\n- 在 *pinyin_main.py* 中，我尝试了另一种训练深度网络的方法：先训练第一层和嵌入层，再训练两层模型，然后逐步增加到三层等。在本任务中，这种方法是可行的。\n\n### 升级内容\n- 重构了部分类。\n- 现在可以更方便地在其他模型中复用这些组件，只需导入 transformer.py 即可。\n- 添加了一个快速的分步解码器，并升级了束搜索算法。不过，这些模块仍需进一步改进以提高可重用性。\n- 已适配TensorFlow 2.6.0版本。\n\n# 致谢\n- 部分模型结构和脚本借鉴自 [jadore801120\u002Fattention-is-all-you-need-pytorch](https:\u002F\u002Fgithub.com\u002Fjadore801120\u002Fattention-is-all-you-need-pytorch)。","# attention-is-all-you-need-keras 快速上手指南\n\n本指南帮助中国开发者快速使用基于 Keras + TensorFlow 实现的 Transformer 模型（源自论文《Attention is All You Need》）。\n\n## 环境准备\n\n- **操作系统**：Linux \u002F macOS \u002F Windows\n- **Python 版本**：建议 Python 3.6 - 3.9\n- **核心依赖**：\n  - TensorFlow >= 2.6.0\n  - Keras (通常随 TensorFlow 内置)\n  - NumPy\n  - 其他标准科学计算库\n\n> **国内加速建议**：安装依赖时推荐使用清华或阿里镜像源，以提升下载速度。\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple tensorflow>=2.6.0 numpy\n> ```\n\n## 安装步骤\n\n1. 克隆项目代码到本地：\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fyour-repo\u002Fattention-is-all-you-need-keras.git\n   cd attention-is-all-you-need-keras\n   ```\n\n2. 安装所需 Python 依赖（推荐国内镜像）：\n   ```bash\n   pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n   *注：若项目中无 `requirements.txt`，请直接安装核心依赖：*\n   ```bash\n   pip install tensorflow>=2.6.0 numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n## 基本使用\n\n本项目提供了两个主要示例脚本，分别用于机器翻译和拼音转换任务。\n\n### 1. 运行英文到德文翻译示例 (WMT'16 Multi30k)\n\n该脚本复现了原论文中的多模态翻译任务，数据预处理参考了相关 PyTorch 实现。\n\n```bash\npython en2de_main.py\n```\n\n- **预期结果**：验证集准确率约为 70%。\n- **小模型调优**：对于此类小规模任务，若使用较小参数（如 `layers=2`, `d_model=256`），效果可能更佳。\n\n### 2. 运行拼音转换示例\n\n该脚本展示了一种分层训练深度网络的方法（先训练嵌入层和第一层，再逐步增加层数）。\n\n```bash\npython pinyin_main.py\n```\n\n### 3. 使用自定义数据\n\n若要使用自己的数据集，请按以下格式预处理源序列和目标序列：\n- 参考格式文件：`en2de.s2s.txt` 或 `pinyin.corpus.examples.txt`\n- 将处理好的数据放入对应路径后，修改主脚本中的数据加载部分即可开始训练。\n\n### 4. 作为组件调用\n\n你可以直接在其它项目中导入核心模块来构建自定义模型：\n\n```python\nfrom transformer import Transformer\n# 在此处实例化并配置你的模型\n```\n\n> **注意**：若增加网络层数（Layers），建议使用论文中提到的特殊学习率调度器（Learning Rate Scheduler）以获得最佳收敛效果。","某初创教育科技团队正致力于开发一款支持方言与普通话互转的实时语音教学助手，急需构建高精度的序列转换模型。\n\n### 没有 attention-is-all-you-need-keras 时\n- 团队需从零复现复杂的 Transformer 架构，手动编写多头注意力机制和位置编码，耗时数周且极易引入难以排查的数学逻辑错误。\n- 由于缺乏针对 Keras\u002FTensorFlow 生态的原生适配，模型难以无缝集成到现有的 TensorFlow 2.6 生产管线中，部署调试成本极高。\n- 面对小样本方言数据，无法直接复用官方论文中的学习率调度策略或分层渐进式训练技巧，导致模型收敛困难，验证准确率长期停滞在低水平。\n- 解码阶段缺少高效的束搜索（Beam Search）实现，生成结果流畅度差，且推理速度无法满足实时交互需求。\n\n### 使用 attention-is-all-you-need-keras 后\n- 直接导入 `transformer.py` 即可调用标准化的 Transformer 组件，将核心模型搭建时间从数周缩短至几天，让团队专注于数据清洗与业务逻辑。\n- 原生兼容 TensorFlow 2.6.0，无需额外适配层即可在现有 GPU 集群上启动训练，显著降低了环境配置与运维门槛。\n- 利用内置的分层训练方案（先训嵌入层再逐步加深网络）及专用学习率调度器，在小规模方言数据集上快速将验证准确率提升至可用水平。\n- 启用升级版的逐步解码器与束搜索算法，生成的普通话译文更加通顺自然，同时大幅提升了推理响应速度，满足实时教学互动要求。\n\nattention-is-all-you-need-keras 通过将顶尖论文成果转化为开箱即用的 Keras 组件，让中小团队也能低成本、高效率地落地高性能序列建模应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flsdefine_attention-is-all-you-need-keras_59d841ab.png","lsdefine","LJQ","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Flsdefine_9bbff205.jpg",null,"l.j.q.light@gmail.com","https:\u002F\u002Fgithub.com\u002Flsdefine",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,715,186,"2026-03-27T06:43:56","","未说明（基于 TensorFlow，通常支持 CPU 或 NVIDIA GPU，具体取决于本地 TensorFlow 配置）","未说明",{"notes":94,"python":92,"dependencies":95},"该工具是论文《Attention is All You Need》中 Transformer 模型的 Keras+TensorFlow 实现。已更新以支持 TensorFlow 2.6.0 版本。对于层数较多的模型，建议使用论文中提到的特殊学习率调度器。代码包含逐步解码器和升级版的束搜索（beam-search），但可能需要修改才能复用。用户需自行按照示例格式（如 en2de.s2s.txt）预处理数据。",[96,97],"Keras","TensorFlow>=2.6.0",[13],[100,101,102,103,104],"deep-learning","attention-is-all-you-need","attention-seq2seq","keras-tensorflow","keras","2026-03-27T02:49:30.150509","2026-04-06T07:23:07.497576",[108,113,118,123,128,133],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},12106,"如何使用训练好的模型进行翻译预测？","维护者已在代码中添加了执行翻译的示例。您可以参考 `en2de_main.py` 文件，或者查看 `pinyin_main.py` 文件的末尾部分，那里展示了如何使用训练好的模型对输入序列进行翻译。","https:\u002F\u002Fgithub.com\u002Flsdefine\u002Fattention-is-all-you-need-keras\u002Fissues\u002F4",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},12107,"LayerNormalization（层归一化）和 Keras 自带的 BatchNormalization（批归一化）是一样的吗？","不一样。LayerNorm 和 BatchNorm 是两种不同的技术。LayerNorm 参见论文《Layer Normalization》(https:\u002F\u002Farxiv.org\u002Fabs\u002F1607.06450)，而 BatchNorm 参见论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》(https:\u002F\u002Farxiv.org\u002Fabs\u002F1502.03167)。Transformer 架构需要的是 LayerNormalization。","https:\u002F\u002Fgithub.com\u002Flsdefine\u002Fattention-is-all-you-need-keras\u002Fissues\u002F5",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},12108,"运行时报错 'Tensor' object has no attribute 'expand_dims' 或 Lambda 层相关错误，该如何解决？","这通常是由于版本冲突或代码修改错误导致的。请确保 `K` 指的是 `keras.backend` (或 `tf.keras.backend`) 而不是 Tensor 对象。建议克隆仓库的最新版本代码，因为新鲜代码通常能正常运行。如果问题依旧，请检查 TensorFlow 和 Keras 的版本兼容性。","https:\u002F\u002Fgithub.com\u002Flsdefine\u002Fattention-is-all-you-need-keras\u002Fissues\u002F3",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},12109,"Decoder（解码器）中的 Mask 矩阵实现是否正确？看起来像是上三角矩阵。","用户指出的上三角累积和确实会导致第一个词关注整个序列，这是不正确的。维护者确认我们需要的是下三角矩阵（lower left triangular mask）来防止解码器关注未来位置。如果发现实现为上三角，应修正为下三角掩码以符合预期。","https:\u002F\u002Fgithub.com\u002Flsdefine\u002Fattention-is-all-you-need-keras\u002Fissues\u002F6",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},12110,"注意力机制中的 Mask 操作是在 Softmax 之前还是之后生效？广播机制是否会导致掩码失效？","Mask 操作是在 Softmax 之前生效的。代码通过 `Add()([attn, mmask])` 将掩码加到注意力分数上（掩码位置设为负无穷大），这样在 Softmax 后这些位置的概率会趋近于 0。关于广播问题，这里的 Mask 通常是 2 维的（不含 batch 维，例如解码器的三角形掩码），其形状设计使得它不会错误地广播到整行导致掩码失效，而是正确地对齐到需要屏蔽的位置。","https:\u002F\u002Fgithub.com\u002Flsdefine\u002Fattention-is-all-you-need-keras\u002Fissues\u002F16",{"id":134,"question_zh":135,"answer_zh":136,"source_url":122},12111,"QANet blocks 是什么？如何在编码序列时使用它们？","QANet blocks 用于执行 CNN+Self-Attention 来编码序列。它们是 QANet 模型实现的基本元素。使用示例代码如下：\n```\nx = Embedding(words.num(), 64)(input)\nx = Dropout(0.5)(x)\nmask = Lambda(lambda x:K.cast(K.greater(x, 0), 'float32'))(input)\nx = QANet_Encoder(64, n_head=4, n_conv=2, n_block=3, kernel_size=5, dropout=0.5, add_pos=False)(x, mask)\n```",[]]