[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-kimiyoung--transformer-xl":3,"tool-kimiyoung--transformer-xl":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85052,"2026-04-08T11:03:08",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":23,"last_commit_at":63,"category_tags":64,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,46],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":69,"owner_company":79,"owner_location":69,"owner_email":69,"owner_twitter":69,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":23,"env_os":95,"env_gpu":96,"env_ram":95,"env_deps":97,"category_tags":102,"github_topics":69,"view_count":10,"oss_zip_url":69,"oss_zip_packed_at":69,"status":16,"created_at":103,"updated_at":104,"faqs":105,"releases":140},5928,"kimiyoung\u002Ftransformer-xl","transformer-xl",null,"Transformer-XL 是一款突破传统限制的语言模型架构，旨在解决标准 Transformer 在处理长文本时受限于固定长度上下文的问题。传统模型往往只能“记住”有限的前文信息，导致在生成长文章或理解复杂语境时表现不佳。Transformer-XL 通过引入段级循环机制和相对位置编码，让模型能够利用历史片段的信息，从而有效捕捉超长距离的依赖关系。\n\n这一创新不仅显著提升了语言建模的准确度，更使其成为首个在字符级语言建模任务中困惑度（perplexity）降至 1.0 以下的模型，在 enwiki8、One Billion Word 等多个权威基准测试中刷新了最佳成绩。项目官方提供了完善的 PyTorch 和 TensorFlow 代码实现，支持多 GPU 及 TPU 训练，并开放了预训练模型供直接调用。\n\nTransformer-XL 特别适合自然语言处理领域的研究人员与开发者使用。如果你正在探索长文档生成、复杂语境理解或需要构建高性能语言基座，这款工具能提供强大的技术支撑。其独特的设计思路也为后续长序列建模研究奠定了重要基础，是深入理解注意力机制演进不可或缺的开源资源。","# Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context\n\nThis repository contains the code in both **PyTorch** and **TensorFlow** for our paper\n>[Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context](http:\u002F\u002Farxiv.org\u002Fabs\u002F1901.02860)\n\n>Zihang Dai\\*, Zhilin Yang\\*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov (*: equal contribution)\n\n>Preprint 2018\n\n## TensorFlow\n\n- The source code is in the `tf\u002F` folder, supporting (1) single-node multi-gpu training, and (2) multi-host TPU training.\n- Besides the source code, we also provide pretrained \"TensorFlow\" models with state-of-the-art (SoTA) performances reported in the paper.\n- Please refer to `tf\u002FREADME.md` for details.\n\n## PyTorch\n\n- The source code is in the `pytorch\u002F` folder, supporting single-node multi-gpu training via the module `nn.DataParallel`.\n- Please refer to `pytorch\u002FREADME.md` for details.\n\n## Results\n\nTransformer-XL achieves new state-of-the-art results on multiple language modeling benchmarks. Transformer-XL is also the first to break through the 1.0 barrier on char-level language modeling. Below is a summary.\n\nMethod | enwiki8 | text8 | One Billion Word | WT-103 | PTB (w\u002Fo finetuning)\n-- | -- | -- | -- | -- | -- \nPrevious Best | 1.06 | 1.13 | 23.7 | 20.5 | 55.5\nTransformer-XL | **0.99** | **1.08** | **21.8** | **18.3** | **54.5**\n\n\n\n## Acknowledgement\n\nA large portion of the `getdata.sh` script comes from the [awd-lstm](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002Fawd-lstm-lm\u002F) repo. Happy Language Modeling :)\n","# Transformer-XL：超越固定长度上下文的注意力语言模型\n\n本仓库包含我们论文的 **PyTorch** 和 **TensorFlow** 两种实现代码：\n>[Transformer-XL：超越固定长度上下文的注意力语言模型](http:\u002F\u002Farxiv.org\u002Fabs\u002F1901.02860)\n\n>Zihang Dai\\*, Zhilin Yang\\*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov (*: 共同第一作者)\n\n>预印本 2018 年\n\n## TensorFlow\n\n- 源代码位于 `tf\u002F` 文件夹中，支持 (1) 单节点多 GPU 训练，以及 (2) 多主机 TPU 训练。\n- 除了源代码外，我们还提供了在论文中报告了最先进（SoTA）性能的预训练 “TensorFlow” 模型。\n- 详情请参阅 `tf\u002FREADME.md`。\n\n## PyTorch\n\n- 源代码位于 `pytorch\u002F` 文件夹中，通过 `nn.DataParallel` 模块支持单节点多 GPU 训练。\n- 详情请参阅 `pytorch\u002FREADME.md`。\n\n## 结果\n\nTransformer-XL 在多个语言建模基准测试中取得了新的最先进结果。Transformer-XL 也是首个在字符级语言建模任务上突破 1.0 阈值的模型。以下是总结：\n\n方法 | enwiki8 | text8 | One Billion Word | WT-103 | PTB（未微调）\n-- | -- | -- | -- | -- | --\n先前最佳 | 1.06 | 1.13 | 23.7 | 20.5 | 55.5\nTransformer-XL | **0.99** | **1.08** | **21.8** | **18.3** | **54.5**\n\n\n\n## 致谢\n\n`getdata.sh` 脚本的大部分内容来自 [awd-lstm](https:\u002F\u002Fgithub.com\u002Fsalesforce\u002Fawd-lstm-lm\u002F) 仓库。祝大家语言建模愉快 :)","# Transformer-XL 快速上手指南\n\nTransformer-XL 是一种突破固定长度上下文限制的注意力语言模型，支持 PyTorch 和 TensorFlow 两种框架。本指南将帮助你快速配置环境并运行基础示例。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu 18.04+) 或 macOS\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡（可选，用于加速训练）\n- **Python**: 3.6 或更高版本\n\n### 前置依赖\n请确保已安装以下基础工具：\n- Git\n- CUDA Toolkit (如需 GPU 加速)\n- cuDNN (如需 GPU 加速)\n\n建议国内用户使用清华源或阿里源加速 Python 包安装：\n```bash\npip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n\n本项目未打包为 PyPI 库，需克隆源码并使用。\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl.git\ncd transformer-xl\n```\n\n### 2. 安装 Python 依赖\n根据你选择的框架进入对应目录安装依赖。\n\n**PyTorch 用户:**\n```bash\ncd pytorch\npip install -r requirements.txt\n```\n*注：若 `requirements.txt` 中未指定 torch 版本，请手动安装适配你 CUDA 版本的 PyTorch：*\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\n```\n\n**TensorFlow 用户:**\n```bash\ncd tf\npip install -r requirements.txt\n```\n*注：请确保安装的 TensorFlow 版本与代码兼容（通常推荐 TF 1.x 或特定 2.x 版本，具体参考 `tf\u002Frequirements.txt`）。*\n\n## 基本使用\n\n以下以最常用的 **PyTorch** 版本为例，演示如何下载数据并启动训练。TensorFlow 用户请参考 `tf\u002FREADME.md` 中的类似流程。\n\n### 1. 准备数据集\n运行提供的脚本下载并预处理标准数据集（如 WikiText-103）：\n```bash\ncd pytorch\nbash getdata.sh\n```\n*该脚本会自动下载数据至 `data\u002F` 目录。*\n\n### 2. 单卡训练示例\n使用默认参数在 WikiText-103 数据集上开始训练：\n```bash\npython train.py --dataset wt103 --batch_size 32 --n_layer 12 --d_model 512 --n_head 8 --d_head 64 --d_inner 2048 --dropout 0.1 --dropatt 0.0\n```\n\n### 3. 多卡训练示例\n利用 `nn.DataParallel` 进行单机多卡训练（例如使用 4 张 GPU）：\n```bash\npython train.py --dataset wt103 --batch_size 32 --n_layer 12 --d_model 512 --n_head 8 --d_head 64 --d_inner 2048 --dropout 0.1 --dropatt 0.0 --multi_gpu --gpu_ids 0,1,2,3\n```\n\n### 4. 评估模型\n训练完成后，使用预训练权重或检查点进行困惑度（Perplexity）评估：\n```bash\npython eval.py --dataset wt103 --split test --batch_size 10 --clamp_len 400 --model_path best_model.pt\n```\n\n> **提示**: 更多高级用法（如 TPU 训练、超参数调整）请分别查阅 `pytorch\u002FREADME.md` 和 `tf\u002FREADME.md`。","某大型法律科技公司的算法团队正在构建一个能自动起草长篇合同并审查条款一致性的智能系统。\n\n### 没有 transformer-xl 时\n- **长文档记忆断裂**：传统模型受限于固定长度上下文（如 512 个 token），在处理几十页的合同时，无法关联文件开头定义的“甲方”与结尾处的责任条款，导致逻辑矛盾。\n- **生成内容重复啰嗦**：由于缺乏长期依赖捕捉能力，模型在生成长段落时容易陷入死循环，反复输出相同的法律套话，降低文书可用性。\n- **训练效率低下**：为了强行适配短上下文，团队不得不将长文档切割成碎片进行训练，破坏了语义完整性，且需要极多的微调次数才能达到勉强可用的效果。\n- **字符级建模瓶颈**：在处理特殊法律术语或拼写纠错时，现有模型在字符级别的困惑度（Perplexity）始终高于 1.0，难以精准识别生僻字错误。\n\n### 使用 transformer-xl 后\n- **跨越段落的逻辑连贯**：借助循环机制和相对位置编码，transformer-xl 能记住数千个 token 前的关键定义，确保整份合同中术语引用和权责描述高度一致。\n- **流畅自然的长文生成**：模型突破了固定长度限制，生成的合同草案结构严谨、用词多变，不再出现无意义的重复片段，大幅减少人工修订时间。\n- **端到端的高效训练**：支持直接对超长序列进行建模，无需暴力截断文档，不仅保留了完整语义，还在多个基准测试中将困惑度降至 1.0 以下（如 enwiki8 数据集达 0.99）。\n- **精准的细粒度理解**：作为首个在字符级语言建模上突破 1.0 屏障的模型，它能敏锐捕捉法律文本中的细微拼写差异，显著提升专业术语的准确性。\n\ntransformer-xl 通过打破上下文长度枷锁，让 AI 真正具备了理解与创作长篇专业文档的“长期记忆”能力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkimiyoung_transformer-xl_76fd3df1.png","kimiyoung","Zhilin Yang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkimiyoung_01760434.png","Carnegie Mellon University","http:\u002F\u002Fkimiyoung.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fkimiyoung",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",88.4,{"name":88,"color":89,"percentage":90},"Shell","#89e051",11.6,3697,767,"2026-03-31T02:04:12","Apache-2.0","","训练需要多块 GPU（支持单节点多卡）或 TPU；具体型号、显存大小及 CUDA 版本未说明",{"notes":98,"python":95,"dependencies":99},"该仓库同时提供 PyTorch 和 TensorFlow 两个版本的代码。PyTorch 版本通过 nn.DataParallel 模块支持单节点多 GPU 训练；TensorFlow 版本支持单节点多 GPU 训练以及多主机 TPU 训练。具体的环境配置细节需参考各自文件夹（pytorch\u002FREADME.md 或 tf\u002FREADME.md）中的说明。",[100,101],"PyTorch","TensorFlow",[15],"2026-03-27T02:49:30.150509","2026-04-09T23:50:27.582145",[106,111,116,121,126,131,136],{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},26902,"为什么我的模型训练损失不下降或无法复现论文中的实验结果？","这通常是因为批量大小（batch size）太小导致优化不稳定。解决方案包括：1. 增加批量大小；2. 降低学习率；3. 增加预热步数（warmup steps）。此外，如果使用自适应嵌入（即 `DIV_VAL > 1`），可能会引起优化不稳定，尝试减小 `init_std` 或增加预热步数。对于 enwik8 数据集，预期的 bpc 约为 1.06。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F14",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},26903,"如何在显存有限的 GPU（如 16GB）上运行大模型以避免 OOM（内存溢出）错误？","如果发生 OOM 错误，可以尝试减小批量大小（例如从 256 减至 64），但这会显著增加收敛所需的时间（可能增加 4 倍）。目前代码中变量主要存储在 GPU 上，若需进一步优化显存，可考虑使用混合精度训练或梯度累积技术，但官方脚本未直接提供将变量存储到 CPU 的选项。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F69",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},26904,"Transformer-XL 与 BERT 相比性能如何？可以直接比较吗？","两者架构和用途不同，直接比较不公平。BERT 的主要贡献是一种预训练方法，可用于微调各种 NLP 任务；而 Transformer-XL 专注于语言建模任务。从架构上看，BERT 是一个标准的 Transformer，原始 BERT 论文并未包含语言建模任务的实验。因此，它们在各自擅长的领域（微调 vs 语言建模）表现不同。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F11",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},26905,"如何使用自己的新语料库进行训练？需要修改哪些脚本？","通常不需要大幅修改脚本。一般只需要准备空格分隔的符号数据（可以是词、字符或字节）。Corpus 类会自动调用词汇表构建函数将文本编码为整数。确保数据格式正确（空格分隔），脚本即可处理新的语料库。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F37",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},26906,"为什么在 TensorFlow 2.x 环境下无法复现 WikiText-103 的 SOTA 结果（困惑度 18.3）？","这是一个已知问题，由 TensorFlow 2.x GPU 版本在并行计算中的精度保留方法引起。要复现 SOTA 结果，建议切换回 TensorFlow 1.12 和 Python 2.7 环境，或者使用 PyTorch 1.4 框架加载预训练权重进行评估。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F112",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},26907,"PyTorch 和 TensorFlow 版本中大型模型（Large Model）的训练步数不一致（400K vs 4M），哪个是正确的？","论文中提到的 4M 步数可能是笔误。根据社区复现经验（如 Segatron-XL large），大型模型通常在 400K 步左右即可达到约 18.3 的困惑度，无需训练 400 万步。参考 One Billion Word 数据集的训练设置，400K 步是更合理的配置。","https:\u002F\u002Fgithub.com\u002Fkimiyoung\u002Ftransformer-xl\u002Fissues\u002F114",{"id":137,"question_zh":138,"answer_zh":139,"source_url":115},26908,"lm1b 基础模型的预期测试困惑度是多少？","对于 PyTorch 脚本中的 lm1b 基础模型（配置：N_LAYER=18, D_MODEL=1024, D_INNER=4096，约 3.6 亿参数），在训练 500K 步后，预期的测试困惑度约为 30.25。该结果是使用默认脚本仅修改优化器（使用内存压缩版 Adam）得到的。",[]]