[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ChenRocks--fast_abs_rl":3,"tool-ChenRocks--fast_abs_rl":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":90,"env_os":91,"env_gpu":92,"env_ram":93,"env_deps":94,"category_tags":103,"github_topics":104,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":142},7969,"ChenRocks\u002Ffast_abs_rl","fast_abs_rl","Code for ACL 2018 paper: \"Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting. Chen and Bansal\"","fast_abs_rl 是一个专注于快速生成抽象式文本摘要的开源项目，源自 ACL 2018 的研究论文。它主要解决了传统摘要模型在生成高质量概括内容时速度慢、难以兼顾关键信息提取与流畅重写的难题。\n\n该工具的核心亮点在于结合了“强化学习”与“句子重写”机制：首先利用扩展的循环神经网络（RNN-ext）精准筛选原文中的重要句子，随后通过强化学习策略对这些句子进行抽象式改写，从而生成既忠实原意又自然流畅的摘要。这种方法不仅显著提升了生成效率，还在 ROUGE 和 METEOR 等权威评估指标上取得了优异表现。\n\nfast_abs_rl 非常适合自然语言处理领域的研究人员和开发者使用。如果你希望复现前沿学术论文结果、在 CNN\u002FDailyMail 等数据集上训练自定义模型，或者需要调用预训练模型进行批量摘要解码与评估，这个项目提供了完整的代码实现与环境配置指南。需要注意的是，由于涉及深度学习训练，使用者需具备 Python 和 PyTorch 基础，并建议使用 GPU 环境以获得合理的运行速度。对于普通用户而言，直接使用其生成的摘要结果或作为技术参考更为合适。","# Fast Abstractive Summarization-RL\nThis repository contains the code for our ACL 2018 paper:\n\n*[Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting](https:\u002F\u002Farxiv.org\u002Fabs\u002F1805.11080)*.\n\nYou can\n1. Look at the generated summaries and evaluate the ROUGE\u002FMETEOR scores\n2. Run decoding of the pretrained model\n3. Train your own model\n\nIf you use this code, please cite our paper:\n```\n@inproceedings{chen2018fast,\n  title={Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting},\n  author={Yen-Chun Chen and Mohit Bansal},\n  booktitle={Proceedings of ACL},\n  year={2018}\n}\n```\n\n## Dependencies\n- **Python 3** (tested on python 3.6)\n- [PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) 0.4.0\n    - with GPU and CUDA enabled installation (though the code is runnable on CPU, it would be way too slow)\n- [gensim](https:\u002F\u002Fgithub.com\u002FRaRe-Technologies\u002Fgensim)\n- [cytoolz](https:\u002F\u002Fgithub.com\u002Fpytoolz\u002Fcytoolz)\n- [tensorboardX](https:\u002F\u002Fgithub.com\u002Flanpa\u002Ftensorboard-pytorch)\n- [pyrouge](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fpyrouge) (for evaluation)\n\nYou can use the python package manager of your choice (*pip\u002Fconda*) to install the dependencies.\nThe code is tested on the *Linux* operating system.\n\n## Evaluate the output summaries from our ACL paper\nDownload the output summaries *[here](https:\u002F\u002Fbit.ly\u002Facl18_results)*.\n\nTo evaluate, you will need to download and setup the official ROUGE and METEOR\npackages.\n\nWe use [`pyrouge`](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fpyrouge)\n(`pip install pyrouge` to install)\nto make the ROUGE XML files required by the official perl script.\nYou will also need the official ROUGE package.\n(However, it seems that the original ROUGE website is down.\nAn alternative can be found\n*[here](https:\u002F\u002Fgithub.com\u002Fandersjo\u002Fpyrouge\u002Ftree\u002Fmaster\u002Ftools\u002FROUGE-1.5.5)*.)\nPlease specify the path to your ROUGE package by setting the environment variable\n`export ROUGE=[path\u002Fto\u002Frouge\u002Fdirectory]`.\n\n\nFor METEOR, we only need the JAR file `meteor-1.5.jar`.\nPlease specify the file by setting the environment variable\n`export METEOR=[path\u002Fto\u002Fmeteor\u002Fjar]`.\n\nRun\n```\npython eval_acl.py --[rouge\u002Fmeteor] --decode_dir=[path\u002Fto\u002Fdecoded\u002Ffiles]\n```\nto get the ROUGE\u002FMETEOR scores reported in the paper.\n\n## Decode summaries from the pretrained model\nDownload the pretrained models *[here](https:\u002F\u002Fbit.ly\u002Facl18_pretrained)*.\nYou will also need a preprocessed version of the CNN\u002FDailyMail dataset.\nPlease follow the instructions\n*[here](https:\u002F\u002Fgithub.com\u002FChenRocks\u002Fcnn-dailymail)*\nfor downloading and preprocessing the CNN\u002FDailyMail dataset.\nAfter that, specify the path of data files by setting the environment variable\n`export DATA=[path\u002Fto\u002Fdecompressed\u002Fdata]`\n\nWe provide 2 versions of pretrained models.\nUsing `acl` you can reproduce the results reported in our paper.\nUsing `new` you will get our latest result trained with a newer version of PyTorch library\nwhich leads to slightly higher scores.\n\nTo decode, run\n```\npython decode_full_model.py --path=[path\u002Fto\u002Fsave\u002Fdecoded\u002Ffiles] --model_dir=[path\u002Fto\u002Fpretrained] --beam=[beam_size] [--test\u002F--val]\n```\nOptions:\n- beam_size: number of hypothesis for (diverse) beam search. (use beam_size > 1 to enable reranking)\n  - beam_szie=1 to get greedy decoding results (rnn-ext + abs + RL)\n  - beam_size=5 is used in the paper for the +rerank model (rnn-ext + abs + RL + rerank)\n- test\u002Fval: decode on test\u002Fvalidation dataset\n\nIf you want to evaluate on the generated output files,\nplease follow the instructions in the above section to setup ROUGE\u002FMETEOR.\n\nNext, make the reference files for evaluation:\n```\npython make_eval_references.py\n```\nand then run evaluation by:\n```\npython eval_full_model.py --[rouge\u002Fmeteor] --decode_dir=[path\u002Fto\u002Fsave\u002Fdecoded\u002Ffiles]\n```\n\n### Results\nYou should get the following results\n\nValidation set\n\n| Models             | ROUGEs (R-1, R-2, R-L) | METEOR |\n| ------------------ |:----------------------:| ------:|\n| **acl** |\n| rnn-ext + abs + RL | (41.01, 18.20, 38.57)  |  21.10 |\n| + rerank           | (41.74, 18.39, 39.40)  |  20.45 |\n| **new** |\n| rnn-ext + abs + RL | (41.23, 18.45, 38.71)  |  21.14 |\n| + rerank           | (42.06, 18.80, 39.68)  |  20.58 |\n\nTest set\n\n| Models             | ROUGEs (R-1, R-2, R-L) | METEOR |\n| ------------------ |:----------------------:| ------:|\n| **acl** |\n| rnn-ext + abs + RL | (40.03, 17.61, 37.58)  |  21.00 |\n| + rerank           | (40.88, 17.81, 38.53)  |  20.38 |\n| **new** |\n| rnn-ext + abs + RL | (40.41, 17.92, 37.87)  |  21.13 |\n| + rerank           | (41.20, 18.18, 38.79)  |  20.56 |\n\n**NOTE**:\nThe original models in the paper are trained with pytorch 0.2.0 on python 2. \nAfter the acceptance of the paper, we figured it is better for the community if\nwe release the code with latest libraries so that it becomes easier to build new\nmodels\u002Ftechniques on top of our work. \nThis results in a negligible difference w.r.t. our paper results when running the old pretrained model;\nand gives slightly better scores than our paper if running the new pretrained model.\n\n## Train your own models\nPlease follow the instructions\n*[here](https:\u002F\u002Fgithub.com\u002FChenRocks\u002Fcnn-dailymail)*\nfor downloading and preprocessing the CNN\u002FDailyMail dataset.\nAfter that, specify the path of data files by setting the environment variable\n`export DATA=[path\u002Fto\u002Fdecompressed\u002Fdata]`\n\nTo re-train our best model:\n1. pretrained a *word2vec* word embedding\n```\npython train_word2vec.py --path=[path\u002Fto\u002Fword2vec]\n```\n2. make the pseudo-labels\n```\npython make_extraction_labels.py\n```\n3. train *abstractor* and *extractor* using ML objectives\n```\npython train_abstractor.py --path=[path\u002Fto\u002Fabstractor\u002Fmodel] --w2v=[path\u002Fto\u002Fword2vec\u002Fword2vec.128d.226k.bin]\npython train_extractor_ml.py --path=[path\u002Fto\u002Fextractor\u002Fmodel] --w2v=[path\u002Fto\u002Fword2vec\u002Fword2vec.128d.226k.bin]\n```\n4. train the *full RL model*\n```\npython train_full_rl.py --path=[path\u002Fto\u002Fsave\u002Fmodel] --abs_dir=[path\u002Fto\u002Fabstractor\u002Fmodel] --ext_dir=[path\u002Fto\u002Fextractor\u002Fmodel]\n```\nAfter the training finishes you will be able to run the decoding and evaluation following the instructions in the previous section.\n\nThe above will use the best hyper-parameters we used in the paper as default.\nPlease refer to the respective source code for options to set the hyper-parameters.\n\n","# 快速抽象摘要-RL\n此仓库包含我们2018年ACL论文的代码：\n\n*[使用强化学习选择性重写句子实现快速抽象摘要](https:\u002F\u002Farxiv.org\u002Fabs\u002F1805.11080)*。\n\n您可以：\n1. 查看生成的摘要并评估ROUGE\u002FMETEOR分数\n2. 运行预训练模型的解码\n3. 训练您自己的模型\n\n如果您使用此代码，请引用我们的论文：\n```\n@inproceedings{chen2018fast,\n  title={Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting},\n  author={Yen-Chun Chen and Mohit Bansal},\n  booktitle={Proceedings of ACL},\n  year={2018}\n}\n```\n\n## 依赖项\n- **Python 3**（已在python 3.6上测试）\n- [PyTorch](https:\u002F\u002Fgithub.com\u002Fpytorch\u002Fpytorch) 0.4.0\n    - 需要启用GPU和CUDA的安装（尽管代码可以在CPU上运行，但速度会非常慢）\n- [gensim](https:\u002F\u002Fgithub.com\u002FRaRe-Technologies\u002Fgensim)\n- [cytoolz](https:\u002F\u002Fgithub.com\u002Fpytoolz\u002Fcytoolz)\n- [tensorboardX](https:\u002F\u002Fgithub.com\u002Flanpa\u002Ftensorboard-pytorch)\n- [pyrouge](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fpyrouge)（用于评估）\n\n您可以使用您选择的Python包管理器（*pip\u002Fconda*）来安装这些依赖项。\n该代码已在*Linux*操作系统上测试通过。\n\n## 评估我们ACL论文中的输出摘要\n请从*[这里](https:\u002F\u002Fbit.ly\u002Facl18_results)*下载输出摘要。\n\n为了进行评估，您需要下载并设置官方的ROUGE和METEOR工具包。\n\n我们使用[`pyrouge`](https:\u002F\u002Fgithub.com\u002Fbheinzerling\u002Fpyrouge)\n(`pip install pyrouge`即可安装)\n来生成官方Perl脚本所需的ROUGE XML文件。您还需要官方的ROUGE工具包。\n（然而，似乎原始的ROUGE网站已经关闭了。一个替代方案可以在这里找到：\n*[这里](https:\u002F\u002Fgithub.com\u002Fandersjo\u002Fpyrouge\u002Ftree\u002Fmaster\u002Ftools\u002FROUGE-1.5.5)*。）\n请通过设置环境变量`export ROUGE=[rouge目录路径]`来指定您的ROUGE工具包路径。\n\n\n对于METEOR，我们只需要JAR文件`meteor-1.5.jar`。\n请通过设置环境变量`export METEOR=[meteor jar路径]`来指定该文件。\n\n运行\n```\npython eval_acl.py --[rouge\u002Fmeteor] --decode_dir=[解码文件路径]\n```\n即可得到论文中报告的ROUGE\u002FMETEOR分数。\n\n## 使用预训练模型解码摘要\n请从*[这里](https:\u002F\u002Fbit.ly\u002Facl18_pretrained)*下载预训练模型。\n您还需要CNN\u002FDailyMail数据集的预处理版本。请按照*[这里](https:\u002F\u002Fgithub.com\u002FChenRocks\u002Fcnn-dailymail)*的说明下载并预处理CNN\u002FDailyMail数据集。\n之后，通过设置环境变量`export DATA=[解压后的数据路径]`来指定数据文件的路径。\n\n我们提供了两个版本的预训练模型。\n使用`acl`版本可以复现我们论文中报告的结果。\n使用`new`版本则可以获得我们使用较新版本PyTorch库训练的最新结果，其得分略高。\n\n要进行解码，请运行\n```\npython decode_full_model.py --path=[保存解码文件的路径] --model_dir=[预训练模型路径] --beam=[束宽] [--test\u002F--val]\n```\n选项：\n- 束宽：用于（多样化）束搜索的假设数量。（使用束宽>1可启用重新排序）\n  - 束宽=1可获得贪婪解码结果（rnn-ext + abs + RL）\n  - 论文中+rerank模型使用的束宽为5（rnn-ext + abs + RL + rerank）\n- test\u002Fval：在测试\u002F验证集上解码\n\n如果您想对生成的输出文件进行评估，请按照上述部分的说明设置ROUGE\u002FMETEOR。\n\n接下来，制作用于评估的参考文件：\n```\npython make_eval_references.py\n```\n然后通过以下命令进行评估：\n```\npython eval_full_model.py --[rouge\u002Fmeteor] --decode_dir=[保存解码文件的路径]\n```\n\n### 结果\n您应该会得到以下结果：\n\n验证集\n\n| 模型             | ROUGEs (R-1, R-2, R-L) | METEOR |\n| ------------------ |:----------------------:| ------:|\n| **acl** |\n| rnn-ext + abs + RL | (41.01, 18.20, 38.57)  |  21.10 |\n| + rerank           | (41.74, 18.39, 39.40)  |  20.45 |\n| **new** |\n| rnn-ext + abs + RL | (41.23, 18.45, 38.71)  |  21.14 |\n| + rerank           | (42.06, 18.80, 39.68)  |  20.58 |\n\n测试集\n\n| 模型             | ROUGEs (R-1, R-2, R-L) | METEOR |\n| ------------------ |:----------------------:| ------:|\n| **acl** |\n| rnn-ext + abs + RL | (40.03, 17.61, 37.58)  |  21.00 |\n| + rerank           | (40.88, 17.81, 38.53)  |  20.38 |\n| **new** |\n| rnn-ext + abs + RL | (40.41, 17.92, 37.87)  |  21.13 |\n| + rerank           | (41.20, 18.18, 38.79)  |  20.56 |\n\n**注意**：\n论文中最初的模型是使用pytorch 0.2.0和python 2训练的。\n在论文被接受后，我们认为如果能发布使用最新库的代码，将更有利于社区，这样人们就可以更容易地基于我们的工作构建新的模型或技术。因此，在运行旧版预训练模型时，与论文中的结果相比几乎没有差异；而运行新版预训练模型时，则会比论文中的得分略高。\n\n## 训练您自己的模型\n请按照*[这里](https:\u002F\u002Fgithub.com\u002FChenRocks\u002Fcnn-dailymail)*的说明下载并预处理CNN\u002FDailyMail数据集。\n之后，通过设置环境变量`export DATA=[解压后的数据路径]`来指定数据文件的路径。\n\n要重新训练我们的最佳模型：\n1. 预训练一个*word2vec*词嵌入\n```\npython train_word2vec.py --path=[word2vec保存路径]\n```\n2. 生成伪标签\n```\npython make_extraction_labels.py\n```\n3. 使用ML目标训练*抽象器*和*提取器*\n```\npython train_abstractor.py --path=[抽象器模型保存路径] --w2v=[word2vec路径\u002Fword2vec.128d.226k.bin]\npython train_extractor_ml.py --path=[提取器模型保存路径] --w2v=[word2vec路径\u002Fword2vec.128d.226k.bin]\n```\n4. 训练*完整RL模型*\n```\npython train_full_rl.py --path=[保存模型的路径] --abs_dir=[抽象器模型路径] --ext_dir=[提取器模型路径]\n```\n训练完成后，您可以按照前一节的说明进行解码和评估。\n\n以上步骤将默认使用我们在论文中采用的最佳超参数。如需调整超参数，请参阅相应的源代码。","# fast_abs_rl 快速上手指南\n\n本指南基于 ACL 2018 论文《Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting》的代码库，帮助开发者快速部署预训练模型进行摘要生成，或从头训练自己的强化学习摘要模型。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (代码已在 Linux 环境下测试)\n- **Python**: Python 3.6+ (推荐 3.6)\n- **硬件**: 强烈建议使用支持 CUDA 的 GPU。虽然支持 CPU 运行，但速度极慢，不适用于实际训练或大规模解码。\n\n### 前置依赖\n请确保已安装以下核心库：\n- **PyTorch**: 版本 0.4.0 (需开启 GPU\u002FCUDA 支持)\n- **gensim**: 用于词向量处理\n- **cytoolz**: 工具函数库\n- **tensorboardX**: 用于训练可视化\n- **pyrouge**: 用于 ROUGE 指标评估\n\n> **注意**：评估部分还需要官方 ROUGE Perl 脚本包和 METEOR JAR 文件 (`meteor-1.5.jar`)。由于官方 ROUGE 网站可能不可用，可使用 [此替代源](https:\u002F\u002Fgithub.com\u002Fandersjo\u002Fpyrouge\u002Ftree\u002Fmaster\u002Ftools\u002FROUGE-1.5.5)。\n\n## 安装步骤\n\n推荐使用 `pip` 或 `conda` 安装依赖。国内用户可使用清华或阿里镜像加速安装。\n\n```bash\n# 创建并激活虚拟环境 (可选但推荐)\nconda create -n fast_abs_rl python=3.6\nconda activate fast_abs_rl\n\n# 安装 PyTorch 0.4.0 (根据具体 CUDA 版本调整，此处以 cuda9.0 为例)\n# 国内加速示例 (清华源)\npip install torch==0.4.0 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装其他依赖\npip install gensim cytoolz tensorboardX pyrouge -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n**配置评估工具环境变量** (如需运行评估脚本)：\n```bash\n# 替换为实际路径\nexport ROUGE=\u002Fpath\u002Fto\u002Fyour\u002FROUGE-1.5.5\nexport METEOR=\u002Fpath\u002Fto\u002Fyour\u002Fmeteor-1.5.jar\nexport DATA=\u002Fpath\u002Fto\u002Fdecompressed\u002Fcnn_dailymail_data\n```\n\n## 基本使用\n\n最快速的上手方式是下载预训练模型并对 CNN\u002FDailyMail 数据集进行解码生成摘要。\n\n### 1. 数据准备\n下载并预处理 CNN\u002FDailyMail 数据集（参考 [官方预处理指南](https:\u002F\u002Fgithub.com\u002FChenRocks\u002Fcnn-dailymail)）。完成后设置数据路径环境变量：\n```bash\nexport DATA=\u002Fpath\u002Fto\u002Fyour\u002Fpreprocessed\u002Fdata\n```\n\n### 2. 下载预训练模型\n从以下地址下载预训练权重：\n- **ACL 版本**: 复现论文原始结果 ([下载链接](https:\u002F\u002Fbit.ly\u002Facl18_pretrained))\n- **New 版本**: 基于新版 PyTorch 训练，分数略高 ([下载链接](https:\u002F\u002Fbit.ly\u002Facl18_pretrained))\n\n解压后记录模型目录路径。\n\n### 3. 运行解码 (生成摘要)\n使用 `decode_full_model.py` 生成摘要。以下命令演示如何使用预训练模型在验证集上进行束搜索解码：\n\n```bash\npython decode_full_model.py --path=.\u002Fdecoded_output --model_dir=\u002Fpath\u002Fto\u002Fpretrained_model --beam=5 --val\n```\n\n**参数说明**：\n- `--path`: 生成文件的保存路径。\n- `--model_dir`: 预训练模型文件夹路径。\n- `--beam`: 束搜索大小。\n  - `1`: 贪婪解码 (rnn-ext + abs + RL)。\n  - `5`: 启用重排序 (rnn-ext + abs + RL + rerank)，论文中使用的设置。\n- `--val` \u002F `--test`: 指定在验证集或测试集上运行。\n\n### 4. (可选) 评估结果\n若需计算 ROUGE 或 METEOR 分数，先生成参考文件，再运行评估：\n\n```bash\n# 生成评估所需的参考文件\npython make_eval_references.py\n\n# 执行评估 (例如评估 ROUGE)\npython eval_full_model.py --rouge --decode_dir=.\u002Fdecoded_output\n```","某新闻科技公司的算法团队正在构建一个实时资讯摘要系统，需要从海量的 CNN\u002FDailyMail 长篇文章中快速提取核心观点，以生成简短的新闻快讯推送给用户。\n\n### 没有 fast_abs_rl 时\n- **摘要质量生硬**：传统的抽取式方法只能机械地拼接原文句子，导致生成的摘要缺乏连贯性，读起来像破碎的片段，无法形成流畅的自然语言叙述。\n- **关键信息遗漏**：由于无法对原文进行改写或重组，模型难以捕捉分散在不同段落中的隐含逻辑，导致重要事实被忽略或表述不准确。\n- **优化目标单一**：仅依靠最大似然估计训练，模型倾向于生成保守、通用的“万金油”式摘要，缺乏针对性，且难以直接优化 ROUGE 等最终评估指标。\n- **推理速度瓶颈**：在尝试引入复杂的重写机制时，往往伴随着巨大的计算开销，导致在大规模数据测试集上生成摘要的速度极慢，无法满足近实时的业务需求。\n\n### 使用 fast_abs_rl 后\n- **生成流畅文摘**：利用强化学习（RL）指导的句子重写机制，fast_abs_rl 能够打破原文结构限制，生成语法通顺、逻辑紧密的抽象式摘要，显著提升阅读体验。\n- **精准内容重构**：模型学会了选择性重写关键句子，能有效整合分散的信息点，确保核心事实完整保留且表述更加精炼准确。\n- **指标直接优化**：通过强化学习直接将 ROUGE 和 METEOR 分数作为奖励信号，使模型生成的摘要在自动评估和人工评测中均获得更高得分。\n- **高效解码推理**：得益于专门设计的快速架构，即使在开启束搜索（Beam Search）和重排序（Rerank）的高级模式下，依然能在 GPU 上保持高效的解码速度，轻松处理海量测试数据。\n\nfast_abs_rl 通过结合强化学习与句子重写技术，成功解决了传统方法在摘要流畅度与信息密度上的矛盾，实现了高质量与高效率的统一。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FChenRocks_fast_abs_rl_fff46026.png","ChenRocks","Yen-Chun Chen","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FChenRocks_fab2477b.jpg","synthesizing tokens @ poolside AI |\r\nex-Microsoft researcher (Phi);\r\nM.Sc. @ UNC AI\u002FNLP","poolside","Seattle, WA",null,"https:\u002F\u002Fscholar.google.com\u002Fcitations?user=Gptgy4YAAAAJ","https:\u002F\u002Fgithub.com\u002FChenRocks",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,624,185,"2026-01-24T10:14:53","MIT",4,"Linux","需要支持 CUDA 的 GPU（非必需但强烈推荐，CPU 运行极慢），具体型号和显存未说明","未说明",{"notes":95,"python":96,"dependencies":97},"评估 ROUGE\u002FMETEOR 分数需单独配置官方 Perl 脚本环境及 meteor-1.5.jar 文件；代码基于较旧的 PyTorch 0.4.0 和 Python 3.6 开发，现代环境可能需要调整依赖版本；需自行下载并预处理 CNN\u002FDailyMail 数据集。","3.6 (测试版本)",[98,99,100,101,102],"PyTorch==0.4.0","gensim","cytoolz","tensorboardX","pyrouge",[14,35],[105,106,107,108,109],"deep-learning","natural-language-processing","reinforcement-learning","abstractive-summarization","pytorch","2026-03-27T02:49:30.150509","2026-04-16T08:14:12.154739",[113,118,123,128,133,138],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},35674,"如何使用单篇文章作为输入并使用预训练模型生成摘要？","该项目遵循 Pointer Generator (See et al, 2017) 的预处理步骤以确保公平比较。如果您有自己的训练数据集，可以使用任何喜欢的分词方式；或者您可以重新对 CNN\u002FDM 训练数据进行分词并重新训练模型。关键原则是保持训练和测试阶段的预处理一致。","https:\u002F\u002Fgithub.com\u002FChenRocks\u002Ffast_abs_rl\u002Fissues\u002F12",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},35675,"训练全 RL 模型时遇到 'CUDA out of memory' (显存不足) 错误怎么办？","显存不足通常是因为处理超长文档导致的。解决方案是修改代码以分批处理句子，避免一次性加载过多数据。具体做法是将生成摘要的代码改为迭代器或循环形式，例如：\n`summaries = concat(abstractor(ext_sents[i: i+x]) for i in range(0, len(ext_sents), x))`\n这样可以减少抽象器（abstractor）的内存占用，但会增加一些时间开销。此外，也可以尝试限制输入文章的句子数量上限，或减小 batch size（如设置为 4）。","https:\u002F\u002Fgithub.com\u002FChenRocks\u002Ffast_abs_rl\u002Fissues\u002F8",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},35676,"遇到 RuntimeError: Expected tensor ... dimension ... 4 does not equal 3 错误如何解决？","该错误通常与张量数据类型不匹配有关。尝试在输入张量上调用 `.float()` 方法将其转换为 float32 类型。例如，确保输入不是 torch.float16 或其他不兼容的类型。","https:\u002F\u002Fgithub.com\u002FChenRocks\u002Ffast_abs_rl\u002Fissues\u002F56",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},35677,"在不使用 CUDA (noCuda) 环境下运行时出现 Segmentation fault 或未定义变量错误怎么办？","这通常是环境配置或包安装问题。建议创建一个新的虚拟环境并重新安装所有依赖包。如果使用 Anaconda，可以参考以下步骤：\n1. `conda create -n fast-abs python=3.6`\n2. `source activate fast-abs`\n3. 重新安装项目所需的包。\n确保 Python 版本和环境与项目要求一致。","https:\u002F\u002Fgithub.com\u002FChenRocks\u002Ffast_abs_rl\u002Fissues\u002F11",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},35678,"在自己的数据集上训练时遇到 'input and target shapes do not match' (输入和目标形状不匹配) 错误？","此错误（如 input [204], target [200]）通常发生在强化学习训练阶段，原因是生成的序列长度与目标序列长度不一致。这在使用自定义数据集时较常见，因为数据预处理或截断逻辑可能与原始数据集不同。建议检查数据加载器（batcher）中的序列截断策略，确保输入和目标的维度对齐，或者调整最大生成长度参数以适配您的数据集分布。","https:\u002F\u002Fgithub.com\u002FChenRocks\u002Ffast_abs_rl\u002Fissues\u002F17",{"id":139,"question_zh":140,"answer_zh":141,"source_url":122},35679,"训练过程中出现 'Exploding Gradients' (梯度爆炸) 警告是否正常？","在强化学习训练初期出现梯度爆炸警告是比较常见的现象，特别是当奖励信号波动较大时。如果训练能够继续且损失最终收敛，通常可以忽略。但如果导致训练崩溃，可以尝试降低学习率（lr），增加梯度裁剪阈值（clip_grad_norm），或调整奖励函数的缩放系数（stop_coeff）。",[]]