[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ydli-ai--CSL":3,"tool-ydli-ai--CSL":61},[4,18,26,36,44,52],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",141543,2,"2026-04-06T11:32:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":53,"name":54,"github_repo":55,"description_zh":56,"stars":57,"difficulty_score":10,"last_commit_at":58,"category_tags":59,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,60],"视频",{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":76,"owner_website":76,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":76,"difficulty_score":88,"env_os":89,"env_gpu":90,"env_ram":89,"env_deps":91,"category_tags":98,"github_topics":99,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":137},4568,"ydli-ai\u002FCSL","CSL","[COLING 2022] CSL: A Large-scale Chinese Scientific Literature Dataset 中文科学文献数据集","CSL 是首个大规模中文科学文献数据集，收录了 2010 至 2020 年间发表的 39.6 万余篇中文核心期刊论文元信息。它主要解决了中文科技领域高质量、结构化预训练语料匮乏的难题，为自然语言处理研究提供了坚实的数据基础。\n\n该数据集不仅包含论文的标题、摘要和关键词，还精细标注了 13 个学科门类和 67 个具体学科标签。基于 CSL，研究人员可以直接开展文本摘要（如根据摘要预测标题）、关键词自动生成以及细粒度文本分类等多项关键任务。项目方还提供了标准化的评测基准，采用统一的训练与测试划分，支持以\"text-to-text\"形式在 T5 等主流模型上进行公平的多任务学习与效果对比。\n\nCSL 特别适合人工智能研究人员、NLP 算法工程师以及高校学者使用。无论是希望训练垂直领域的中文大语言模型，还是致力于提升科技文献处理效率的开发者，都能从中获益。其独特的亮点在于数据源自国家科技资源共享平台，经过严格筛选与专业标注，覆盖了从工学、医学到人文学科的广泛领域，且平均摘要长度超过 170 字，能够充分考验模型对长文本的理解与生成能力，是推动中文科技 NLP 发展的重要基础设施。","# Chinese Scientific Literature Dataset\n\n**COLING 2022**\n\n**CSL: A Large-scale Chinese Scientific Literature Dataset**  \n*Yudong Li, Yuqing Zhang, Zhe Zhao, Linlin Shen, Weijie Liu, Weiquan Mao and Hui Zhang*\n\n[English Documentation](.\u002Freadme_en.md) | [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.05034) | [Blog](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FuokFAO_5Exez5pogqQ0sow) | [BibTex](#bibtex)  \n\n**tl; dr** 提供首个中文科学文献数据集（CSL），包含 396,209 篇中文核心期刊论文元信息\n（标题、摘要、关键词、学科、门类）。CSL 数据集可以作为预训练语料，也可以构建许多NLP任务，例如文本摘要（标题预测）、\n关键词生成和文本分类等。\n\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fydli-ai_CSL_readme_1dc263dc7704.jpg)\n\n## 数据集\n\nCSL 数据获取自 [国家科技资源共享服务工程技术研究中心](https:\u002F\u002Fnstr.escience.net.cn\u002F)，\n包含 2010-2020 年发表的期刊论文元信息（标题、摘要和关键词）。根据中文核心期刊目录进行筛选，\n并标注学科和门类标签，分为 13 个门类（一级标签）和 67 个学科（二级标签）。\n数据总量为 396,209 条，分布如下表所示：\n\n|  Category       |          \\#d | len(T) | len(A) | num(K) | \\#Samples | Discipline Examples                                   |\n|-----------------|-------------:|-------:|-------:|-------:|----------:|---------------------------------------|\n|  Engineering    |           27 |   19.1 |  210.9 |    4.4 |   177,600 |  Mechanics,Architecture,Electrical Science   |\n|  Science        |            9 |   20.7 |  254.4 |    4.3 |    35,766 |  Mathematics,Physics,Astronomy,Geography    |\n|  Agriculture    |            7 |   17.1 |  177.1 |    7.1 |    39,560 |  Crop Science,Horticulture,Forestry          |\n|  Medicine       |            5 |   20.7 |  269.5 |    4.7 |    36,783 |  Clinical Medicine,Dental Medicine,Pharmacy  |\n|  Management     |            4 |   18.7 |  157.7 |    6.2 |    23,630 |  Business Management,Public Administration    |\n|  Jurisprudence  |            4 |   18.9 |  174.4 |    6.1 |    21,554 |  Legal Science,Political Science,Sociology   |\n|  Pedagogy       |            3 |   17.7 |  179.4 |    4.3 |    16,720 |  Pedagogy,Psychology,Physical Education      |\n|  Economics      |            2 |   19.5 |  177.2 |    4.5 |    11,558 |  Theoretical Economics,Applied Economics      |\n|  Literature     |            2 |   18.8 |  158.2 |    8.3 |    10,501 |  Chinese Literature,Journalism                |\n|  Art            |            1 |   17.8 |  170.8 |    5.4 |     5,201 |  Art                                           |\n|  History        |            1 |   17.6 |  181.0 |    6.0 |     6,270 |  History                                       |\n|  Strategics     |            1 |   17.5 |  169.3 |    4.0 |     3,555 |  Military Science                              |\n|  Philosophy     |            1 |   18.0 |  176.5 |    8.0 |     7,511 |  Philosophy                                    |\n|  All            |           67 |        |        |        |   396,209 |                                                |\n\n## 测评任务\n\n为了推动中文科学文献 NLP 研究，本项目提供一系列测评基准任务。\n测评任务数据集从 CSL 中抽样 10,000 条，按照 0.8 : 0.1 : 0.1的比例划分训练、验证和测试集。\n为了提供公平的多任务学习设置，各任务使用相同的训练、验证和测试集。\n任务数据集以 text2text 的形式提供，可以直接在基线模型（例如 T5）上进行多任务训练。\n\n\n#### 1.文本摘要（标题预测）\n\n输入论文的摘要，预测该论文的标题。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to title\",\n  \"text_a\": \"多个相邻场景同时进行干涉参数外定标的过程称为联合定标,联合定标能够 \\\n            保证相邻场景的高程衔接性,能够实现无控制点场景的干涉定标.该文提出了 \\\n            一种适用于机载InSAR系统的联合定标算法...\",\n  \"text_b\": \"基于加权最优化模型的机载InSAR联合定标算法\"\n}\n```\n\n#### 2.关键词生成\n\n输入论文的摘要和标题，预测该论文的关键词。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to keywords\",\n  \"text_a\": \"通过对72个圆心角为120°的双跨偏心支承弯箱梁桥模型的计算分析,以梁 \\\n            格系法为基础编制的3D-BSA软件系统为结构计算工具,用统计分析的方法建 \\\n            立双跨偏心支承弯箱梁桥结构反应在使用极限状态及承载能力极限状态下与 \\\n            桥梁跨长... 偏心支承对120°圆心角双跨弯箱梁桥的影响\",\n  \"text_b\": \"曲线桥_箱形梁_偏心支承_设计_经验公式\"\n}\n```\n\n#### 3.论文门类分类\n\n输入论文的标题，预测该论文所属的门类（13分类）。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to category\",\n  \"text_a\": \"基于模糊C均值聚类的流动单元划分方法——以克拉玛依油田五3中区克下组为例\",\n  \"text_b\": \"工学\"\n},\n{ \n  \"prompt\": \"to category\",\n  \"text_a\": \"正畸牵引联合牙槽外科矫治上颌尖牙埋伏阻生的临床观察\",\n  \"text_b\": \"医学\"\n}\n```\n\n#### 4.论文学科分类\n\n输入论文的摘要，预测该论文所属的学科（67分类）。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to discipline\",\n  \"text_a\": \"某铁矿选矿厂所产铁精矿含硫超过0.3%,而现场为了今后发展的需要,要 \\\n             求将含硫量降到0.1%以下.为此,针对该铁精矿中硫化物主要以磁黄铁矿 \\\n             形式存在、硫化物多与铁矿物连生且氧化程度较高的特点...\",\n  \"text_b\": \"矿业工程\"\n},\n{ \n  \"prompt\": \"to discipline\",\n  \"text_a\": \"为了校正广角镜头的桶形畸变,提出一种新的桶形畸变数字校正方法.它 \\\n             使用点阵样板校正的方法,根据畸变图和理想图中圆点的位置关系,得出 \\\n             畸变图像素在X轴和Y轴方向上的偏移量曲面...\",\n  \"text_b\": \"计算机科学与技术\"\n}\n```\n\n## 代码与基线模型\n\n实验在 UER-py 上测试了三个 text2text 基线模型（[T5](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87t5%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B)、\n[BART](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87bart%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B) \n和 [Pegasus](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87pegasus%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B)）。\n\n1. 克隆项目，下载预训练模型并放入 `UER-py\u002Fmodels\u002F`\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL.git\ngit clone https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py.git\n\ncp CSL\u002Frun_text2text_csl.py UER-py\u002Ffinetune\u002F\n```\n\n2. 准备数据，单任务微调（以标题预测为例）\n```\ncp -r CSL\u002Fbenchmark\u002F UER-py\u002Fdatasets\u002F\n\ncd UER-py\n\npython3 finetune\u002Frun_text2text_csl.py --pretrained_model_path models\u002Ft5_base.bin \\\n                                  --vocab_path models\u002Fgoogle_zh_with_sentinel_vocab.txt \\\n                                  --output_model_path models\u002Ffinetuned_model.bin \\\n                                  --config_path models\u002Ft5\u002Fbase_config.json \\\n                                  --train_path datasets\u002Fbenchmark\u002Fts\u002Ftrain.tsv \\\n                                  --dev_path datasets\u002Fbenchmark\u002Fts\u002Fdev.tsv \\\n                                  --test_path datasets\u002Fbenchmark\u002Fts\u002Ftest.tsv \\\n                                  --seq_length 512 --tgt_seq_length 48 --report_steps 200 \\\n                                  --learning_rate 3e-4 --batch_size 24 --epochs_num 5 --metrics 1\n```\n\n\n## 下载\n\n### CSL 原始数据\n\n|                  | Samples |                                                                            Access |\n|------------------|--------:|----------------------------------------------------------------------------------:|\n| CSL Benchmark    |     10k |                                                                        in project |\n| CSL Sub-dataset  |     40k | [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ve7ufyvf7ZtFygucgRrw-cKC2pqPlWZT) |\n| CSL Full-dataset |    396k | [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1xEDgtqHU4qm0Sp-dKjc5KerAmWydmh3-\u002Fview?usp=sharing) |\n\n\n### CSL 指令数据 & 预训练语料\n\n1. 指令数据: 设计了 16 种 instructions 包含文本生成、关键词提取、文本摘要和文本分类等任务。\n\n[下载地址](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FP01son\u002Finstructions\u002Ftree\u002Fmain\u002FCSL)\n\n数据示例：\n```\n{\"instruction\": \"根据标题判断论文所属的学科：\", \"input\": \"改进中药材生产和流通模式探讨\", \"output\": \"药学\"}\n{\"instruction\": \"这篇论文的关键词是？\\n\", \"input\": \"通过将液固接触角沿轴向呈阶梯状分布的功能表面引入到三角形微型热管的一维稳态模型之中,分析了其对微型热管换热性能的影响.模拟结果表明较之常规表面,基于功能表面的微型热管能带走更多的热量.而产生这种结果的原因主要是由于功能表面能有效地提高微型热管内的毛细压差且不会造成摩擦阻力的明显变化.另外,对于传统表面还发现存在着最优接触角,此时微型热管的换热性能最佳,偏离该接触角会造成毛细压差的减小和热管换热性能的下降.\\n\", \"output\": \"微型热管,功能表面,毛细力,剪切力\"}\n```\n2. 预训练语料: 1.5G 论文摘要数据，可用于无监督预训练。\n\n[下载地址](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLinly-AI\u002FChinese-pretraining-dataset\u002Fblob\u002Fmain\u002Fcsl.jsonl)\n\n\n## Shout-outs\n\nCSL 已经被用于一些测评任务：\n\n1. CLUE Benchmark 中文语言理解测评基准 - [CSL 关键词识别 Keyword Recognition](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE#csl-%E5%85%B3%E9%94%AE%E8%AF%8D%E8%AF%86%E5%88%AB--keyword-recognition-accuracy)\n\n2. FewCLUE 小样本学习测评基准 - [CSLDCP 中文科学文献学科分类](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FFewCLUE#2-csldcp--%E4%B8%AD%E6%96%87%E7%A7%91%E5%AD%A6%E6%96%87%E7%8C%AE%E5%AD%A6%E7%A7%91%E5%88%86%E7%B1%BB%E6%95%B0%E6%8D%AE%E9%9B%86)\n\n3. bert4keras - [论文标题生成](https:\u002F\u002Fgithub.com\u002Fbojone\u002Fbert4keras\u002Ftree\u002Fmaster\u002Fexamples#%E7%AE%80%E4%BB%8B)\n\n4. [千言数据集](https:\u002F\u002Fwww.luge.ai\u002F#\u002Fluge\u002FdataDetail?id=58)\n\n## BibTeX\n\n```\n@inproceedings{li-etal-2022-csl,\n    title = \"{CSL}: A Large-scale {C}hinese Scientific Literature Dataset\",\n    author = \"Li, Yudong  and\n      Zhang, Yuqing  and\n      Zhao, Zhe  and\n      Shen, Linlin  and\n      Liu, Weijie  and\n      Mao, Weiquan  and\n      Zhang, Hui\",\n    booktitle = \"Proceedings of the 29th International Conference on Computational Linguistics\",\n    month = oct,\n    year = \"2022\",\n    address = \"Gyeongju, Republic of Korea\",\n    publisher = \"International Committee on Computational Linguistics\",\n    url = \"https:\u002F\u002Faclanthology.org\u002F2022.coling-1.344\",\n    pages = \"3917--3923\",\n}\n```\n\n## License\n\n\nLicensed under the Apache License, Version 2.0 (the \"License\");\nyou may not use this file except in compliance with the License.\nYou may obtain a copy of the License at\n\n    http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0\n\nUnless required by applicable law or agreed to in writing, software\ndistributed under the License is distributed on an \"AS IS\" BASIS,\nWITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\nSee the License for the specific language governing permissions and\nlimitations under the License.\n\n","# 中文科学文献数据集\n\n**COLING 2022**\n\n**CSL：大规模中文科学文献数据集**  \n*李宇东、张宇清、赵哲、沈琳琳、刘伟杰、毛伟权和张辉*\n\n[英文文档](.\u002Freadme_en.md) | [论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2209.05034) | [博客](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FuokFAO_5Exez5pogqQ0sow) | [BibTex](#bibtex)  \n\n**简而言之** 提供首个中文科学文献数据集（CSL），包含 396,209 篇中文核心期刊论文元信息\n（标题、摘要、关键词、学科、门类）。CSL 数据集可以作为预训练语料，也可以构建许多NLP任务，例如文本摘要（标题预测）、\n关键词生成和文本分类等。\n\n\n![avatar](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fydli-ai_CSL_readme_1dc263dc7704.jpg)\n\n## 数据集\n\nCSL 数据获取自 [国家科技资源共享服务工程技术研究中心](https:\u002F\u002Fnstr.escience.net.cn\u002F)，\n包含 2010-2020 年发表的期刊论文元信息（标题、摘要和关键词）。根据中文核心期刊目录进行筛选，\n并标注学科和门类标签，分为 13 个门类（一级标签）和 67 个学科（二级标签）。\n数据总量为 396,209 条，分布如下表所示：\n\n|  Category       |          \\#d | len(T) | len(A) | num(K) | \\#Samples | Discipline Examples                                   |\n|-----------------|-------------:|-------:|-------:|-------:|----------:|---------------------------------------|\n|  Engineering    |           27 |   19.1 |  210.9 |    4.4 |   177,600 |  Mechanics,Architecture,Electrical Science   |\n|  Science        |            9 |   20.7 |  254.4 |    4.3 |    35,766 |  Mathematics,Physics,Astronomy,Geography    |\n|  Agriculture    |            7 |   17.1 |  177.1 |    7.1 |    39,560 |  Crop Science,Horticulture,Forestry          |\n|  Medicine       |            5 |   20.7 |  269.5 |    4.7 |    36,783 |  Clinical Medicine,Dental Medicine,Pharmacy  |\n|  Management     |            4 |   18.7 |  157.7 |    6.2 |    23,630 |  Business Management,Public Administration    |\n|  Jurisprudence  |            4 |   18.9 |  174.4 |    6.1 |    21,554 |  Legal Science,Political Science,Sociology   |\n|  Pedagogy       |            3 |   17.7 |  179.4 |    4.3 |    16,720 |  Pedagogy,Psychology,Physical Education      |\n|  Economics      |            2 |   19.5 |  177.2 |    4.5 |    11,558 |  Theoretical Economics,Applied Economics      |\n|  Literature     |            2 |   18.8 |  158.2 |    8.3 |    10,501 |  Chinese Literature,Journalism                |\n|  Art            |            1 |   17.8 |  170.8 |    5.4 |     5,201 |  Art                                           |\n|  History        |            1 |   17.6 |  181.0 |    6.0 |     6,270 |  History                                       |\n|  Strategics     |            1 |   17.5 |  169.3 |    4.0 |     3,555 |  Military Science                              |\n|  Philosophy     |            1 |   18.0 |  176.5 |    8.0 |     7,511 |  Philosophy                                    |\n|  All            |           67 |        |        |        |   396,209 |                                                |\n\n## 测评任务\n\n为了推动中文科学文献 NLP 研究，本项目提供一系列测评基准任务。\n测评任务数据集从 CSL 中抽样 10,000 条，按照 0.8 : 0.1 : 0.1的比例划分训练、验证和测试集。\n为了提供公平的多任务学习设置，各任务使用相同的训练、验证和测试集。\n任务数据集以 text2text 的形式提供，可以直接在基线模型（例如 T5）上进行多任务训练。\n\n\n#### 1.文本摘要（标题预测）\n\n输入论文的摘要，预测该论文的标题。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to title\",\n  \"text_a\": \"多个相邻场景同时进行干涉参数外定标的过程称为联合定标,联合定标能够 \\\n            保证相邻场景的高程衔接性,能够实现无控制点场景的干涉定标.该文提出了 \\\n            一种适用于机载InSAR系统的联合定标算法...\",\n  \"text_b\": \"基于加权最优化模型的机载InSAR联合定标算法\"\n}\n```\n\n#### 2.关键词生成\n\n输入论文的摘要和标题，预测该论文的关键词。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to keywords\",\n  \"text_a\": \"通过对72个圆心角为120°的双跨偏心支承弯箱梁桥模型的计算分析,以梁 \\\n            格系法为基础编制的3D-BSA软件系统为结构计算工具,用统计分析的方法建 \\\n            立双跨偏心支承弯箱梁桥结构反应在使用极限状态及承载能力极限状态下与 \\\n            桥梁跨长... 偏心支承对120°圆心角双跨弯箱梁桥的影响\",\n  \"text_b\": \"曲线桥_箱形梁_偏心支承_设计_经验公式\"\n}\n```\n\n#### 3.论文门类分类\n\n输入论文的标题，预测该论文所属的门类（13分类）。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to category\",\n  \"text_a\": \"基于模糊C均值聚类的流动单元划分方法——以克拉玛依油田五3中区克下组为例\",\n  \"text_b\": \"工学\"\n},\n{ \n  \"prompt\": \"to category\",\n  \"text_a\": \"正畸牵引联合牙槽外科矫治上颌尖牙埋伏阻生的临床观察\",\n  \"text_b\": \"医学\"\n}\n```\n\n#### 4.论文学科分类\n\n输入论文的摘要，预测该论文所属的学科（67分类）。\n\n数据示例：\n```\n{ \n  \"prompt\": \"to discipline\",\n  \"text_a\": \"某铁矿选矿厂所产铁精矿含硫超过0.3%,而现场为了今后发展的需要,要 \\\n             求将含硫量降到0.1%以下.为此,针对该铁精矿中硫化物主要以磁黄铁矿 \\\n             形式存在、硫化物多与铁矿物连生且氧化程度较高的特点...\",\n  \"text_b\": \"矿业工程\"\n},\n{ \n  \"prompt\": \"to discipline\",\n  \"text_a\": \"为了校正广角镜头的桶形畸变,提出一种新的桶形畸变数字校正方法.它 \\\n             使用点阵样板校正的方法,根据畸变图和理想图中圆点的位置关系,得出 \\\n             畸变图像素在X轴和Y轴方向上的偏移量曲面...\",\n  \"text_b\": \"计算机科学与技术\"\n}\n```\n\n## 代码与基线模型\n\n实验在 UER-py 上测试了三个 text2text 基线模型（[T5](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87t5%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B)、\n[BART](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87bart%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B) \n和 [Pegasus](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93#%E4%B8%AD%E6%96%87pegasus%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B)）。\n\n1. 克隆项目，下载预训练模型并放入 `UER-py\u002Fmodels\u002F`\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL.git\ngit clone https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py.git\n\ncp CSL\u002Frun_text2text_csl.py UER-py\u002Ffinetune\u002F\n```\n\n2. 准备数据，单任务微调（以标题预测为例）\n```\ncp -r CSL\u002Fbenchmark\u002F UER-py\u002Fdatasets\u002F\n\ncd UER-py\n\npython3 finetune\u002Frun_text2text_csl.py --pretrained_model_path models\u002Ft5_base.bin \\\n                                  --vocab_path models\u002Fgoogle_zh_with_sentinel_vocab.txt \\\n                                  --output_model_path models\u002Ffinetuned_model.bin \\\n                                  --config_path models\u002Ft5\u002Fbase_config.json \\\n                                  --train_path datasets\u002Fbenchmark\u002Fts\u002Ftrain.tsv \\\n                                  --dev_path datasets\u002Fbenchmark\u002Fts\u002Fdev.tsv \\\n                                  --test_path datasets\u002Fbenchmark\u002Fts\u002Ftest.tsv \\\n                                  --seq_length 512 --tgt_seq_length 48 --report_steps 200 \\\n                                  --learning_rate 3e-4 --batch_size 24 --epochs_num 5 --metrics 1\n```\n\n\n## 下载\n\n### CSL 原始数据\n\n|                  | Samples |                                                                            Access |\n|------------------|--------:|----------------------------------------------------------------------------------:|\n| CSL Benchmark    |     10k |                                                                        in project |\n| CSL Sub-dataset  |     40k | [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1ve7ufyvf7ZtFygucgRrw-cKC2pqPlWZT) |\n| CSL Full-dataset |    396k | [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1xEDgtqHU4qm0Sp-dKjc5KerAmWydmh3-\u002Fview?usp=sharing) |\n\n### CSL 指令数据与预训练语料\n\n1. 指令数据：设计了 16 种指令，涵盖文本生成、关键词提取、文本摘要和文本分类等任务。\n\n[下载地址](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FP01son\u002Finstructions\u002Ftree\u002Fmain\u002FCSL)\n\n数据示例：\n```\n{\"instruction\": \"根据标题判断论文所属的学科：\", \"input\": \"改进中药材生产和流通模式探讨\", \"output\": \"药学\"}\n{\"instruction\": \"这篇论文的关键词是？\\n\", \"input\": \"通过将液固接触角沿轴向呈阶梯状分布的功能表面引入到三角形微型热管的一维稳态模型之中,分析了其对微型热管换热性能的影响.模拟结果表明较之常规表面,基于功能表面的微型热管能带走更多的热量.而产生这种结果的原因主要是由于功能表面能有效地提高微型热管内的毛细压差且不会造成摩擦阻力的明显变化.另外,对于传统表面还发现存在着最优接触角,此时微型热管的换热性能最佳,偏离该接触角会造成毛细压差的减小和热管换热性能的下降.\\n\", \"output\": \"微型热管,功能表面,毛细力,剪切力\"}\n```\n2. 预训练语料：包含 1.5G 的论文摘要数据，可用于无监督预训练。\n\n[下载地址](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FLinly-AI\u002FChinese-pretraining-dataset\u002Fblob\u002Fmain\u002Fcsl.jsonl)\n\n\n## 致谢\n\nCSL 已被用于多项评测任务：\n\n1. CLUE 中文语言理解测评基准——[CSL 关键词识别 Keyword Recognition](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FCLUE#csl-%E5%85%B3%E9%94%BE%E8%AF%8D%E8%AF%86%E5%88%AB--keyword-recognition-accuracy)\n\n2. FewCLUE 小样本学习测评基准——[CSLDCP 中文科学文献学科分类](https:\u002F\u002Fgithub.com\u002FCLUEbenchmark\u002FFewCLUE#2-csldcp--%E4%B8%AD%E6%96%87%E7%A7%91%E5%AD%A6%E6%96%87%E7%8C%AE%E5%AD%A6%E7%A7%91%E5%88%86%E7%B1%BB%E6%95%B0%E6%8D%AE%E9%9B%86)\n\n3. bert4keras——[论文标题生成](https:\u002F\u002Fgithub.com\u002Fbojone\u002Fbert4keras\u002Ftree\u002Fmaster\u002Fexamples#%E7%AE%80%E4%BB%8B)\n\n4. [千言数据集](https:\u002F\u002Fwww.luge.ai\u002F#\u002Fluge\u002FdataDetail?id=58)\n\n## BibTeX\n\n```\n@inproceedings{li-etal-2022-csl,\n    title = \"{CSL}: A Large-scale {C}hinese Scientific Literature Dataset\",\n    author = \"Li, Yudong  and\n      Zhang, Yuqing  and\n      Zhao, Zhe  and\n      Shen, Linlin  and\n      Liu, Weijie  and\n      Mao, Weiquan  and\n      Zhang, Hui\",\n    booktitle = \"Proceedings of the 29th International Conference on Computational Linguistics\",\n    month = oct,\n    year = \"2022\",\n    address = \"庆州, 大韩民国\",\n    publisher = \"国际计算语言学委员会\",\n    url = \"https:\u002F\u002Faclanthology.org\u002F2022.coling-1.344\",\n    pages = \"3917--3923\",\n}\n```\n\n## 许可证\n\n\n依照 Apache License, Version 2.0（“许可证”）授权；除非符合许可证规定，否则不得使用本文件。您可以在以下网址获取许可证副本：\n\n    http:\u002F\u002Fwww.apache.org\u002Flicenses\u002FLICENSE-2.0\n\n除非适用法律另有要求或经书面同意，否则根据“AS IS”基础分发的软件不提供任何形式的保证或条件。有关权限及限制的具体内容，请参阅许可证。","# CSL 中文科学文献数据集快速上手指南\n\nCSL (Chinese Scientific Literature Dataset) 是首个大规模中文科学文献数据集，包含 39.6 万篇核心期刊论文的元信息（标题、摘要、关键词、学科分类等）。本指南将帮助你快速获取数据并运行基线模型。\n\n## 环境准备\n\n*   **操作系统**: Linux \u002F macOS \u002F Windows (推荐 Linux)\n*   **Python 版本**: Python 3.6+\n*   **核心依赖**:\n    *   PyTorch\n    *   UER-py (本项目基于此框架进行微调)\n*   **硬件要求**: 建议配备 NVIDIA GPU 以加速模型训练与推理。\n\n## 安装步骤\n\n### 1. 克隆项目代码\n首先克隆 CSL 数据集仓库及依赖框架 UER-py：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL.git\ngit clone https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py.git\n```\n\n### 2. 配置项目文件\n将 CSL 提供的微调脚本复制到 UER-py 的对应目录中：\n\n```bash\ncp CSL\u002Frun_text2text_csl.py UER-py\u002Ffinetune\u002F\n```\n\n### 3. 下载预训练模型\n访问 [UER-py 预训练模型仓库](https:\u002F\u002Fgithub.com\u002Fdbiir\u002FUER-py\u002Fwiki\u002F%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93) 下载中文 T5、BART 或 Pegasus 模型。\n下载后，将模型文件放入 `UER-py\u002Fmodels\u002F` 目录下。\n*(注：国内用户若下载缓慢，可尝试在 Gitee 搜索相关镜像或使用代理加速)*\n\n### 4. 准备数据集\n将基准测试数据复制到 UER-py 的数据集目录：\n\n```bash\ncp -r CSL\u002Fbenchmark\u002F UER-py\u002Fdatasets\u002F\n```\n\n> **提示**：如需使用全量数据（39.6 万条）或子集（4 万条），请前往 README 中的 Google Drive 链接或 HuggingFace 下载，并按相同格式整理。\n\n## 基本使用\n\n以下以**文本摘要（标题预测）**任务为例，展示如何使用 T5 基线模型进行单任务微调。\n\n进入 UER-py 目录并执行以下命令：\n\n```bash\ncd UER-py\n\npython3 finetune\u002Frun_text2text_csl.py --pretrained_model_path models\u002Ft5_base.bin \\\n                                  --vocab_path models\u002Fgoogle_zh_with_sentinel_vocab.txt \\\n                                  --output_model_path models\u002Ffinetuned_model.bin \\\n                                  --config_path models\u002Ft5\u002Fbase_config.json \\\n                                  --train_path datasets\u002Fbenchmark\u002Fts\u002Ftrain.tsv \\\n                                  --dev_path datasets\u002Fbenchmark\u002Fts\u002Fdev.tsv \\\n                                  --test_path datasets\u002Fbenchmark\u002Fts\u002Ftest.tsv \\\n                                  --seq_length 512 --tgt_seq_length 48 --report_steps 200 \\\n                                  --learning_rate 3e-4 --batch_size 24 --epochs_num 5 --metrics 1\n```\n\n**参数说明：**\n*   `--pretrained_model_path`: 预训练模型路径。\n*   `--train_path` \u002F `--dev_path` \u002F `--test_path`: 分别指向训练、验证和测试数据文件（TSV 格式）。\n*   `--seq_length`: 输入序列最大长度。\n*   `--tgt_seq_length`: 输出序列最大长度。\n*   `--metrics 1`: 开启评估指标计算。\n\n运行结束后，微调后的模型将保存至 `models\u002Ffinetuned_model.bin`，可用于后续的推理或其他 NLP 任务（如关键词生成、文本分类等，只需更换对应的数据集路径和 prompt 设置）。","某高校科研团队正致力于构建一个面向中文学术界的智能文献检索与摘要生成系统，旨在帮助研究人员快速从海量论文中提炼核心观点。\n\n### 没有 CSL 时\n- **语料匮乏导致模型“水土不服”**：团队只能使用通用中文语料或机器翻译的英文论文进行预训练，导致模型无法准确理解中文特有的学术术语和表达习惯，生成的摘要往往语句生硬、逻辑不通。\n- **细粒度分类难以实现**：由于缺乏带有精确学科标签（如“矿业工程”、“口腔医学”）的大规模标注数据，系统只能粗略区分文理大类，无法将论文精准归类到 67 个具体二级学科，检索命中率低。\n- **人工标注成本高昂**：为了构建测试集，研究人员需手动阅读并标注数千篇论文的关键词和门类，耗时数月且主观一致性差，严重拖慢了项目迭代进度。\n\n### 使用 CSL 后\n- **专业领域语言能力显著提升**：利用 CSL 中近 40 万篇核心期刊的标题、摘要和关键词进行微调，模型迅速掌握了中文学术写作规范，生成的摘要不仅流畅自然，还能精准保留原文的专业逻辑。\n- **实现高精度的学科自动导航**：基于 CSL 提供的 13 个门类和 67 个学科标签训练分类器，系统能瞬间将新入库论文精准归位，用户可按“力学”或“药理学”等细分领域进行深度过滤。\n- **开箱即用的基准评测体系**：直接复用 CSL 内置的标准化训练\u002F验证\u002F测试集（含文本摘要、关键词生成等任务），团队在一天内就完成了基线模型搭建与效果验证，大幅缩短了研发周期。\n\nCSL 通过提供首个大规模、高质量的中文科学文献数据集，彻底解决了中文学术 NLP 任务中“无米下锅”的困境，让垂直领域的智能应用开发变得高效且精准。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fydli-ai_CSL_1dc263dc.jpg","ydli-ai","Li Yudong (李煜东)","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fydli-ai_c2ba93c4.jpg","PostDoc, Tsinghua University",null,"Beijing","liyudong@mail.tsinghua.edu.cn","https:\u002F\u002Fgithub.com\u002Fydli-ai",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,665,61,"2026-03-27T04:14:11",1,"未说明","未说明（基于 UER-py 框架及 T5\u002FBART\u002FPegasus 模型，通常建议配备 NVIDIA GPU 以加速训练）",{"notes":92,"python":93,"dependencies":94},"该项目本身是一个数据集项目，运行基线模型需依赖第三方框架 UER-py。README 中未明确列出具体的硬件配置（如显存大小、内存容量）或详细的 Python 版本限制。用户需先克隆 UER-py 项目，下载对应的中文预训练模型（如 T5, BART, Pegasus），并将本项目提供的脚本和数据集放入相应目录后方可运行。数据集包含约 40 万条文献记录，全量处理可能需要较大的存储空间。","3.x (README 示例中使用 python3)",[95,96,97],"UER-py","torch","transformers (隐含依赖)",[16,35,14],[100,101,102,103],"chinese-nlp","dataset","machine-learning","scientific-publications","2026-03-27T02:49:30.150509","2026-04-07T02:28:34.655551",[107,112,117,122,127,132],{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},20788,"如何获取 CSL 文本摘要数据集？","数据集及代码正在整理中，若百度网盘链接过期，请等待官方重新公开（预计时间为 7 月或关注后续公告）。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F1",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},20789,"是否提供 39 万条论文数据的正文内容？","本项目只提供论文元信息（如标题、摘要等），不涉及论文正文，无法提供全文下载。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F6",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},20790,"通过邮件申请数据集后，多久能收到？","维护者在收到邮件申请后会尽快处理并发送数据集，具体时长视情况而定，通常会在确认后发送。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F4",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},20791,"完整数据集何时公开？","完整数据已于 2022 年 9 月 15 日前公开，请关注项目主页或发布页面获取最新数据。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F3",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},20792,"摘要生成数据量到底是 3000 条还是 14 万条？","数据集已更新，请以最新版本为准，早期链接可能仅包含部分数据（如 3500 条），最新数据量约为 14 万条。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F2",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},20793,"该数据集是否有基准测试（benchmark）结果？","目前 Issue 中未提供具体的 benchmark 数据，建议查阅相关论文或项目文档获取评估指标。","https:\u002F\u002Fgithub.com\u002Fydli-ai\u002FCSL\u002Fissues\u002F7",[]]