[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-loujie0822--DeepIE":3,"tool-loujie0822--DeepIE":65},[4,17,27,35,48,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,3,"2026-04-06T11:19:32",[15,26,14,13],"图像",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":10,"last_commit_at":33,"category_tags":34,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85092,"2026-04-10T11:13:16",[26,43,44,45,14,46,15,13,47],"数据工具","视频","插件","其他","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":54,"last_commit_at":55,"category_tags":56,"status":16},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[15,43,46],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":23,"last_commit_at":63,"category_tags":64,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[14,26,13,15,46],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":77,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":77,"difficulty_score":88,"env_os":89,"env_gpu":90,"env_ram":90,"env_deps":91,"category_tags":94,"github_topics":77,"view_count":10,"oss_zip_url":77,"oss_zip_packed_at":77,"status":16,"created_at":95,"updated_at":96,"faqs":97,"releases":128},6258,"loujie0822\u002FDeepIE","DeepIE","DeepIE: Deep Learning for Information Extraction","DeepIE 是一个专注于利用深度学习技术进行信息抽取的开源项目，旨在帮助开发者高效地从非结构化文本中识别关键实体、关系及事件。它主要解决了自然语言处理中命名实体识别（NER）和关系抽取的难题，特别是针对中文场景下如何利用词汇信息增强模型性能这一痛点提供了系统的解决方案。\n\n该项目非常适合 NLP 领域的研究人员、算法工程师以及对信息抽取技术感兴趣的学生使用。DeepIE 的独特亮点在于其不仅汇总了 ACL、IJCAI 等顶会的最新论文资源，还复现并对比了多种主流算法在 Ontonotes、MSRA 及医疗领域数据集上的表现。项目重点展示了结合词典增强（Lexicon Augmentation）与 BERT、FLAT 等先进架构的方法，显著提升了中文实体识别的准确率。通过提供详细的代码实现和实验数据，DeepIE 为用户探索如何优化 Transformer 在 NER 任务中的效果、以及如何在特定领域（如医疗）迁移学习提供了宝贵的实践参考。","# DeepIE: Deep Learning  for Information Extraction \n\n**DeepIE**： 基于深度学习的信息抽取技术（预计2020年8月31日前全部更新完毕）\n\n## TOP \n\n- **知乎专栏文章**：[nlp中的实体关系抽取方法总结](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fjielou\u002Fdocs\u002F实体关系抽取算法总结.md)\n- **知乎专栏文章**：[如何有效提升中文NER性能？词汇增强方法总结](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F142615620)\n- **知乎专栏文章**：[如何解决Transformer在NER任务中效果不佳的问题？](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F137315695)\n\n## Papers\n\n- [ACL2020信息抽取相关论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002FACL2020信息抽取相关论文汇总.md)\n- [IJCAI2020信息抽取相关论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002FIJCAI2020_%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E5%90%88%E9%9B%86%20.md)\n- [2019各顶会中的关系抽取论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F2019各顶会中的关系抽取论文]汇总.md)\n- [事件抽取论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F事件抽取论文汇总.md)\n- [历年来NER论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F历年来NER论文汇总.md)\n\n## Codes\n\n#### 1. 实体抽取\n\n- **各主流方法在主要中文NER数据集上的表现情况**  [具体说明](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F各主流方法在中文NER上的表现情况.md)\n\n|                | **lexicon** | **Ontonotes** | **MSRA**  | **Resume** | **Weibo** |\n| -------------- | ----------- | ------------- | --------- | ---------- | --------- |\n| biLSTM         | ----        | 71.81         | 91.87     | 94.41      | 56.75     |\n| Lattice  LSTM  | 词表1       | 73.88         | 93.18     | 94.46      | 58.79     |\n| WC-LSTM        | 词表1       | 74.43         | 93.36     | 94.96      | 49.86     |\n| LR-CNN         | 词表1       | 74.45         | 93.71     | 95.11      | 59.92     |\n| CGN            | 词表2       | 74.79         | 93.47     | 94.12      | 63.09     |\n| LGN            | 词表1       | 74.85         | 93.63     | 95.41      | 60.15     |\n| Simple-Lexicon | 词表1       | 75.54         | 93.50     | **95.59**  | 61.24     |\n| FLAT           | 词表1       | **76.45**     | 94.12     | 95.45      | 60.32     |\n| FLAT           | 词表2       | 75.70         | **94.35** | 94.93      | **63.42** |\n| BERT           | ----        | 80.14         | 94.95     | 95.53      | 68.20     |\n| BERT+FLAT      | 词表1       | **81.82**     | **96.09** | **95.86**  | **68.55** |\n\n- **MSRA-NER**\n\n| 方法                                         | f          | p          | r          |\n| -------------------------------------------- | ---------- | ---------- | ---------- |\n| char+ lstm-crf                               | 86.18%     | 88.43%     | 83.10%     |\n| char-bigram + lstm-crf                       | 91.80%     | 92.60%     | 90.34%     |\n| char-bigram + adTransformer-crf              | 92.98%     | 93.25%     | 92.72%     |\n| char-bigram + lexion-augment + lstm-crf      | 93.33%     | 94.26%     | 92.43%     |\n| char-bigram-BERT + lstm-crf                  | 94.71%     | 95.14%     | 94.27%     |\n| char-bigram-BERT + lexion-augment + lstm-crf | **95.26%** | **95.90%** | **94.63%** |\n\n- **CCKS2019-医疗实体抽取**\n\n| 方法                                         | f          | p          | r          |\n| -------------------------------------------- | ---------- | ---------- | ---------- |\n| char-bigram + lstm-crf                       | 81.76%     | 82.91%     | 80.6       |\n| + domain transfer（from ccks2018 to 2019）   | 82.54%     | 83.43%     | 81.81%     |\n| char-bigram + adTransformer-crf              | 82.83%     | 82.19%     | 83.49%     |\n| char-bigram + lexion-augment + lstm-crf      | 82.76%     | 82.79%     | 82.72%     |\n| BERT-finetune+crf                            | 83.49%     | 84.11%     | 82.89%     |\n| roBERTa-finetune+crf                         | 83.66%     | 83.67%     | 83.66%     |\n| char-bigram-BERT + lstm-crf                  | 83.37%     | 83.51%     | 83.22%     |\n| char-bigram-BERT + lexion-augment + lstm-crf | **84.15%** | **84.29%** | **84.01%** |\n\n- **CCKS2020-医疗实体抽取**：\n\n(注：测试集与ccks2019一致，去除ccks2020训练集中已经在2019测试集中的样本，下列指标未做规则处理和模型融合)\n\n| 方法                                         | f      | p      | r      |\n| -------------------------------------------- | ------ | ------ | ------ |\n| char-bigram + lstm-crf                       | 82.68% | 83.14% | 82.22% |\n| char-bigram + lexion-augment + lstm-crf      | 83.12% | 83.10% | 83.14% |\n| char-bigram-BERT + lstm-crf                  | 83.12% | 83.04% | 83.21% |\n| char-bigram-BERT-RoBerta_wwm + lstm-crf      | 83.66% | 83.76% | 83.56% |\n| char-bigram-BERT-XLNet + lstm-crf            | 84.12% | 83.88% | 84.36% |\n| char-bigram-BERT + lexion-augment + lstm-crf | 84.50% | 84.32% | 84.67% |\n\n- **CCKS2020-面向试验鉴定的命名实体识别任务**：TODO\n\n  \n\n#### 2. 实体关系联合抽取\n\n[具体使用说明](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F关系抽取run说明.md)\n\n- 2019语言与智能技术竞赛：关系抽取任务 \n\n| 方法                                       | f(dev)     | p(dev)     | r(dev)     |\n| ------------------------------------------ | ---------- | ---------- | ---------- |\n| multi head selection                       | 76.36      | 79.24      | 73.69      |\n| ETL-BIES                                   | 77.07%     | 77.13%     | 77.06%     |\n| ETL-Span                                   | 78.94%     | 80.11%     | 77.8%      |\n| ETL-Span + word2vec                        | 79.99%     | 80.62%     | 79.38%     |\n| ETL-Span + word2vec + adversarial training | 80.38%     | 79.95%     | 80.82%     |\n| ETL-Span + BERT                            | **81.88%** | **82.35%** | **81.42%** |\n\n- 2020语言与智能技术竞赛：关系抽取任务\n\n| 方法            | f(dev) | p(dev) | r(dev) |\n| --------------- | ------ | ------ | ------ |\n| ETL-Span + BERT | 74.58  | 74.44  | 74.71  |\n\n\n\n#### 3. 属性抽取\n\n- **领域数据集：瑞金医院糖尿病信息抽取数据**\n\n```\n# 药物-属性\n['药品-用药频率','药品-持续时间','药品-用药剂量','药品-用药方法','药品-不良反应']\n# 疾病-属性\n['疾病-检查方法','疾病-临床表现','疾病-非药治疗','疾病-药品名称','疾病-部位']\n```\n\n| 主体 | 方法                               | f     | p     | r     |\n| ---- | ---------------------------------- | ----- | ----- | ----- |\n| 疾病 | lstm+ multi-label pointer network  | 76.55 | 74.36 | 78.86 |\n| 疾病 | bert + multi-label pointer network | 77.59 | 77.45 | 77.74 |\n| 药物 | lstm+ multi-label pointer network  | 81.12 | 79.15 | 83.19 |\n\n\n\n#### 4. 实体链接\u002F标准化\n\n\n\n#### 5.事件抽取\n\n- **CCKS2020-医疗事件抽取**\n\n- **CCKS2020：面向金融领域的篇章级事件主体抽取**\n\n- **CCKS2020：面向金融领域的篇章级事件要素抽取**\n\n  \n\n\n#### 6.信息抽取中的低资源解决方案\n\n\n\n## TODO-list\n\n- [ ] 信息抽取领域的数据资源汇总：\n  - 医疗\n  - 金融\n  - 电商\n  - 法律\n- [ ] 信息抽取相关竞赛汇总：\n  - 百度-2020语言与智能技术竞赛：关系抽取任务\n  - 百度-2020语言与智能技术竞赛：事件抽取任务\n  - 百度-2019语言与智能技术竞赛：信息抽取\n  - CCKS 2019 医疗命名实体识别\n  - CHIP 2019 临床术语标准化任务\n  - CCKS 2019 人物关系抽取\n  - CCKS 2019 公众公司公告信息抽取\n  - CCKS 2019 面向金融领域的事件主体抽取\n\n- 摘要抽取\n\n- 前沿技术在信息抽取中的应用\n\n## Reference\n","# DeepIE: 基于深度学习的信息抽取\n\n**DeepIE**： 基于深度学习的信息抽取技术（预计2020年8月31日前全部更新完毕）\n\n## 热门\n\n- **知乎专栏文章**：[nlp中的实体关系抽取方法总结](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fjielou\u002Fdocs\u002F实体关系抽取算法总结.md)\n- **知乎专栏文章**：[如何有效提升中文NER性能？词汇增强方法总结](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F142615620)\n- **知乎专栏文章**：[如何解决Transformer在NER任务中效果不佳的问题？](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F137315695)\n\n## 论文\n\n- [ACL2020信息抽取相关论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002FACL2020信息抽取相关论文汇总.md)\n- [IJCAI2020信息抽取相关论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002FIJCAI2020_%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E5%90%88%E9%9B%86%20.md)\n- [2019各顶会中的关系抽取论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F2019各顶会中的关系抽取论文]汇总.md)\n- [事件抽取论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F事件抽取论文汇总.md)\n- [历年来NER论文汇总](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F历年来NER论文汇总.md)\n\n## 代码\n\n#### 1. 实体抽取\n\n- **各主流方法在主要中文NER数据集上的表现情况**  [具体说明](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F各主流方法在中文NER上的表现情况.md)\n\n|                | **lexicon** | **Ontonotes** | **MSRA**  | **Resume** | **Weibo** |\n| -------------- | ----------- | ------------- | --------- | ---------- | --------- |\n| biLSTM         | ----        | 71.81         | 91.87     | 94.41      | 56.75     |\n| Lattice  LSTM  | 词表1       | 73.88         | 93.18     | 94.46      | 58.79     |\n| WC-LSTM        | 词表1       | 74.43         | 93.36     | 94.96      | 49.86     |\n| LR-CNN         | 词表1       | 74.45         | 93.71     | 95.11      | 59.92     |\n| CGN            | 词表2       | 74.79         | 93.47     | 94.12      | 63.09     |\n| LGN            | 词表1       | 74.85         | 93.63     | 95.41      | 60.15     |\n| Simple-Lexicon | 词表1       | 75.54         | 93.50     | **95.59**  | 61.24     |\n| FLAT           | 词表1       | **76.45**     | 94.12     | 95.45      | 60.32     |\n| FLAT           | 词表2       | 75.70         | **94.35** | 94.93      | **63.42** |\n| BERT           | ----        | 80.14         | 94.95     | 95.53      | 68.20     |\n| BERT+FLAT      | 词表1       | **81.82**     | **96.09** | **95.86**  | **68.55** |\n\n- **MSRA-NER**\n\n| 方法                                         | f          | p          | r          |\n| -------------------------------------------- | ---------- | ---------- | ---------- |\n| char+ lstm-crf                               | 86.18%     | 88.43%     | 83.10%     |\n| char-bigram + lstm-crf                       | 91.80%     | 92.60%     | 90.34%     |\n| char-bigram + adTransformer-crf              | 92.98%     | 93.25%     | 92.72%     |\n| char-bigram + lexion-augment + lstm-crf      | 93.33%     | 94.26%     | 92.43%     |\n| char-bigram-BERT + lstm-crf                  | 94.71%     | 95.14%     | 94.27%     |\n| char-bigram-BERT + lexion-augment + lstm-crf | **95.26%** | **95.90%** | **94.63%** |\n\n- **CCKS2019-医疗实体抽取**\n\n| 方法                                         | f          | p          | r          |\n| -------------------------------------------- | ---------- | ---------- | ---------- |\n| char-bigram + lstm-crf                       | 81.76%     | 82.91%     | 80.6       |\n| + domain transfer（from ccks2018 to 2019）   | 82.54%     | 83.43%     | 81.81%     |\n| char-bigram + adTransformer-crf              | 82.83%     | 82.19%     | 83.49%     |\n| char-bigram + lexion-augment + lstm-crf      | 82.76%     | 82.79%     | 82.72%     |\n| BERT-finetune+crf                            | 83.49%     | 84.11%     | 82.89%     |\n| roBERTa-finetune+crf                         | 83.66%     | 83.67%     | 83.66%     |\n| char-bigram-BERT + lstm-crf                  | 83.37%     | 83.51%     | 83.22%     |\n| char-bigram-BERT + lexion-augment + lstm-crf | **84.15%** | **84.29%** | **84.01%** |\n\n- **CCKS2020-医疗实体抽取**：\n\n(注：测试集与ccks2019一致，去除ccks2020训练集中已经在2019测试集中的样本，下列指标未做规则处理和模型融合)\n\n| 方法                                         | f      | p      | r      |\n| -------------------------------------------- | ------ | ------ | ------ |\n| char-bigram + lstm-crf                       | 82.68% | 83.14% | 82.22% |\n| char-bigram + lexion-augment + lstm-crf      | 83.12% | 83.10% | 83.14% |\n| char-bigram-BERT + lstm-crf                  | 83.12% | 83.04% | 83.21% |\n| char-bigram-BERT-RoBerta_wwm + lstm-crf      | 83.66% | 83.76% | 83.56% |\n| char-bigram-BERT-XLNet + lstm-crf            | 84.12% | 83.88% | 84.36% |\n| char-bigram-BERT + lexion-augment + lstm-crf | 84.50% | 84.32% | 84.67% |\n\n- **CCKS2020-面向试验鉴定的命名实体识别任务**：待完成\n\n  \n\n#### 2. 实体关系联合抽取\n\n[具体使用说明](https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F关系抽取run说明.md)\n\n- 2019语言与智能技术竞赛：关系抽取任务 \n\n| 方法                                       | f(dev)     | p(dev)     | r(dev)     |\n| ------------------------------------------ | ---------- | ---------- | ---------- |\n| multi head selection                       | 76.36      | 79.24      | 73.69      |\n| ETL-BIES                                   | 77.07%     | 77.13%     | 77.06%     |\n| ETL-Span                                   | 78.94%     | 80.11%     | 77.8%      |\n| ETL-Span + word2vec                        | 79.99%     | 80.62%     | 79.38%     |\n| ETL-Span + word2vec + adversarial training | 80.38%     | 79.95%     | 80.82%     |\n| ETL-Span + BERT                            | **81.88%** | **82.35%** | **81.42%** |\n\n- 2020语言与智能技术竞赛：关系抽取任务\n\n| 方法            | f(dev) | p(dev) | r(dev) |\n| --------------- | ------ | ------ | ------ |\n| ETL-Span + BERT | 74.58  | 74.44  | 74.71  |\n\n\n\n#### 3. 属性抽取\n\n- **领域数据集：瑞金医院糖尿病信息抽取数据**\n\n```\n# 药物-属性\n['药品-用药频率','药品-持续时间','药品-用药剂量','药品-用药方法','药品-不良反应']\n# 疾病-属性\n['疾病-检查方法','疾病-临床表现','疾病-非药治疗','疾病-药品名称','疾病-部位']\n```\n\n| 主体 | 方法                               | f     | p     | r     |\n| ---- | ---------------------------------- | ----- | ----- | ----- |\n| 疾病 | lstm+ multi-label pointer network  | 76.55 | 74.36 | 78.86 |\n| 疾病 | bert + multi-label pointer network | 77.59 | 77.45 | 77.74 |\n| 药物 | lstm+ multi-label pointer network  | 81.12 | 79.15 | 83.19 |\n\n\n\n#### 4. 实体链接\u002F标准化\n\n\n\n#### 5.事件抽取\n\n- **CCKS2020-医疗事件抽取**\n\n- **CCKS2020：面向金融领域的篇章级事件主体抽取**\n\n- **CCKS2020：面向金融领域的篇章级事件要素抽取**\n\n  \n\n\n#### 6.信息抽取中的低资源解决方案\n\n\n\n## 待办事项\n\n- [ ] 信息抽取领域的数据资源汇总：\n  - 医疗\n  - 金融\n  - 电商\n  - 法律\n- [ ] 信息抽取相关竞赛汇总：\n  - 百度-2020语言与智能技术竞赛：关系抽取任务\n  - 百度-2020语言与智能技术竞赛：事件抽取任务\n  - 百度-2019语言与智能技术竞赛：信息抽取\n  - CCKS 2019 医疗命名实体识别\n  - CHIP 2019 临床术语标准化任务\n  - CCKS 2019 人物关系抽取\n  - CCKS 2019 公众公司公告信息抽取\n  - CCKS 2019 面向金融领域的事件主体抽取\n\n- 摘要抽取\n\n- 前沿技术在信息抽取中的应用\n\n## 参考","# DeepIE 快速上手指南\n\nDeepIE 是一个基于深度学习的信息抽取开源项目，涵盖实体抽取（NER）、关系抽取、属性抽取及事件抽取等任务。本项目提供了多种主流模型在中文数据集上的实现与性能对比。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux (推荐 Ubuntu 18.04+) 或 macOS\n*   **Python 版本**：Python 3.6 - 3.8\n*   **深度学习框架**：PyTorch (建议版本 1.4.0+)\n*   **硬件要求**：建议使用 NVIDIA GPU 以加速训练和推理（需安装对应的 CUDA 驱动）\n\n**前置依赖库：**\n主要依赖包括 `torch`, `transformers`, `numpy`, `scikit-learn` 等。\n\n## 2. 安装步骤\n\n### 步骤一：克隆项目\n使用 Git 克隆 DeepIE 仓库到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE.git\ncd DeepIE\n```\n\n### 步骤二：创建虚拟环境（推荐）\n为避免依赖冲突，建议创建独立的 Python 虚拟环境：\n\n```bash\npython -m venv deepie_env\nsource deepie_env\u002Fbin\u002Factivate  # Windows 用户使用: deepie_env\\Scripts\\activate\n```\n\n### 步骤三：安装依赖\n项目根目录下通常包含 `requirements.txt`。为确保下载速度，推荐使用国内镜像源（如清华源）进行安装：\n\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n*注：若项目中未提供 `requirements.txt`，请根据具体任务子目录下的说明手动安装核心库，例如：*\n```bash\npip install torch torchvision torchaudio transformers numpy scikit-learn -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\nDeepIE 针对不同任务（实体抽取、关系抽取等）提供了独立的代码目录和运行脚本。以下以**实体抽取 (NER)** 和 **关系抽取** 为例展示基本用法。\n\n### 场景一：运行中文实体抽取 (NER)\n\n项目支持多种主流 NER 模型（如 BERT+FLAT, Lattice LSTM 等）。进入实体抽取相关目录，参考以下命令格式运行：\n\n```bash\n# 进入实体抽取代码目录 (具体路径请参考项目 docs 或 codes 文件夹结构)\ncd codes\u002Fner\n\n# 示例：运行基于 BERT 的 MSRA 数据集训练\n# 注意：具体脚本名称和数据集路径需根据实际文件结构调整\npython train.py --model bert --dataset msra --data_dir ..\u002Fdata\u002Fmsra\n```\n\n**性能参考：**\n根据项目文档，`char-bigram-BERT + lexion-augment + lstm-crf` 方法在 MSRA 数据集上可达 **95.26%** 的 F1 值。\n\n### 场景二：运行实体关系联合抽取\n\n针对关系抽取任务，项目提供了 ETL-Span 等先进算法的实现。\n\n```bash\n# 进入关系抽取代码目录\ncd codes\u002Frelation_extraction\n\n# 示例：运行 ETL-Span + BERT 模型\n# 详细参数说明请参阅：docs\u002F关系抽取 run 说明.md\npython run_etl_span.py --model bert --task duie_2019\n```\n\n**性能参考：**\n在 2019 语言与智能技术竞赛中，`ETL-Span + BERT` 方案取得了 **81.88%** 的 F1 值。\n\n### 场景三：医疗领域属性抽取\n\n针对特定领域（如瑞金医院糖尿病数据），可运行属性抽取模型：\n\n```bash\ncd codes\u002Fattribute_extraction\n\n# 运行多标签指针网络模型\npython train_attr.py --domain diabetes --model bert\n```\n\n> **提示**：由于项目包含多个子任务，具体的输入数据格式、超参数配置及预训练模型路径，请务必查阅各子目录下的 `README` 或项目根目录 `docs` 文件夹中的详细文档（如 `各主流方法在中文 NER 上的表现情况.md`）。","某医疗科技公司的 NLP 团队正致力于从海量非结构化的电子病历中自动抽取疾病、症状及药品实体，以构建专病知识库。\n\n### 没有 DeepIE 时\n- **通用模型水土不服**：直接套用开源的 BERT 或 BiLSTM 模型处理中文医疗文本时，因缺乏领域词汇增强，对“心肌梗死”、“二甲双胍”等专业术语的识别准确率低下。\n- **边界识别模糊**：面对复杂的长句和嵌套实体（如“伴有高血压的糖尿病患者”），传统方法难以精准切割实体边界，导致大量召回率损失。\n- **调优成本高昂**：团队需手动复现论文中的词汇增强（Lexicon）策略，耗费数周时间尝试不同词表组合，却难以达到 CCKS 竞赛级别的性能指标。\n- **缺乏权威基准**：缺少针对 MSRA、Weibo 及医疗垂直数据集的系统性性能对比，无法快速判断当前模型与业界最优水平的差距。\n\n### 使用 DeepIE 后\n- **性能显著提升**：直接复用 DeepIE 中集成的\"char-bigram-BERT + lexicon-augment\"方案，在医疗实体抽取任务上将 F1 值从 83% 提升至 84.15%，精准捕捉生僻医学术语。\n- **解决长尾难题**：利用工具提供的 FLAT 等前沿架构，有效解决了 Transformer 在复杂嵌套实体上的短板，实体边界识别更加锐利。\n- **研发效率倍增**：基于工具汇总的 ACL、IJCAI 顶会代码与最佳实践，团队省去了重复造轮子的时间，一周内即可完成从基线到 SOTA 模型的迭代。\n- **决策有据可依**：参考工具中详尽的各主流方法在中文 NER 数据集上的表现表格，快速锁定最适合当前数据分布的模型架构，避免盲目试错。\n\nDeepIE 通过提供经过验证的深度学习信息抽取方案与详尽的性能基准，帮助开发者跨越了从理论论文到高精度落地应用之间的鸿沟。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Floujie0822_DeepIE_09ee9164.png","loujie0822",null,"https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Floujie0822_1914b7ac.png","https:\u002F\u002Fgithub.com\u002Floujie0822",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,1941,347,"2026-04-09T01:07:39",4,"","未说明",{"notes":92,"python":90,"dependencies":93},"README 内容主要侧重于算法模型（如 BERT, RoBERTa, XLNet, LSTM-CRF 等）在不同数据集上的性能对比汇总、论文整理及竞赛方案总结。文中未提供具体的代码安装指南、环境配置要求或依赖库版本信息。该项目预计于 2020 年 8 月 31 日前更新完毕，部分功能（如特定任务代码）标记为 TODO。",[],[15],"2026-03-27T02:49:30.150509","2026-04-10T20:45:46.132371",[98,103,108,113,118,123],{"id":99,"question_zh":100,"answer_zh":101,"source_url":102},28318,"使用 BERT 进行新闻内容抽取时，按句子切割导致效果不理想，有什么推荐的技巧？","该问题在讨论中未给出具体的代码级解决方案。维护者询问了“使用句子进行切割”的具体含义，并建议通过邮箱（loujie0822@aliyun.com）进一步沟通细节。通常此类问题可能涉及长文本截断策略、滑动窗口机制或段落级上下文建模，建议直接联系作者获取针对该场景的特定 Trick。","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F46",{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},28319,"运行代码时无法抽取百度 2019 数据的 SPO 信息，报错提示对象没有 keys() 属性，如何解决？","这是数据加载模块与 2019 年数据格式不匹配导致的。2019 年数据中的 spo['object'] 已经是字符串格式，而代码尝试对其调用 keys() 方法（原本是针对字典格式）。解决方法是修改数据加载逻辑（如 data_loader_v2.py），适配 2019 年数据的字符串格式，不再遍历 object 的键值。","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F57",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},28320,"transformers_multi_label_span 模型目前是否可以用于抽取百度 SPO 信息？","可以。具体运行方法和配置请参考项目文档中的关系抽取说明：https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fblob\u002Fmaster\u002Fdocs\u002F关系抽取 run 说明.md","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F27",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},28321,"项目中已经实现了哪些论文的网络结构？","维护者表示会近期整理已重现的论文列表和网络结构说明，并推送新的代码。建议查看项目最新的 README 或 docs 目录以获取更新后的结构列表。","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F16",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},28322,"代码中的 MPN 是什么意思？代码缺乏注释难以阅读怎么办？","MPN 通常指 Message Passing Network（消息传递网络），常用于关系抽取任务中增强实体间交互。针对代码难读的问题，社区用户建议维护者增加代码注释和模块文件说明。目前需结合相关论文（如涉及 MPN 的论文）对照源码理解，或关注后续版本是否更新了文档。","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F69",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},28323,"transformer_cpt\u002Fbert 运行所需的 added_tokens.json 等配置文件是适用于 2019 年数据还是 2020 年数据？","这些文件（added_tokens.json, special_tokens_map.json, tokenizer_config.json）通常属于 2020 年数据或特定预训练模型配置。2019 年数据集可能不包含这些文件。如果遇到缺失问题，请检查是否混用了不同年份的数据集配置，或尝试从 2020 年数据包中获取对应的 tokenizer 配置文件。","https:\u002F\u002Fgithub.com\u002Floujie0822\u002FDeepIE\u002Fissues\u002F56",[]]