[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-lihanghang--NLP-Knowledge-Graph":3,"tool-lihanghang--NLP-Knowledge-Graph":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":80,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":87,"env_os":88,"env_gpu":89,"env_ram":89,"env_deps":90,"category_tags":93,"github_topics":96,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":111,"updated_at":112,"faqs":113,"releases":114},8870,"lihanghang\u002FNLP-Knowledge-Graph","NLP-Knowledge-Graph","自然语言处理、知识图谱、对话系统，大模型等技术研究与应用。","NLP-Knowledge-Graph 是一个专注于自然语言处理（NLP）与知识图谱技术的开源研究资源库。它并非单一的软件工具，而是一套系统化的技术指南与资料合集，旨在帮助开发者深入理解从知识获取、图谱构建到基于知识库的问答系统及对话系统的全流程技术。\n\n该项目有效解决了 AI 领域初学者和研究者在面对海量碎片化论文、算法实现及数据集时难以入手的问题。通过整理前沿理论解析、经典论文导读（如 Transformer、BERT、ERNIE 等）、中文金融文档结构化研究以及主流开源工具列表，它为构建认知智能应用提供了清晰的学习路径和实践参考。无论是图存储查询、可视化方案，还是中英文预处理工具，这里都提供了丰富的外链与总结。\n\nNLP-Knowledge-Graph 特别适合人工智能研究人员、算法工程师以及对知识图谱和对话系统感兴趣的高校学生使用。其独特亮点在于不仅涵盖了深度学习与知识图谱融合的前沿趋势，还特别收录了针对中文场景（如金融文档抽取）的专项研究成果，并持续追踪“数据融合知识”与“大模型（LLM）”结合的最新动向，是探索认知智能技术不可多得的实用宝典。","> 有需要为该开源项目贡献的小伙伴可以联系我哟。\n\n\u003C!-- TOC -->\n\n- [Deep learning for Knowledge-Graph](#deep-learning-for-knowledge-graph)\n  - [资源外链](#资源外链)\n  - [知识图谱的前世今生](#知识图谱的前世今生)\n  - [研究总结列表](#研究总结列表)\n    - [专题研究](#专题研究)\n    - [KG\\&QA相关理论解析](#kgqa相关理论解析)\n    - [NLP 相关论文解析](#nlp-相关论文解析)\n    - [中文金融文档结构化研究](#中文金融文档结构化研究)\n    - [知识图谱相关会议](#知识图谱相关会议)\n    - [事理图谱](#事理图谱)\n    - [对话系统技术](#对话系统技术)\n    - [关于NLP\u002F对话\u002FKG的商业化相关（仅供交流学习）](#关于nlp对话kg的商业化相关仅供交流学习)\n    - [主流开源的问答\\&\\&对话系统列表](#主流开源的问答对话系统列表)\n    - [主流语义平台列表](#主流语义平台列表)\n    - [中英文文本预处理工具列表](#中英文文本预处理工具列表)\n    - [图存储与查询工具](#图存储与查询工具)\n    - [可视化工具](#可视化工具)\n    - [中英文知识图谱数据集列表](#中英文知识图谱数据集列表)\n  - [比赛](#比赛)\n  - [思考](#思考)\n  - [Star History](#star-history)\n  - [说明](#说明)\n  - [Contact](#contact)\n\n\u003C!-- \u002FTOC -->\n\n# Deep learning for Knowledge-Graph\n> create time 2019-08-24\n\n> 探索认知智能系列---趋势：1. 数据融合知识；2. All in LLM。\n\n> 包括知识获取、知识库构建、基于知识库的问答系统系列技术研究与应用。涉及到NLP领域的前沿技术和论文。\n\n## 资源外链\n\n- [NLP-Progress](https:\u002F\u002Fnlpprogress.com\u002F)\n\n  > Repository to track the progress in Natural Language Processing (NLP), including the datasets and the current state-of-the-art for the most common NLP tasks.\n  >\n- [paperswithcode](https:\u002F\u002Fpaperswithcode.com\u002F)\n\n  > 提供了论文和代码。\n  >\n- [技术在线](https:\u002F\u002Fai-application-summary.readthedocs.io\u002Fzh_CN\u002Flatest\u002F)\n\n  > 个人日常技术和闲聊网站。\n  >\n\n---\n\n\u003C!-- ## 项目目录说明\n- Algorithm-code 知识图谱相关算法实现  \n- datasets 相关数据集  \n- my summary 主要以PPT总结  \n- NLP&KG基础 自然语言处理与知识图谱基础知识，主要包括词表示、构建等。 \n- SmartInteraction 主要涉及对话系统的实践。是一个长期的规划。  \n- 认知科学 主要扩展知识了解  \n- 事理图谱 以事件为中心进行图谱建立  \n- 文本相似度 主要解决在对话中Query和Answer的匹配  \n- 知识存储 主要是知识库的建立  \n- 知识构建　主要涉及实体、关系的抽取等  \n- 中文金融文档抽取 涉及chFinAnn抽取的研究和探索  \n--- -->\n\n\u003C!-- [![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F技术集成项目-小智v1.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-Graph)  \n\u003Cfont color=red size=5>[小智交互平台](.\u002FSmartInteraction\u002F)\u003C\u002Ffont>  -->\n\n## 知识图谱的前世今生\n\n| 序号 | 文章                                                                                      |\n| :--: | :---------------------------------------------------------------------------------------- |\n|  1  | [为什么要将「知识图谱」追溯到 1956 年?](https:\u002F\u002Fwww.chainnews.com\u002Farticles\u002F385804818575.htm) |\n\n## 研究总结列表\n\n### 专题研究\n\n1. [基于知识图谱的对话系统](.\u002F基于知识图谱的对话系统)\n\n### KG&QA相关理论解析\n\n1. [知识图谱综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fcffcb478adf07522b64eddb8914c0884?token=01df87c5af357993)\n2. [知识图谱的挑战](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F9e3257e54c15c6607fa9d5d40111e1bc?token=d8acd3739ba44f6b)\n3. [深度学习与知识图谱](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fc1e3580697d86dcb29797c068b7a1679?token=76a20c7f80d0137b)\n4. [CN-DBpedia: A Never-Ending Chinese Knowledge Extraction System](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fa5cf40aae93fe42373e8700dc8d999c8?token=bd54a903100040e8)\n5. [KBQA](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F5c17a01de73d972501d8b3cd187908cb?token=b9a47b442d527efe)\n6. [赵汀阳：人工智能的自我意识何以可能？1-3](http:\u002F\u002Fm.aisixiang.com\u002Fdata\u002F114807.html)\n7. [NLP University 开张大吉](http:\u002F\u002Fblog.sciencenet.cn\u002Fblog-362400-944348.html)--李维老师，Simon Fraser University，博士\n8. [ACL 2019 知识图谱的全方位总结](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fk-NP7Y2ERkbegQhXtDck-Q)\n\n### NLP 相关论文解析\n\n1. [The Illustrated Transformer](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-transformer\u002F)\n2. [An Attentive Survey of Attention Models](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F03d4fb82f0c3deec199e61a8d8711b22)\n3. [BERT:Bidirectional Encoder Representations from Transformers](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F83095ddac345831a78c2fd375a33f6e6?token=367ecbf6095b0a9e)\n4. [ERNIE:Enhanced Representation through Knowledge Integration](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fce7fddcdb9a77417267dc9e1292649fc?token=3883492da71ba7ab)\n5. [ERNIE: Enhanced Language Representation with Informative Entities](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F3d008a634578596748678f832389dfd1?token=0db6712fd8dbe238)\n6. [Google T5: Text-To-Text Transfer Transformer](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F00f59fe4e3b92c08fe41d5439fb359c5?token=291c77832b615c13)\n\n### 中文金融文档结构化研究\n\n1. [Doc2EDAG](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F22bdac8e2349f389e6101a48eccd1ec0?token=fc71ed550825f103)\n\n### 知识图谱相关会议\n\n| 编号 | 名称   | 等级 | 类型     | 领域                       |\n| :--: | :----- | :--- | :------- | :------------------------- |\n|  1  | ACL    | A类  | 学术会议 | 人工智能                   |\n|  2  | CVPR   | A类  | 学术会议 | 人工智能                   |\n|  3  | ICML   | A类  | 学术会议 | 人工智能                   |\n|  4  | IJCAI  | A类  | 学术会议 | 人工智能                   |\n|  5  | EMNLP  | B类  | 学术会议 | 人工智能                   |\n|  6  | CIKM   | B类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n|  7  | AAAI   | A类  | 学术会议 | 人工智能                   |\n|  8  | SIGKDD | A类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n|  9  | TKDE   | A类  | 学术期刊 | (数据库\u002F数据挖掘\u002F内容检索) |\n|  10  | SIGIR  | A类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n\n### 事理图谱\n\n1. [事理图谱综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F528dabd616383f39971be09020fc9cab?token=1d18d940bf63ea42)\n2. [白硕：事理图谱六问六答](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Foffqg1kuI49B16D-P5QVZw)\n\n### 对话系统技术\n\n1. [CSDN|公开课笔记：一文详解启发式对话中的知识管理_aispeech](http:\u002F\u002Fwww.aispeech.com\u002Findex.php?m=content&c=index&a=show&catid=22&id=339)\n2. [对话系统综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F59a5b3a1573467a8fcdde3e0c7c19066?token=0d854a82f9c88916)\n3. [对话系统中的口语理解技术(SLU)](http:\u002F\u002Fwemedia.ifeng.com\u002F92890282\u002Fwemedia.shtml)\n\n### 关于NLP\u002F对话\u002FKG的商业化相关（仅供交流学习）\n\n1. [语音交互中的自然语言处理技术](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2017\u002FCCKS交流-语音交互中的自然语言处理技术.pdf)－－xiaomi\n2. [精益知识图谱方法论](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2016\u002F鲍捷-精益知识图谱方法论.pdf)--文因互联\n3. [小i机器人在中文语义开放平台的研究与进展](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2016\u002F陈培华-小i机器人在中文语义开放平台的研究与进展.pdf)--小ｉ机器人\n4. [科大讯飞-从应用角度来看知识图谱的价值和挑战](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2014\u002F科大讯飞-从应用角度来看知识图谱的价值和挑战.pdf)--科大讯飞\n\n---\n\n### 主流开源的问答&&对话系统列表\n\n| 编号 |                                                                             名称 |                                                 地址                                                 |\n| ---- | -------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------: |\n| 1    |           [questionAnsweringsystem](https:\u002F\u002Fgithub.com\u002Fysc\u002FQuestionAnsweringSystem) |        QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。        |\n| 2    | [QABasedOnMedicaKnowledgeGraph](https:\u002F\u002Fgithub.com\u002Fliuhuanyong\u002FQASystemOnMedicalKG) | 从无到有搭建一个以疾病为中心的一定规模医药领域知识图谱，并以该知识图谱完成自动问答与分析服务。python |\n| 3    |                                [DeepPavlov](https:\u002F\u002Fgithub.com\u002Fdeepmipt\u002FDeepPavlov) |       An open source library for deep learning end-to-end dialog systems and chatbots.  python       |\n\n### 主流语义平台列表\n\n| 编号 |                                                     名称 |\n| ---- | -------------------------------------------------------: |\n| 1    |                  [腾讯文智中文语义平台](http:\u002F\u002Fnlp.qq.com\u002F) |\n| 2    | [科大讯飞开放语义平台](http:\u002F\u002Fosp.voicecloud.cn\u002Findex.html) |\n| 3    |                [玻森中文语义开放平台](http:\u002F\u002Fbosonnlp.com\u002F) |\n| 4    |                              [哈工大语言云](http:\u002F\u002Fltp.ai\u002F) |\n\n### 中英文文本预处理工具列表\n\n| 编号 |             名称 |                                                                                                                                主要功能                                                                                                                                |\n| ---- | ---------------: | :--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |           THULAC |                                                                                                              中文词法分析工具，支持C++\u002FJAVA\u002FPython by清华                                                                                                              |\n| 2    |              LTP |                                                                                                              语言技术平台 pylyp LTP的Python封装 by 哈工大                                                                                                              |\n| 3    |            HanLP |                                                                                                                                支持Java                                                                                                                                |\n| 4    |         结巴分词 |                                                                                                               中文分词（仅支持分词），Java、python、C++                                                                                                               |\n| 5    |            jiagu |                                                                                   提供中文分词、词性标注、命名实体识别、关键词抽取、文本摘要、新词发现等常用自然语言处理功能。Python                                                                                   |\n| 6    |         fudanNLP |                                                                                                          中文分词（分词、词性标注、命名实体识别）， 支持Java                                                                                                          |\n| 7    |         deepdive |                                                                                                        斯坦福大学的开源知识抽取工具（三元组抽取）， 支持python                                                                                                        |\n| 8    |  FudanDNN-NLP3.0 |                                                  用于中文分词、命名识别、词性标注、句子分类、语义分析、知识库访问、对话问答,支持Java----复旦大学计算机学院机器人研究实验室所开发的基于深度学习的中文自然语言处理工具                                                  |\n| 9    | Stanford CoreNLP | 可进行多语言的词性标注器、命名实体的识别器、解析器（句子与语法结构）、指代消解器（就是在篇章中确定代词指向哪个名词短语的问题）、情感分析器、   引导模式学习器、开放信息提取器， Java\u002FPython----- Stanford CoreNLP是斯坦福大学的自然语言处理工具包,工具包需要java的支持 |\n\n### 图存储与查询工具\n\n| 编号 |                                                                            名称 |                                                                主要功能                                                                |\n| ---- | ------------------------------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |                                           [Neo4j](https:\u002F\u002Fwww.w3cschool.cn\u002Fneo4j\u002F) |                                                      开源图形数据库，由Java开发。                                                      |\n| 2    |                                     [OrientDB](https:\u002F\u002Fwww.w3cschool.cn\u002Forientdb\u002F) |                              开源的noSQL数据库，可处理文档、图形、传统数据库组件。由Java编写，存储速度快。                              |\n| 3    |       [Virtuoso](https:\u002F\u002Fshop.openlinksw.com\u002Flicense_generator\u002Fvirtuoso-download\u002F) |                                                          支持RDF与SPARQL查询。                                                          |\n| 4    |                   [Titan](https:\u002F\u002Fblog.csdn.net\u002Falbg_boy\u002Farticle\u002Fdetails\u002F78439051) |                                     可与Gremlin\u002FHbase进行集成，可实现分布式存储和计算的图数据处理。                                     |\n| 5    | [Apache Jena-IDB ](https:\u002F\u002Fblog.csdn.net\u002Fsvenhuayuncheng\u002Farticle\u002Fdetails\u002F78751300) |     在JAVA下操作RDF。其中TDB是使用triple store的形式对RDF数据提供持久性存储（persistent store），TDB相比RDB、SDB更快且具有扩展性。     |\n| 6    |                      [Cypher](https:\u002F\u002Fneo4j.com\u002Fdocs\u002Fdeveloper-manual\u002F3.4\u002Fcypher\u002F) |                                             声明式图查询语言，表达高效查询和更新图数据库。                                             |\n| 7    |                                            [Gremlin](http:\u002F\u002Ftinkerpop.apache.org\u002F) |                    一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。                    |\n| 8    |                                    [SPARQL](https:\u002F\u002Fwww.w3.org\u002FTR\u002Fsparql11-query\u002F) |                                                 为RDF开发的一种查询语言和数据获取协议。                                                 |\n| 9    |                                 [rdflib](https:\u002F\u002Frdflib.readthedocs.io\u002Fen\u002Fstable\u002F) | 基于Python语言编写的，RDF \u002F XML，N3，NTriples，N-Quads，Turtle，TriX，RDFa和Microdata的解析器和序列化器，支持SPARQL 1.1查询和更新语句。 |\n\n### 可视化工具\n\n| 编号 |         名称 |                                             主要功能                                             |\n| ---- | -----------: | :----------------------------------------------------------------------------------------------: |\n| 1    |      ECharts |                 百度开源工具，API封装完善，简单好用，易上手，但不支持事件处理。                 |\n| 2    | Cytoscape.js |                        针对图形和网络，事件交互性的支持不错，同样易上手。                        |\n| 3    |        D3.js | 使用门槛较高，但支持事件处理器，D3的开销极小，支持大型数据集和交互动画的动态行为，支持图形丰富。 |\n\n### 中英文知识图谱数据集列表\n\n| 编号 |                                                                                                                      名称 |                                                                                        应用任务                                                                                        |\n| ---- | ------------------------------------------------------------------------------------------------------------------------: | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |                                                                                              [OpenKG](http:\u002F\u002Fwww.openkg.cn\u002F) |                                                                                      开放知识图谱                                                                                      |\n| 2    |                                                                             [CN-Probase](http:\u002F\u002Fopenkg.cn\u002Fdataset\u002Fcndbpedia) |                                                                                   大规模中文概念图谱                                                                                   |\n| 3    |                                                                      [SentiBridge](https:\u002F\u002Fgithub.com\u002Frainarch\u002FSentiBridge\u002F) |                                                     中文实体情感知识库，刻画人们如何描述某个实体，包含新闻、旅游、餐饮，共计30万对                                                     |\n| 4    |                                                                           [音乐知识图谱](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Fmusic) |                                                                           中文音乐知识图谱，歌手、歌曲等信息                                                                           |\n| 5    |                              [人物类RDF知识](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Frdf\u002Fresource\u002F08fdd9ee-6d98-4efc-a8ff-e58ab7a9d3ac) |                                                                     采集自百科网站的人物类知识，共65万个RDF三元组                                                                     |\n| 6    |        [中国旅游景点知识图谱](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Ftourist-attraction\u002Fresource\u002Fdbed4401-a870-4118-95a5-edaccc968ae6) |                              中国旅游景点中文知识图谱是CASIA-KB知识图谱的一部分。抽取自百度百科和互动百科。旅游景点知识图谱可用于地理、生活、娱乐等应用。                              |\n| 7    |                        [200万条商品画像数据](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002F200\u002Fresource\u002F33d459e5-f686-4855-af18-d1c9fa5b572f) |                                        本数据是百分点在7年运营过程中积累的产品画像数据的小结，百分点自建了丰富的电商品分类体系和媒体分类体系。                                        |\n| 8    |                  [中文症状库](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Fsymptom-in-chinese\u002Fresource\u002F302dc775-8e4d-41fb-954e-260ce8037cbc) |                                  这是一个包含症状实体和症状相关三元组的数据集。中文症状库的数据来自8个主流的健康咨询网站、3个中文百科网站和电子病历。                                  |\n| 9    | [cnSchema机场知识图谱](http:\u002F\u002Fopenkg1.oss-cn-beijing.aliyuncs.com\u002F2a2b80c5-6d50-40f8-a48b-7b832f0026c1\u002Fairportcnschema.json) |                                           基于cnSchema的机场知识图谱可查询世界各机场的属性，包含名称、时区、机场代码、地理位置（经纬度）等。                                           |\n| 10   |                            [七律-通用知识图谱](http:\u002F\u002Fopenkg.cn\u002Fdataset\u002F7lore\u002Fresource\u002F30ee798a-3199-4de4-9792-7746bc8891e0) | 本数据共包含8000万条百科三元组，为七律的一部分子集，后续将持续加大开放。七律-7Lore，是狗尾草科技精心打造的百科知识图谱，是人类世界海量知识的集合，它包含了事物、事实、概念、规则等等。 |\n\n## 比赛\n\n1. ATEC蚂蚁开发者大赛之学习赛--NLP之问题[相似度计算](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-Graph\u002Ftree\u002Fmaster\u002FAlgorithm-code\u002FText-Similarity)--2019-3\n2. 百度2019语言与智能技术竞赛之第二赛道--[知识驱动对话](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-driven-dialogue)--2019-4\n3. SMP2019中文人机对话技术评测（ECDT）,子任务：**领域分类、意图识别和语义槽填充**--[Task1:自然语言理解评测](https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIxMjAzNDY5Mg==&mid=2650794638&idx=1&sn=bbba4f2c4b62ccc1bef59d8f12b2c56f&chksm=8f477f65b830f673c76cd1907b4a044a5390bd7f0a6ca28d8bde2dcacd47c57207ffc8e59643&mpshare=1&scene=1&srcid=#rd)--2019-5\n\n---\n\n## 思考\n\n- 知识图谱的构建是一个体系化的工程项目，目前结合深度学习技术以及自然语言处理知识在一定程度上提升了构建的效率并降低了成本。知识图谱的地位在认知智能是一个基础资源设施，基于此可以进行问答、对话、、推荐系统、可解释性的增强等方面的应用。\n- 目前对于垂直领域的知识图谱构建需求较多。应用方面在智能问答和主动式对话系统的实践是比较热点的方向。\n- 个人觉得一套爬虫系统可以为知识库提供动态更新的知识来源。\n- 结合知识\u002F常识的对话系统，更具准确性和多样性，是一个值得研究的方向，可让机器引导用户进行话题的交流。如上面比赛２就是这一方向的应用。　　\n- 自然语言处理\u002F理解目前门槛已经高升到了BERT啦,在绝大数任务中基本都是必提的，基于Transformer做编码器！如何在模型训练中融入知识（可以是多模态）已是目前研究的热点方向，如百度最近提出的ERNIE表示模型就引入这一思想，也在下游任务中取得了不错的效果。\n- 知识图谱的表示研究问题（Knowledge Graph Embedding, KGE)是当前的一个研究热点。\n- 多模态数据知识融合应该是领域性机器智能走向通用知识智能的一个重要探索阶段。一是，由于多模态数据自身特点，结构化是非常重要的，结构化后可以极大丰富知识图谱的知识构成，更具丰富的表达。二是，CV、NLP组件化后的若能打通两者并协同工作感觉也比较有意思，比如问答场景的回复内容更丰富，和人们更加自然交流等。\n- `\u003Cstrong>`针对文本数据的结构化，除了选用机器学习方法外，也可以结合正则表达式进行数据的抽取、模型建模的中间处理环节等。如：[正则表达式结合深度学习](自然语言处理\u002F概述\u002Femnlp20reg(思路-正则结合深度学习).pdf) `\u003C\u002Fstrong>`\n- 20230226：NLP的发展从2022年的后半程到2023年又是一次范式的变化，随着ChatGPT问世，领域内外无人不晓，在各行各业引起了热列的讨论，国内外大厂纷纷跟进。譬如LLM（Large Language Model）、AIGC（AI Generated Content）、NLP部分细分任务因LLM走向大一统，LLM成为各行各业基础设施等话题层出不穷。ChatGPT的出现一是给人一种惊喜，二是给人新的探索可能，三是对于AI也算一是普及。\n  - 从体验[chatgpt](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fmodels\u002Foverview)来看，基本上是我把前面的思考全部覆盖了，信息抽取，对话，观点生成，思维链--有推理，可加入新知识进行更新，写代码，最为惊喜的是能一本正经的胡说八道，对于逻辑性问题还能罗列步骤。\n  - 从论文中进一步了解[原理](自然语言处理\u002F语言表示模型\u002FGPT)。GPT-1到GPT3的发展，认识[Transformer](自然语言处理\u002F语言表示模型\u002Fencode&decode\u002FTransformer_1706.03762.pdf)基础架构。\n- 20230521：国内的LLM跟进速度非常快，发布了自研大语言模型，也有开源的，如清华的ChatGLM-6\u002F130b等。围绕LLM的生态发展也很快，各类应用，如Chatpdf，插件等，最近OpenAI发布了ChatGpt IOS版本，更是将LLM的落地推进了一大步，可以畅想未来好多应用都会基于LLM的能力。针对如何基于LLM搭建一些应用，开源框架[LangChain](https:\u002F\u002Fpython.langchain.com\u002Fen\u002Flatest\u002Findex.html)迭代速度非常快，基本几行代码就能让你快速体验如基于个人文档的问答， 向量的计算，存储等，方便快捷，推荐大家学习和使用。针对文本，其实大多数文本是非结构化的，如pdf，word，html等需要基于其他工具结构化，langchain也提供了开源方式。LLM私有化部署+本地化知识接入+插件化扩展LLM的能力是当前发展的方向。\n- 20250208：2024年LLM依然是AI领域的热门，在基座和应用两端市场均有进展，医疗，编程助手，基于[RAG](自然语言处理\u002F大语言模型\u002FRAG)方案构建知识库进行智能问答等，各种私有化部署。同时，基于LLM构建的各种工作流（结合AGENT）可以作为工具辅助人们日常场景。这里把我日常看的部分[paper放在这里](自然语言处理\u002F大语言模型)，方便了解下各类大模型背后的原理。\n  + 比较标志性的模型事件：从OpenAI的闭源ChatGPT到开源LLaMA（此后国内模型数量猛涨）再到开源权重及思维链过程的DeepSeek-R1。\n  + 从学术到工业再到各类消费级用户，大语言模型已经走入普通人群中，期待2025年有更大突破性发展。\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flihanghang_NLP-Knowledge-Graph_readme_5db1375fbcd5.png)](https:\u002F\u002Fstar-history.com\u002F#lihanghang\u002FNLP-Knowledge-Graph&Date)\n\n## 说明\n\n- 以上内容均为个人在学习过程的相关整理（包含互联网内容、个人整理笔记等），希望对研究学习认知智能领域的小伙伴有帮助。\n\n## Contact\n\n- [CSDN](https:\u002F\u002Fblog.csdn.net\u002Flihangll)\n- [个人网站](https:\u002F\u002Flihanghang.top\u002F)\n- [wiki-技术总结](https:\u002F\u002Fwiki.lihanghang.top\u002F)\n- 邮箱：hanghangli@aliyun.co\n- 更新时间：2024.02.08\n- 李航航\n","> 有需要为该开源项目贡献的小伙伴可以联系我哟。\n\n\u003C!-- 目录 -->\n\n- [知识图谱深度学习](#deep-learning-for-knowledge-graph)\n  - [资源外链](#资源外链)\n  - [知识图谱的前世今生](#知识图谱的前世今生)\n  - [研究总结列表](#研究总结列表)\n    - [专题研究](#专题研究)\n    - [KG&QA相关理论解析](#kgqa相关理论解析)\n    - [NLP相关论文解析](#nlp-相关论文解析)\n    - [中文金融文档结构化研究](#中文金融文档结构化研究)\n    - [知识图谱相关会议](#知识图谱相关会议)\n    - [事理图谱](#事理图谱)\n    - [对话系统技术](#对话系统技术)\n    - [关于NLP\u002F对话\u002FKG的商业化相关（仅供交流学习）](#关于nlp对话kg的商业化相关仅供交流学习)\n    - [主流开源的问答&&对话系统列表](#主流开源的问答对话系统列表)\n    - [主流语义平台列表](#主流语义平台列表)\n    - [中英文文本预处理工具列表](#中英文文本预处理工具列表)\n    - [图存储与查询工具](#图存储与查询工具)\n    - [可视化工具](#可视化工具)\n    - [中英文知识图谱数据集列表](#中英文知识图谱数据集列表)\n  - [比赛](#比赛)\n  - [思考](#思考)\n  - [Star History](#star-history)\n  - [说明](#说明)\n  - [Contact](#contact)\n\n\u003C!-- \u002F目录 -->\n\n# 知识图谱深度学习\n> 创建时间 2019-08-24\n\n> 探索认知智能系列---趋势：1. 数据融合知识；2. All in LLM。\n\n> 包括知识获取、知识库构建、基于知识库的问答系统系列技术研究与应用。涉及到NLP领域的前沿技术和论文。\n\n## 资源外链\n\n- [NLP-Progress](https:\u002F\u002Fnlpprogress.com\u002F)\n\n  > 用于跟踪自然语言处理（NLP）进展的仓库，包括数据集和最常见的NLP任务的当前最先进水平。\n  >\n- [paperswithcode](https:\u002F\u002Fpaperswithcode.com\u002F)\n\n  > 提供了论文和代码。\n  >\n- [技术在线](https:\u002F\u002Fai-application-summary.readthedocs.io\u002Fzh_CN\u002Flatest\u002F)\n\n  > 个人日常技术和闲聊网站。\n  >\n\n---\n\n\u003C!-- ## 项目目录说明\n- Algorithm-code 知识图谱相关算法实现  \n- datasets 相关数据集  \n- my summary 主要以PPT总结  \n- NLP&KG基础 自然语言处理与知识图谱基础知识，主要包括词表示、构建等。 \n- SmartInteraction 主要涉及对话系统的实践。是一个长期的规划。  \n- 认知科学 主要扩展知识了解  \n- 事理图谱 以事件为中心进行图谱建立  \n- 文本相似度 主要解决在对话中Query和Answer的匹配  \n- 知识存储 主要是知识库的建立  \n- 知识构建　主要涉及实体、关系的抽取等  \n- 中文金融文档抽取 涉及chFinAnn抽取的研究和探索  \n--- -->\n\n\u003C!-- [![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F技术集成项目-小智v1.0-brightgreen.svg)](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-Graph)  \n\u003Cfont color=red size=5>[小智交互平台](.\u002FSmartInteraction\u002F)\u003C\u002Ffont>  -->\n\n## 知识图谱的前世今生\n\n| 序号 | 文章                                                                                      |\n| :--: | :---------------------------------------------------------------------------------------- |\n|  1  | [为什么要将「知识图谱」追溯到 1956 年?](https:\u002F\u002Fwww.chainnews.com\u002Farticles\u002F385804818575.htm) |\n\n## 研究总结列表\n\n### 专题研究\n\n1. [基于知识图谱的对话系统](.\u002F基于知识图谱的对话系统)\n\n### KG&QA相关理论解析\n\n1. [知识图谱综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fcffcb478adf07522b64eddb8914c0884?token=01df87c5af357993)\n2. [知识图谱的挑战](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F9e3257e54c15c6607fa9d5d40111e1bc?token=d8acd3739ba44f6b)\n3. [深度学习与知识图谱](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fc1e3580697d86dcb29797c068b7a1679?token=76a20c7f80d0137b)\n4. [CN-DBpedia: A Never-Ending Chinese Knowledge Extraction System](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fa5cf40aae93fe42373e8700dc8d999c8?token=bd54a903100040e8)\n5. [KBQA](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F5c17a01de73d972501d8b3cd187908cb?token=b9a47b442d527efe)\n6. [赵汀阳：人工智能的自我意识何以可能？1-3](http:\u002F\u002Fm.aisixiang.com\u002Fdata\u002F114807.html)\n7. [NLP大学开张大吉](http:\u002F\u002Fblog.sciencenet.cn\u002Fblog-362400-944348.html)--李维老师，Simon Fraser University，博士\n8. [ACL 2019 知识图谱的全方位总结](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fk-NP7Y2ERkbegQhXtDck-Q)\n\n### NLP相关论文解析\n\n1. [The Illustrated Transformer](https:\u002F\u002Fjalammar.github.io\u002Fillustrated-transformer\u002F)\n2. [An Attentive Survey of Attention Models](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F03d4fb82f0c3deec199e61a8d8711b22)\n3. [BERT:双向编码器表示来自Transformer](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F83095ddac345831a78c2fd375a33f6e6?token=367ecbf6095b0a9e)\n4. [ERNIE:通过知识整合增强表示](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002Fce7fddcdb9a77417267dc9e1292649fc?token=3883492da71ba7ab)\n5. [ERNIE:用信息丰富的实体增强语言表示](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F3d008a634578596748678f832389dfd1?token=0db6712fd8dbe238)\n6. [Google T5:文本到文本迁移Transformer](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F00f59fe4e3b92c08fe41d5439fb359c5?token=291c77832b615c13)\n\n### 中文金融文档结构化研究\n\n1. [Doc2EDAG](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F22bdac8e2349f389e6101a48eccd1ec0?token=fc71ed550825f103)\n\n### 知识图谱相关会议\n\n| 编号 | 名称   | 等级 | 类型     | 领域                       |\n| :--: | :----- | :--- | :------- | :------------------------- |\n|  1  | ACL    | A类  | 学术会议 | 人工智能                   |\n|  2  | CVPR   | A类  | 学术会议 | 人工智能                   |\n|  3  | ICML   | A类  | 学术会议 | 人工智能                   |\n|  4  | IJCAI  | A类  | 学术会议 | 人工智能                   |\n|  5  | EMNLP  | B类  | 学术会议 | 人工智能                   |\n|  6  | CIKM   | B类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n|  7  | AAAI   | A类  | 学术会议 | 人工智能                   |\n|  8  | SIGKDD | A类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n|  9  | TKDE   | A类  | 学术期刊 | (数据库\u002F数据挖掘\u002F内容检索) |\n|  10  | SIGIR  | A类  | 学术会议 | 数据库／数据挖掘／内容检索 |\n\n### 事理图谱\n\n1. [事理图谱综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F528dabd616383f39971be09020fc9cab?token=1d18d940bf63ea42)\n2. [白硕：事理图谱六问六答](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Foffqg1kuI49B16D-P5QVZw)\n\n### 对话系统技术\n\n1. [CSDN|公开课笔记：一文详解启发式对话中的知识管理_aispeech](http:\u002F\u002Fwww.aispeech.com\u002Findex.php?m=content&c=index&a=show&catid=22&id=339)\n2. [对话系统综述](http:\u002F\u002Fnaotu.baidu.com\u002Ffile\u002F59a5b3a1573467a8fcdde3e0c7c19066?token=0d854a82f9c88916)\n3. [对话系统中的口语理解技术(SLU)](http:\u002F\u002Fwemedia.ifeng.com\u002F92890282\u002Fwemedia.shtml)\n\n### 关于NLP\u002F对话\u002FKG的商业化相关（仅供交流学习）\n\n1. [语音交互中的自然语言处理技术](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2017\u002FCCKS交流-语音交互中的自然语言处理技术.pdf)－－xiaomi\n2. [精益知识图谱方法论](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2016\u002F鲍捷-精益知识图谱方法论.pdf)--文因互联\n3. [小i机器人在中文语义开放平台的研究与进展](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2016\u002F陈培华-小i机器人在中文语义开放平台的研究与进展.pdf)--小ｉ机器人\n4. [科大讯飞-从应用角度来看知识图谱的价值和挑战](.\u002F知识图谱基础\u002FCCKS_2013-2018\u002F2014\u002F科大讯飞-从应用角度来看知识图谱的价值和挑战.pdf)--科大讯飞\n\n---\n\n### 主流开源的问答&&对话系统列表\n\n| 编号 |                                                                             名称 |                                                 地址                                                 |\n| ---- | -------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------: |\n| 1    |           [questionAnsweringsystem](https:\u002F\u002Fgithub.com\u002Fysc\u002FQuestionAnsweringSystem) |        QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。        |\n| 2    | [QABasedOnMedicaKnowledgeGraph](https:\u002F\u002Fgithub.com\u002Fliuhuanyong\u002FQASystemOnMedicalKG) | 从无到有搭建一个以疾病为中心的一定规模医药领域知识图谱，并以该知识图谱完成自动问答与分析服务。python |\n| 3    |                                [DeepPavlov](https:\u002F\u002Fgithub.com\u002Fdeepmipt\u002FDeepPavlov) |       An open source library for deep learning end-to-end dialog systems and chatbots.  python       |\n\n### 主流语义平台列表\n\n| 编号 |                                                     名称 |\n| ---- | -------------------------------------------------------: |\n| 1    |                  [腾讯文智中文语义平台](http:\u002F\u002Fnlp.qq.com\u002F) |\n| 2    | [科大讯飞开放语义平台](http:\u002F\u002Fosp.voicecloud.cn\u002Findex.html) |\n| 3    |                [玻森中文语义开放平台](http:\u002F\u002Fbosonnlp.com\u002F) |\n| 4    |                              [哈工大语言云](http:\u002F\u002Fltp.ai\u002F) |\n\n### 中英文文本预处理工具列表\n\n| 编号 |             名称 |                                                                                                                                主要功能                                                                                                                                |\n| ---- | ---------------: | :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |           THULAC |                                                                                                              中文词法分析工具，支持C++\u002FJAVA\u002FPython by清华                                                                                                              |\n| 2    |              LTP |                                                                                                              语言技术平台 pylyp LTP的Python封装 by 哈工大                                                                                                              |\n| 3    |            HanLP |                                                                                                                                支持Java                                                                                                                                |\n| 4    |         结巴分词 |                                                                                                               中文分词（仅支持分词），Java、python、C++                                                                                                               |\n| 5    |            jiagu |                                                                                   提供中文分词、词性标注、命名实体识别、关键词抽取、文本摘要、新词发现等常用自然语言处理功能。Python                                                                                   |\n| 6    |         fudanNLP |                                                                                                          中文分词（分词、词性标注、命名实体识别）， 支持Java                                                                                                          |\n| 7    |         deepdive |                                                                                                        斯坦福大学的开源知识抽取工具（三元组抽取）， 支持python                                                                                                        |\n| 8    |  FudanDNN-NLP3.0 |                                                  用于中文分词、命名识别、词性标注、句子分类、语义分析、知识库访问、对话问答,支持Java----复旦大学计算机学院机器人研究实验室所开发的基于深度学习的中文自然语言处理工具                                                  |\n| 9    | Stanford CoreNLP | 可进行多语言的词性标注器、命名实体的识别器、解析器（句子与语法结构）、指代消解器（就是在篇章中确定代词指向哪个名词短语的问题）、情感分析器、   引导模式学习器、开放信息提取器， Java\u002FPython----- Stanford CoreNLP是斯坦福大学的自然语言处理工具包,工具包需要java的支持 |\n\n### 图存储与查询工具\n\n| 编号 |                                                                            名称 |                                                                主要功能                                                                |\n| ---- | ------------------------------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |                                           [Neo4j](https:\u002F\u002Fwww.w3cschool.cn\u002Fneo4j\u002F) |                                                      开源图形数据库，由Java开发。                                                      |\n| 2    |                                     [OrientDB](https:\u002F\u002Fwww.w3cschool.cn\u002Forientdb\u002F) |                              开源的noSQL数据库，可处理文档、图形、传统数据库组件。由Java编写，存储速度快。                              |\n| 3    |       [Virtuoso](https:\u002F\u002Fshop.openlinksw.com\u002Flicense_generator\u002Fvirtuoso-download\u002F) |                                                          支持RDF与SPARQL查询。                                                          |\n| 4    |                   [Titan](https:\u002F\u002Fblog.csdn.net\u002Falbg_boy\u002Farticle\u002Fdetails\u002F78439051) |                                     可与Gremlin\u002FHbase进行集成，可实现分布式存储和计算的图数据处理。                                     |\n| 5    | [Apache Jena-IDB ](https:\u002F\u002Fblog.csdn.net\u002Fsvenhuayuncheng\u002Farticle\u002Fdetails\u002F78751300) |     在JAVA下操作RDF。其中TDB是使用triple store的形式对RDF数据提供持久性存储（persistent store），TDB相比RDB、SDB更快且具有扩展性。     |\n| 6    |                      [Cypher](https:\u002F\u002Fneo4j.com\u002Fdocs\u002Fdeveloper-manual\u002F3.4\u002Fcypher\u002F) |                                             声明式图查询语言，表达高效查询和更新图数据库。                                             |\n| 7    |                                            [Gremlin](http:\u002F\u002Ftinkerpop.apache.org\u002F) |                    一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。                    |\n| 8    |                                    [SPARQL](https:\u002F\u002Fwww.w3.org\u002FTR\u002Fsparql11-query\u002F) |                                                 为RDF开发的一种查询语言和数据获取协议。                                                 |\n| 9    |                                 [rdflib](https:\u002F\u002Frdflib.readthedocs.io\u002Fen\u002Fstable\u002F) | 基于Python语言编写的，RDF \u002F XML，N3，NTriples，N-Quads，Turtle，TriX，RDFa和Microdata的解析器和序列化器，支持SPARQL 1.1查询和更新语句。 |\n\n### 可视化工具\n\n| 编号 |         名称 |                                             主要功能                                             |\n| ---- | -----------: | :----------------------------------------------------------------------------------------------: |\n| 1    |      ECharts |                 百度开源工具，API封装完善，简单好用，易上手，但不支持事件处理。                 |\n| 2    | Cytoscape.js |                        针对图形和网络，事件交互性的支持不错，同样易上手。                        |\n| 3    |        D3.js | 使用门槛较高，但支持事件处理器，D3的开销极小，支持大型数据集和交互动画的动态行为，支持图形丰富。 |\n\n### 中英文知识图谱数据集列表\n\n| 编号 |                                                                                                                      名称 |                                                                                        应用任务                                                                                        |\n| ---- | ------------------------------------------------------------------------------------------------------------------------: | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: |\n| 1    |                                                                                              [OpenKG](http:\u002F\u002Fwww.openkg.cn\u002F) |                                                                                      开放知识图谱                                                                                      |\n| 2    |                                                                             [CN-Probase](http:\u002F\u002Fopenkg.cn\u002Fdataset\u002Fcndbpedia) |                                                                                   大规模中文概念图谱                                                                                   |\n| 3    |                                                                      [SentiBridge](https:\u002F\u002Fgithub.com\u002Frainarch\u002FSentiBridge\u002F) |                                                     中文实体情感知识库，刻画人们如何描述某个实体，包含新闻、旅游、餐饮，共计30万对                                                     |\n| 4    |                                                                           [音乐知识图谱](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Fmusic) |                                                                           中文音乐知识图谱，歌手、歌曲等信息                                                                           |\n| 5    |                              [人物类RDF知识](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Frdf\u002Fresource\u002F08fdd9ee-6d98-4efc-a8ff-e58ab7a9d3ac) |                                                                     采集自百科网站的人物类知识，共65万个RDF三元组                                                                     |\n| 6    |        [中国旅游景点知识图谱](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Ftourist-attraction\u002Fresource\u002Fdbed4401-a870-4118-95a5-edaccc968ae6) |                              中国旅游景点中文知识图谱是CASIA-KB知识图谱的一部分。抽取自百度百科和互动百科。旅游景点知识图谱可用于地理、生活、娱乐等应用。                              |\n| 7    |                        [200万条商品画像数据](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002F200\u002Fresource\u002F33d459e5-f686-4855-af18-d1c9fa5b572f) |                                        本数据是百分点在7年运营过程中积累的产品画像数据的小结，百分点自建了丰富的电商品分类体系和媒体分类体系。                                        |\n| 8    |                  [中文症状库](http:\u002F\u002Fwww.openkg.cn\u002Fdataset\u002Fsymptom-in-chinese\u002Fresource\u002F302dc775-8e4d-41fb-954e-260ce8037cbc) |                                  这是一个包含症状实体和症状相关三元组的数据集。中文症状库的数据来自8个主流的健康咨询网站、3个中文百科网站和电子病历。                                  |\n| 9    | [cnSchema机场知识图谱](http:\u002F\u002Fopenkg1.oss-cn-beijing.aliyuncs.com\u002F2a2b80c5-6d50-40f8-a48b-7b832f0026c1\u002Fairportcnschema.json) |                                           基于cnSchema的机场知识图谱可查询世界各机场的属性，包含名称、时区、机场代码、地理位置（经纬度）等。                                           |\n| 10   |                            [七律-通用知识图谱](http:\u002F\u002Fopenkg.cn\u002Fdataset\u002F7lore\u002Fresource\u002F30ee798a-3199-4de4-9792-7746bc8891e0) | 本数据共包含8000万条百科三元组，为七律的一部分子集，后续将持续加大开放。七律-7Lore，是狗尾草科技精心打造的百科知识图谱，是人类世界海量知识的集合，它包含了事物、事实、概念、规则等等。 |\n\n## 比赛\n\n1. ATEC蚂蚁开发者大赛之学习赛--NLP之问题[相似度计算](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-Graph\u002Ftree\u002Fmaster\u002FAlgorithm-code\u002FText-Similarity)--2019-3\n2. 百度2019语言与智能技术竞赛之第二赛道--[知识驱动对话](https:\u002F\u002Fgithub.com\u002Flihanghang\u002FKnowledge-driven-dialogue)--2019-4\n3. SMP2019中文人机对话技术评测（ECDT）,子任务：**领域分类、意图识别和语义槽填充**--[Task1:自然语言理解评测](https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzIxMjAzNDY5Mg==&mid=2650794638&idx=1&sn=bbba4f2c4b62ccc1bef59d8f12b2c56f&chksm=8f477f65b830f673c76cd1907b4a044a5390bd7f0a6ca28d8bde2dcacd47c57207ffc8e59643&mpshare=1&scene=1&srcid=#rd)--2019-5\n\n---\n\n## 思考\n\n- 知识图谱的构建是一个体系化的工程项目，目前结合深度学习技术以及自然语言处理知识在一定程度上提升了构建的效率并降低了成本。知识图谱的地位在认知智能是一个基础资源设施，基于此可以进行问答、对话、、推荐系统、可解释性的增强等方面的应用。\n- 目前对于垂直领域的知识图谱构建需求较多。应用方面在智能问答和主动式对话系统的实践是比较热点的方向。\n- 个人觉得一套爬虫系统可以为知识库提供动态更新的知识来源。\n- 结合知识\u002F常识的对话系统，更具准确性和多样性，是一个值得研究的方向，可让机器引导用户进行话题的交流。如上面比赛２就是这一方向的应用。　　\n- 自然语言处理\u002F理解目前门槛已经高升到了BERT啦,在绝大数任务中基本都是必提的，基于Transformer做编码器！如何在模型训练中融入知识（可以是多模态）已是目前研究的热点方向，如百度最近提出的ERNIE表示模型就引入这一思想，也在下游任务中取得了不错的效果。\n- 知识图谱的表示研究问题（Knowledge Graph Embedding, KGE)是当前的一个研究热点。\n- 多模态数据知识融合应该是领域性机器智能走向通用知识智能的一个重要探索阶段。一是，由于多模态数据自身特点，结构化是非常重要的，结构化后可以极大丰富知识图谱的知识构成，更具丰富的表达。二是，CV、NLP组件化后的若能打通两者并协同工作感觉也比较有意思，比如问答场景的回复内容更丰富，和人们更加自然交流等。\n- `\u003Cstrong>`针对文本数据的结构化，除了选用机器学习方法外，也可以结合正则表达式进行数据的抽取、模型建模的中间处理环节等。如：[正则表达式结合深度学习](自然语言处理\u002F概述\u002Femnlp20reg(思路-正则结合深度学习).pdf) `\u003C\u002Fstrong>`\n- 20230226：NLP的发展从2022年的后半程到2023年又是一次范式的变化，随着ChatGPT问世，领域内外无人不晓，在各行各业引起了热列的讨论，国内外大厂纷纷跟进。譬如LLM（Large Language Model）、AIGC（AI Generated Content）、NLP部分细分任务因LLM走向大一统，LLM成为各行各业基础设施等话题层出不穷。ChatGPT的出现一是给人一种惊喜，二是给人新的探索可能，三是对于AI也算一是普及。\n  - 从体验[chatgpt](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fmodels\u002Foverview)来看，基本上是我把前面的思考全部覆盖了，信息抽取，对话，观点生成，思维链--有推理，可加入新知识进行更新，写代码，最为惊喜的是能一本正经的胡说八道，对于逻辑性问题还能罗列步骤。\n  - 从论文中进一步了解[原理](自然语言处理\u002F语言表示模型\u002FGPT)。GPT-1到GPT3的发展，认识[Transformer](自然语言处理\u002F语言表示模型\u002Fencode&decode\u002FTransformer_1706.03762.pdf)基础架构。\n- 20230521：国内的LLM跟进速度非常快，发布了自研大语言模型，也有开源的，如清华的ChatGLM-6\u002F130b等。围绕LLM的生态发展也很快，各类应用，如Chatpdf，插件等，最近OpenAI发布了ChatGpt IOS版本，更是将LLM的落地推进了一大步，可以畅想未来好多应用都会基于LLM的能力。针对如何基于LLM搭建一些应用，开源框架[LangChain](https:\u002F\u002Fpython.langchain.com\u002Fen\u002Flatest\u002Findex.html)迭代速度非常快，基本几行代码就能让你快速体验如基于个人文档的问答， 向量的计算，存储等，方便快捷，推荐大家学习和使用。针对文本，其实大多数文本是非结构化的，如pdf，word，html等需要基于其他工具结构化，langchain也提供了开源方式。LLM私有化部署+本地化知识接入+插件化扩展LLM的能力是当前发展的方向。\n- 20250208：2024年LLM依然是AI领域的热门，在基座和应用两端市场均有进展，医疗，编程助手，基于[RAG](自然语言处理\u002F大语言模型\u002FRAG)方案构建知识库进行智能问答等，各种私有化部署。同时，基于LLM构建的各种工作流（结合AGENT）可以作为工具辅助人们日常场景。这里把我日常看的部分[paper放在这里](自然语言处理\u002F大语言模型)，方便了解下各类大模型背后的原理。\n  + 比较标志性的模型事件：从OpenAI的闭源ChatGPT到开源LLaMA（此后国内模型数量猛涨）再到开源权重及思维链过程的DeepSeek-R1。\n  + 从学术到工业再到各类消费级用户，大语言模型已经走入普通人群中，期待2025年有更大突破性发展。\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flihanghang_NLP-Knowledge-Graph_readme_5db1375fbcd5.png)](https:\u002F\u002Fstar-history.com\u002F#lihanghang\u002FNLP-Knowledge-Graph&Date)\n\n## 说明\n\n- 以上内容均为个人在学习过程的相关整理（包含互联网内容、个人整理笔记等），希望对研究学习认知智能领域的小伙伴有帮助。\n\n## Contact\n\n- [CSDN](https:\u002F\u002Fblog.csdn.net\u002Flihangll)\n- [个人网站](https:\u002F\u002Flihanghang.top\u002F)\n- [wiki-技术总结](https:\u002F\u002Fwiki.lihanghang.top\u002F)\n- 邮箱：hanghangli@aliyun.co\n- 更新时间：2024.02.08\n- 李航航","# NLP-Knowledge-Graph 快速上手指南\n\n> **注意**：本项目主要是一个**知识图谱与深度学习领域的资源汇总仓库**（包含论文解析、工具列表、数据集链接及思维导图），而非一个可直接安装运行的单一软件包或框架。因此，本指南将指导你如何获取资源、搭建通用的开发环境，并利用列表中推荐的工具开始实践。\n\n## 1. 环境准备\n\n由于本项目涵盖 NLP、知识图谱构建、存储及可视化等多个环节，建议准备以下基础环境以运行列表中推荐的开源工具（如 DeepPavlov, HanLP, Neo4j 等）。\n\n### 系统要求\n- **操作系统**: Linux (Ubuntu 18.04+ 推荐), macOS, 或 Windows (WSL2 推荐)\n- **内存**: 建议 8GB 以上（运行大型预训练模型或图数据库时建议 16GB+）\n- **磁盘**: 预留 20GB+ 空间用于存放数据集和模型文件\n\n### 前置依赖\n- **Python**: 3.7 - 3.9 (多数 NLP 库对版本敏感)\n- **Java**: JDK 8 或 11 (用于运行 Stanford CoreNLP, Neo4j, HanLP 等)\n- **Git**: 用于克隆代码和資源\n\n### 推荐国内加速源\n为提升下载速度，建议配置以下国内镜像：\n- **Python pip**: 清华源 `https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n- **Conda**: 清华源 `https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F`\n\n## 2. 安装步骤\n\n本项目本身无需“安装”，只需克隆仓库即可获取所有资源索引。随后你需要根据兴趣方向安装具体的工具链。\n\n### 第一步：克隆项目资源库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Flihanghang\u002FNLP-Knowledge-Graph.git\ncd NLP-Knowledge-Graph\n```\n*克隆后，请查阅目录中的 `my summary` (PPT 总结) 和各类思维导图链接，以了解技术路线。*\n\n### 第二步：搭建通用 NLP 开发环境\n为了能够运行项目中提到的大多数 Python 工具（如 jieba, deepdive, transformers 等），建议创建虚拟环境并安装基础包：\n\n```bash\n# 创建虚拟环境\npython -m venv kg_env\nsource kg_env\u002Fbin\u002Factivate  # Windows 用户请使用: kg_env\\Scripts\\activate\n\n# 配置清华源并安装常用 NLP 基础库\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \\\n    torch torchvision torchaudio \\\n    transformers \\\n    jieba \\\n    hanlp \\\n    neo4j \\\n    rdflib \\\n    pandas \\\n    numpy\n```\n\n### 第三步：部署图数据库 (可选但推荐)\n若需实践知识存储与查询（参考项目中“图存储与查询工具”章节），推荐安装 **Neo4j**。\n\n**Linux\u002FMac 使用 Docker 快速启动:**\n```bash\ndocker run -d \\\n    --name neo4j \\\n    -p 7474:7474 -p 7687:7687 \\\n    -e NEO4J_AUTH=neo4j\u002Fpassword \\\n    neo4j:latest\n```\n*访问浏览器 `http:\u002F\u002Flocalhost:7474` 即可使用图形化界面，账号 `neo4j`，密码 `password`。*\n\n## 3. 基本使用\n\n本项目核心价值在于**指引**。以下是基于项目资源进行学习的典型工作流示例。\n\n### 场景：构建一个简单的中文知识图谱流程\n\n#### 1. 文本预处理 (使用 HanLP)\n参考项目中“中英文文本预处理工具列表”，使用 HanLP 进行实体抽取：\n\n```python\nimport hanlp\n\n# 加载预训练模型\nHanLP = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH)\n\ntext = \"马云创立了阿里巴巴，总部位于杭州。\"\nresult = HanLP(text)\n\nprint(\"命名实体识别结果:\")\nprint(result['ner\u002Fmsra']) \n# 输出示例：[('马云', 'PERSON'), ('阿里巴巴', 'ORG'), ('杭州', 'LOC')]\n```\n\n#### 2. 知识存储 (写入 Neo4j)\n参考项目中“图存储与查询工具”章节，将抽取的实体存入图数据库：\n\n```python\nfrom neo4j import GraphDatabase\n\nURI = \"bolt:\u002F\u002Flocalhost:7687\"\nAUTH = (\"neo4j\", \"password\")\n\ndef create_kg_node(entity, label):\n    with GraphDatabase.driver(URI, auth=AUTH) as driver:\n        with driver.session() as session:\n            # 动态创建标签节点\n            cypher = f\"MERGE (n:{label} {{name: $name}})\"\n            session.run(cypher, name=entity)\n\n# 示例：创建“马云”这个人节点\ncreate_kg_node(\"马云\", \"Person\")\ncreate_kg_node(\"阿里巴巴\", \"Organization\")\n```\n\n#### 3. 深入研究与复现\n回到克隆的项目目录，查看具体领域的深度解析：\n- **理论学习**: 打开 `研究总结列表` 中的百度脑图链接，阅读《知识图谱综述》或《BERT 解析》。\n- **代码复现**: 在 `主流开源的问答&&对话系统列表` 中选择感兴趣的项目（如 `QASystemOnMedicalKG`），进入其 GitHub 地址单独克隆并运行。\n- **数据集**: 参考 `中英文知识图谱数据集列表` 下载数据，用于训练自己的模型。\n\n---\n*提示：本项目持续更新中，如有贡献意向或具体问题，请参考原仓库 README 中的 Contact 信息联系作者。*","某金融科技公司研发团队正致力于构建一个能深度理解中文财报并自动回答复杂业务问题的智能投研助手。\n\n### 没有 NLP-Knowledge-Graph 时\n- **数据孤岛严重**：非结构化的金融文档（如年报、公告）与结构化数据割裂，难以挖掘实体间隐含的深层关联。\n- **问答能力受限**：传统关键词匹配无法处理“某公司上下游供应链风险”等多跳推理问题，回答往往片面或缺乏逻辑。\n- **研发效率低下**：团队需从零梳理知识抽取、图谱构建及存储的技术路线，缺乏系统的论文解析与开源组件参考，试错成本极高。\n- **领域适配困难**：缺少针对中文金融场景（如 chFinAnn）的专用抽取模型与数据集，通用模型在专业术语识别上准确率低迷。\n\n### 使用 NLP-Knowledge-Graph 后\n- **知识深度融合**：利用项目中“中文金融文档结构化研究”成果，快速将非结构化文本转化为包含实体关系的高质量事理图谱，打破数据壁垒。\n- **推理能力跃升**：基于集成的 KG&QA 理论与对话系统技术，实现了多跳推理问答，能精准追溯风险传导路径并提供可解释的依据。\n- **技术落地加速**：直接复用项目整理的图存储工具、预处理列表及前沿论文（如 Doc2EDAG）解析，大幅缩短从算法选型到原型验证的周期。\n- **专业精度保障**：依托特定的金融数据集与抽取方案，显著提升了模型对行业术语和复杂事件的识别精度，满足商业级交付标准。\n\nNLP-Knowledge-Graph 通过提供从理论综述到代码实现的全链路资源，将认知智能技术在垂直领域的落地门槛降低了数个量级。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flihanghang_NLP-Knowledge-Graph_4e959827.png","lihanghang","HangHang Li","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Flihanghang_9e6eb073.jpg","With persistence、passion and confident!","Memect","chaoyang.beijing.china","hanghangli@aliyun.com",null,"wiki.lihanghang.top","https:\u002F\u002Fgithub.com\u002Flihanghang",1758,370,"2026-04-14T02:36:20","MIT",5,"","未说明",{"notes":91,"python":89,"dependencies":92},"该 README 主要是一个知识图谱、NLP 及相关工具的资源汇总列表（包含论文解析、数据集、开源项目链接、会议列表等），并非一个可直接运行的单一软件项目。文中提到了多个第三方工具（如 Neo4j, HanLP, DeepPavlov, Stanford CoreNLP 等）及其各自的语言支持（Java\u002FPython），但未提供本项目具体的运行环境配置、依赖安装指令或硬件需求。用户需根据列表中引用的具体子项目或工具自行查阅其对应文档以获取环境要求。",[],[14,16,15,94,95,13,35],"音频","视频",[97,98,99,100,101,102,103,104,105,106,107,108,109,110],"nlp","ner","kbqa","event-driven","deep-learning","machine-learning","knowledge-graph","bert","ernie","transformers","agent","agentic-ai","llm","reflection","2026-03-27T02:49:30.150509","2026-04-18T14:13:02.920853",[],[]]