有需要为该开源项目贡献的小伙伴可以联系我哟。

• 知识图谱深度学习
  • 资源外链
  • 知识图谱的前世今生
  • 研究总结列表
    • 专题研究
    • KG&QA相关理论解析
    • NLP相关论文解析
    • 中文金融文档结构化研究
    • 知识图谱相关会议
    • 事理图谱
    • 对话系统技术
    • 关于NLP/对话/KG的商业化相关（仅供交流学习）
    • 主流开源的问答&&对话系统列表
    • 主流语义平台列表
    • 中英文文本预处理工具列表
    • 图存储与查询工具
    • 可视化工具
    • 中英文知识图谱数据集列表
  • 比赛
  • 思考
  • Star History
  • 说明
  • Contact

知识图谱深度学习

创建时间 2019-08-24

探索认知智能系列---趋势：1. 数据融合知识；2. All in LLM。

包括知识获取、知识库构建、基于知识库的问答系统系列技术研究与应用。涉及到NLP领域的前沿技术和论文。

资源外链

• NLP-Progress

  用于跟踪自然语言处理（NLP）进展的仓库，包括数据集和最常见的NLP任务的当前最先进水平。

• paperswithcode

  提供了论文和代码。

• 技术在线

  个人日常技术和闲聊网站。

---

知识图谱的前世今生

序号	文章
1	为什么要将「知识图谱」追溯到 1956 年?

研究总结列表

专题研究

1. 基于知识图谱的对话系统

KG&QA相关理论解析

1. 知识图谱综述
2. 知识图谱的挑战
3. 深度学习与知识图谱
4. CN-DBpedia: A Never-Ending Chinese Knowledge Extraction System
5. KBQA
6. 赵汀阳：人工智能的自我意识何以可能？1-3
7. NLP大学开张大吉--李维老师，Simon Fraser University，博士
8. ACL 2019 知识图谱的全方位总结

NLP相关论文解析

1. The Illustrated Transformer
2. An Attentive Survey of Attention Models
3. BERT:双向编码器表示来自Transformer
4. ERNIE:通过知识整合增强表示
5. ERNIE:用信息丰富的实体增强语言表示
6. Google T5:文本到文本迁移Transformer

中文金融文档结构化研究

1. Doc2EDAG

知识图谱相关会议

编号	名称	等级	类型	领域
1	ACL	A类	学术会议	人工智能
2	CVPR	A类	学术会议	人工智能
3	ICML	A类	学术会议	人工智能
4	IJCAI	A类	学术会议	人工智能
5	EMNLP	B类	学术会议	人工智能
6	CIKM	B类	学术会议	数据库／数据挖掘／内容检索
7	AAAI	A类	学术会议	人工智能
8	SIGKDD	A类	学术会议	数据库／数据挖掘／内容检索
9	TKDE	A类	学术期刊	(数据库/数据挖掘/内容检索)
10	SIGIR	A类	学术会议	数据库／数据挖掘／内容检索

事理图谱

1. 事理图谱综述
2. 白硕：事理图谱六问六答

对话系统技术

1. CSDN|公开课笔记：一文详解启发式对话中的知识管理_aispeech
2. 对话系统综述
3. 对话系统中的口语理解技术(SLU)

关于NLP/对话/KG的商业化相关（仅供交流学习）

1. 语音交互中的自然语言处理技术－－xiaomi
2. 精益知识图谱方法论--文因互联
3. 小i机器人在中文语义开放平台的研究与进展--小ｉ机器人
4. 科大讯飞-从应用角度来看知识图谱的价值和挑战--科大讯飞

---

主流开源的问答&&对话系统列表

编号	名称	地址
1	questionAnsweringsystem	QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。
2	QABasedOnMedicaKnowledgeGraph	从无到有搭建一个以疾病为中心的一定规模医药领域知识图谱，并以该知识图谱完成自动问答与分析服务。python
3	DeepPavlov	An open source library for deep learning end-to-end dialog systems and chatbots. python

主流语义平台列表

编号	名称
1	腾讯文智中文语义平台
2	科大讯飞开放语义平台
3	玻森中文语义开放平台
4	哈工大语言云

中英文文本预处理工具列表

编号	名称	主要功能
1	THULAC	中文词法分析工具，支持C++/JAVA/Python by清华
2	LTP	语言技术平台 pylyp LTP的Python封装 by 哈工大
3	HanLP	支持Java
4	结巴分词	中文分词（仅支持分词），Java、python、C++
5	jiagu	提供中文分词、词性标注、命名实体识别、关键词抽取、文本摘要、新词发现等常用自然语言处理功能。Python
6	fudanNLP	中文分词（分词、词性标注、命名实体识别）， 支持Java
7	deepdive	斯坦福大学的开源知识抽取工具（三元组抽取）， 支持python
8	FudanDNN-NLP3.0	用于中文分词、命名识别、词性标注、句子分类、语义分析、知识库访问、对话问答,支持Java----复旦大学计算机学院机器人研究实验室所开发的基于深度学习的中文自然语言处理工具
9	Stanford CoreNLP	可进行多语言的词性标注器、命名实体的识别器、解析器（句子与语法结构）、指代消解器（就是在篇章中确定代词指向哪个名词短语的问题）、情感分析器、 引导模式学习器、开放信息提取器， Java/Python----- Stanford CoreNLP是斯坦福大学的自然语言处理工具包,工具包需要java的支持

图存储与查询工具

编号	名称	主要功能
1	Neo4j	开源图形数据库，由Java开发。
2	OrientDB	开源的noSQL数据库，可处理文档、图形、传统数据库组件。由Java编写，存储速度快。
3	Virtuoso	支持RDF与SPARQL查询。
4	Titan	可与Gremlin/Hbase进行集成，可实现分布式存储和计算的图数据处理。
5	Apache Jena-IDB	在JAVA下操作RDF。其中TDB是使用triple store的形式对RDF数据提供持久性存储（persistent store），TDB相比RDB、SDB更快且具有扩展性。
6	Cypher	声明式图查询语言，表达高效查询和更新图数据库。
7	Gremlin	一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。
8	SPARQL	为RDF开发的一种查询语言和数据获取协议。
9	rdflib	基于Python语言编写的，RDF / XML，N3，NTriples，N-Quads，Turtle，TriX，RDFa和Microdata的解析器和序列化器，支持SPARQL 1.1查询和更新语句。

可视化工具

编号	名称	主要功能
1	ECharts	百度开源工具，API封装完善，简单好用，易上手，但不支持事件处理。
2	Cytoscape.js	针对图形和网络，事件交互性的支持不错，同样易上手。
3	D3.js	使用门槛较高，但支持事件处理器，D3的开销极小，支持大型数据集和交互动画的动态行为，支持图形丰富。

中英文知识图谱数据集列表

编号	名称	应用任务
1	OpenKG	开放知识图谱
2	CN-Probase	大规模中文概念图谱
3	SentiBridge	中文实体情感知识库，刻画人们如何描述某个实体，包含新闻、旅游、餐饮，共计30万对
4	音乐知识图谱	中文音乐知识图谱，歌手、歌曲等信息
5	人物类RDF知识	采集自百科网站的人物类知识，共65万个RDF三元组
6	中国旅游景点知识图谱	中国旅游景点中文知识图谱是CASIA-KB知识图谱的一部分。抽取自百度百科和互动百科。旅游景点知识图谱可用于地理、生活、娱乐等应用。
7	200万条商品画像数据	本数据是百分点在7年运营过程中积累的产品画像数据的小结，百分点自建了丰富的电商品分类体系和媒体分类体系。
8	中文症状库	这是一个包含症状实体和症状相关三元组的数据集。中文症状库的数据来自8个主流的健康咨询网站、3个中文百科网站和电子病历。
9	cnSchema机场知识图谱	基于cnSchema的机场知识图谱可查询世界各机场的属性，包含名称、时区、机场代码、地理位置（经纬度）等。
10	七律-通用知识图谱	本数据共包含8000万条百科三元组，为七律的一部分子集，后续将持续加大开放。七律-7Lore，是狗尾草科技精心打造的百科知识图谱，是人类世界海量知识的集合，它包含了事物、事实、概念、规则等等。

比赛

1. ATEC蚂蚁开发者大赛之学习赛--NLP之问题相似度计算--2019-3
2. 百度2019语言与智能技术竞赛之第二赛道--知识驱动对话--2019-4
3. SMP2019中文人机对话技术评测（ECDT）,子任务：领域分类、意图识别和语义槽填充--Task1:自然语言理解评测--2019-5

---

思考

• 知识图谱的构建是一个体系化的工程项目，目前结合深度学习技术以及自然语言处理知识在一定程度上提升了构建的效率并降低了成本。知识图谱的地位在认知智能是一个基础资源设施，基于此可以进行问答、对话、、推荐系统、可解释性的增强等方面的应用。
• 目前对于垂直领域的知识图谱构建需求较多。应用方面在智能问答和主动式对话系统的实践是比较热点的方向。
• 个人觉得一套爬虫系统可以为知识库提供动态更新的知识来源。
• 结合知识/常识的对话系统，更具准确性和多样性，是一个值得研究的方向，可让机器引导用户进行话题的交流。如上面比赛２就是这一方向的应用。　　
• 自然语言处理/理解目前门槛已经高升到了BERT啦,在绝大数任务中基本都是必提的，基于Transformer做编码器！如何在模型训练中融入知识（可以是多模态）已是目前研究的热点方向，如百度最近提出的ERNIE表示模型就引入这一思想，也在下游任务中取得了不错的效果。
• 知识图谱的表示研究问题（Knowledge Graph Embedding, KGE)是当前的一个研究热点。
• 多模态数据知识融合应该是领域性机器智能走向通用知识智能的一个重要探索阶段。一是，由于多模态数据自身特点，结构化是非常重要的，结构化后可以极大丰富知识图谱的知识构成，更具丰富的表达。二是，CV、NLP组件化后的若能打通两者并协同工作感觉也比较有意思，比如问答场景的回复内容更丰富，和人们更加自然交流等。
• <strong>针对文本数据的结构化，除了选用机器学习方法外，也可以结合正则表达式进行数据的抽取、模型建模的中间处理环节等。如：正则表达式结合深度学习 </strong>
• 20230226：NLP的发展从2022年的后半程到2023年又是一次范式的变化，随着ChatGPT问世，领域内外无人不晓，在各行各业引起了热列的讨论，国内外大厂纷纷跟进。譬如LLM（Large Language Model）、AIGC（AI Generated Content）、NLP部分细分任务因LLM走向大一统，LLM成为各行各业基础设施等话题层出不穷。ChatGPT的出现一是给人一种惊喜，二是给人新的探索可能，三是对于AI也算一是普及。
  • 从体验chatgpt来看，基本上是我把前面的思考全部覆盖了，信息抽取，对话，观点生成，思维链--有推理，可加入新知识进行更新，写代码，最为惊喜的是能一本正经的胡说八道，对于逻辑性问题还能罗列步骤。
  • 从论文中进一步了解原理。GPT-1到GPT3的发展，认识Transformer基础架构。
• 20230521：国内的LLM跟进速度非常快，发布了自研大语言模型，也有开源的，如清华的ChatGLM-6/130b等。围绕LLM的生态发展也很快，各类应用，如Chatpdf，插件等，最近OpenAI发布了ChatGpt IOS版本，更是将LLM的落地推进了一大步，可以畅想未来好多应用都会基于LLM的能力。针对如何基于LLM搭建一些应用，开源框架LangChain迭代速度非常快，基本几行代码就能让你快速体验如基于个人文档的问答， 向量的计算，存储等，方便快捷，推荐大家学习和使用。针对文本，其实大多数文本是非结构化的，如pdf，word，html等需要基于其他工具结构化，langchain也提供了开源方式。LLM私有化部署+本地化知识接入+插件化扩展LLM的能力是当前发展的方向。
• 20250208：2024年LLM依然是AI领域的热门，在基座和应用两端市场均有进展，医疗，编程助手，基于RAG方案构建知识库进行智能问答等，各种私有化部署。同时，基于LLM构建的各种工作流（结合AGENT）可以作为工具辅助人们日常场景。这里把我日常看的部分paper放在这里，方便了解下各类大模型背后的原理。
  • 比较标志性的模型事件：从OpenAI的闭源ChatGPT到开源LLaMA（此后国内模型数量猛涨）再到开源权重及思维链过程的DeepSeek-R1。
  • 从学术到工业再到各类消费级用户，大语言模型已经走入普通人群中，期待2025年有更大突破性发展。

Star History

说明

• 以上内容均为个人在学习过程的相关整理（包含互联网内容、个人整理笔记等），希望对研究学习认知智能领域的小伙伴有帮助。

Contact

• CSDN
• 个人网站
• wiki-技术总结
• 邮箱：hanghangli@aliyun.co
• 更新时间：2024.02.08
• 李航航

NLP-Knowledge-Graph 快速上手指南

注意：本项目主要是一个知识图谱与深度学习领域的资源汇总仓库（包含论文解析、工具列表、数据集链接及思维导图），而非一个可直接安装运行的单一软件包或框架。因此，本指南将指导你如何获取资源、搭建通用的开发环境，并利用列表中推荐的工具开始实践。

1. 环境准备

由于本项目涵盖 NLP、知识图谱构建、存储及可视化等多个环节，建议准备以下基础环境以运行列表中推荐的开源工具（如 DeepPavlov, HanLP, Neo4j 等）。

系统要求

• 操作系统: Linux (Ubuntu 18.04+ 推荐), macOS, 或 Windows (WSL2 推荐)
• 内存: 建议 8GB 以上（运行大型预训练模型或图数据库时建议 16GB+）
• 磁盘: 预留 20GB+ 空间用于存放数据集和模型文件

前置依赖

• Python: 3.7 - 3.9 (多数 NLP 库对版本敏感)
• Java: JDK 8 或 11 (用于运行 Stanford CoreNLP, Neo4j, HanLP 等)
• Git: 用于克隆代码和資源

推荐国内加速源

为提升下载速度，建议配置以下国内镜像：

• Python pip: 清华源 https://pypi.tuna.tsinghua.edu.cn/simple
• Conda: 清华源 https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

2. 安装步骤

本项目本身无需“安装”，只需克隆仓库即可获取所有资源索引。随后你需要根据兴趣方向安装具体的工具链。

第一步：克隆项目资源库

git clone https://github.com/lihanghang/NLP-Knowledge-Graph.git
cd NLP-Knowledge-Graph

克隆后，请查阅目录中的 my summary (PPT 总结) 和各类思维导图链接，以了解技术路线。

第二步：搭建通用 NLP 开发环境

为了能够运行项目中提到的大多数 Python 工具（如 jieba, deepdive, transformers 等），建议创建虚拟环境并安装基础包：

# 创建虚拟环境
python -m venv kg_env
source kg_env/bin/activate  # Windows 用户请使用: kg_env\Scripts\activate

# 配置清华源并安装常用 NLP 基础库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple \
    torch torchvision torchaudio \
    transformers \
    jieba \
    hanlp \
    neo4j \
    rdflib \
    pandas \
    numpy

第三步：部署图数据库 (可选但推荐)

若需实践知识存储与查询（参考项目中“图存储与查询工具”章节），推荐安装 Neo4j。

Linux/Mac 使用 Docker 快速启动:

docker run -d \
    --name neo4j \
    -p 7474:7474 -p 7687:7687 \
    -e NEO4J_AUTH=neo4j/password \
    neo4j:latest

访问浏览器 http://localhost:7474 即可使用图形化界面，账号 neo4j，密码 password。

3. 基本使用

本项目核心价值在于指引。以下是基于项目资源进行学习的典型工作流示例。

场景：构建一个简单的中文知识图谱流程

1. 文本预处理 (使用 HanLP)

参考项目中“中英文文本预处理工具列表”，使用 HanLP 进行实体抽取：

import hanlp

# 加载预训练模型
HanLP = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH)

text = "马云创立了阿里巴巴，总部位于杭州。"
result = HanLP(text)

print("命名实体识别结果:")
print(result['ner/msra']) 
# 输出示例：[('马云', 'PERSON'), ('阿里巴巴', 'ORG'), ('杭州', 'LOC')]

2. 知识存储 (写入 Neo4j)

参考项目中“图存储与查询工具”章节，将抽取的实体存入图数据库：

from neo4j import GraphDatabase

URI = "bolt://localhost:7687"
AUTH = ("neo4j", "password")

def create_kg_node(entity, label):
    with GraphDatabase.driver(URI, auth=AUTH) as driver:
        with driver.session() as session:
            # 动态创建标签节点
            cypher = f"MERGE (n:{label} {{name: $name}})"
            session.run(cypher, name=entity)

# 示例：创建“马云”这个人节点
create_kg_node("马云", "Person")
create_kg_node("阿里巴巴", "Organization")

3. 深入研究与复现

回到克隆的项目目录，查看具体领域的深度解析：

• 理论学习: 打开 研究总结列表 中的百度脑图链接，阅读《知识图谱综述》或《BERT 解析》。
• 代码复现: 在 主流开源的问答&&对话系统列表 中选择感兴趣的项目（如 QASystemOnMedicalKG），进入其 GitHub 地址单独克隆并运行。
• 数据集: 参考 中英文知识图谱数据集列表 下载数据，用于训练自己的模型。

---

提示：本项目持续更新中，如有贡献意向或具体问题，请参考原仓库 README 中的 Contact 信息联系作者。