---

欢迎来到脑电深度学习库

EEG-DL 是一个基于 TensorFlow 的深度学习（DL）库，专门用于脑电信号分类任务。它提供了最新的深度学习算法，并会持续更新。

目录

• 文档
• 使用示例
• 注意事项
• 研究思路
• 常见问题
• 代码结构
• 引用
• 其他有用资源
• 贡献
• 组织机构

文档

支持的模型包括

序号	模型	代码
1	深度神经网络	DNN
2	卷积神经网络 [论文] [教程]	CNN
3	深度残差卷积神经网络 [论文]	ResNet
4	瘦型残差卷积神经网络 [论文]	Thin ResNet
5	密集连接卷积神经网络 [论文]	DenseNet
6	全卷积神经网络 [论文]	FCN
7	基于暹罗网络（以CNN为骨干）的单样本学习 [论文] [教程]	暹罗网络
8	图卷积神经网络 [论文] [演示文稿]	GCN / 图卷积神经网络
9	深度残差图卷积神经网络 [论文]	ResGCN
10	密集连接图卷积神经网络	DenseGCN
11	基于变分推断的贝叶斯卷积神经网络 [论文]	贝叶斯CNN
12	循环神经网络 [论文]	RNN
13	基于注意力机制的循环神经网络 [论文]	带注意力机制的RNN
14	双向循环神经网络 [论文]	BiRNN
15	基于注意力机制的双向循环神经网络 [论文]	带注意力机制的BiRNN
16	长短期记忆网络 [论文]	LSTM
17	基于注意力机制的长短期记忆网络 [论文]	带注意力机制的LSTM
18	双向长短期记忆网络 [论文]	BiLSTM
19	基于注意力机制的双向长短期记忆网络 [论文]	带注意力机制的BiLSTM
20	门控循环单元 [论文]	GRU
21	基于注意力机制的门控循环单元 [论文]	带注意力机制的GRU
22	双向门控循环单元 [论文]	BiGRU
23	基于注意力机制的双向门控循环单元 [论文]	带注意力机制的BiGRU
24	基于注意力机制的BiLSTM + GCN [论文]	基于注意力机制的BiLSTM GCN
25	Transformer [论文] [论文]	Transformer
26	基于Transformer的迁移学习 (此代码仅作参考！) (您可以根据自己的数据修改代码。)	第一阶段：预训练 第二阶段：微调

目前支持一个脑电波运动想象（MI）基准数据集。更多关于脑电或BCI领域的基准数据集，请参见这里。

序号	数据集	教程
1	EEG运动/意念数据集	教程

评估标准包括：

评估指标	教程
混淆矩阵	教程
准确率 / 精确率 / 召回率 / F1分数 / 克帕系数	教程
接收者操作特征（ROC）曲线 / 曲线下面积（AUC）	-
使用R语言进行配对t检验	教程

这些评估指标主要适用于*四分类问题。如果您希望切换到二分类或三分类问题，请修改此文件，以适应您个人数据集的类别数量。同时，有关评估指标的详细信息可在这篇论文中找到。*

使用演示

1. (在任何Python环境中) 通过此脚本下载EEG运动/意念数据集。

   $ python MIND_Get_EDF.py
   

2. (在Python 2.7环境中) 使用此脚本读取.edf文件（一种原始EEG信号格式），并将其保存为Matlab .m文件。请注意，该脚本必须在**Python 2环境（推荐Python 2.7）**下运行，因为其中包含一些Python 2特有的语法。如果使用Python 3环境运行此文件，虽然可能不会报错，但EEG任务标签将会完全混乱。

   $ python Extract-Raw-Data-Into-Matlab-Files.py
   

3. 使用Matlab对数据集进行预处理，并根据不同的模型将数据保存为Excel文件（training_set、training_label、test_set和test_label）。请注意，Excel文件中的每一行代表一个样本，而列则可视为特征，例如4096列意味着64个通道×64个时间点。后续模型会将这4096列重塑为形状为64通道×64时间点的矩阵。您可以根据自身需求调整列数，例如您的实际数据集维度。

4. (前提条件) 在**Python 3.6环境（强烈推荐）**下训练和测试用于EEG信号/任务分类的深度学习模型，可通过EEG-DL库实现，该库提供了多种SOTA深度学习模型。

   Python版本：Python 3.6（推荐）
   TensorFlow版本：TensorFlow 1.13.1
   

   使用以下命令安装TensorFlow GPU版本1.13.1：

   $ pip install --upgrade --force-reinstall tensorflow-gpu==1.13.1 --user
   

5. 通过TensorBoard读取评估指标（通过迭代）。您可以参考此教程。当您完成模型训练后，会在文件夹中找到“events.out.tfevents.***”文件，例如“/Users/shuyuej/Desktop/trained_model/”。您可以在终端中使用以下命令：

   $ tensorboard --logdir="/Users/shuyuej/Desktop/trained_model/" --host=127.0.0.1
   

   建议使用Google Chrome打开网页：

   http://127.0.0.1:6006/
   

   这样您就可以读取并把评估指标保存为Excel .csv文件。

6. 最后，使用Matlab或Python绘制精美的论文图表。请参考这些脚本。

注意事项

1. 我已在macOS系统上测试了所有Python和Matlab文件。需要注意的是，某些Matlab函数在Windows操作系统和macOS之间存在差异。例如，在macOS中我使用“readmatrix”函数来读取CSV文件，而在Windows中则需要使用“csvread”函数，因为Windows系统中没有“readmatrix”函数。如果您遇到类似问题，建议通过Google或百度搜索解决，通常可以顺利找到解决方案。

2. 对于GCNs-Net（GCN模型），图卷积层不会改变图的维度，而最大池化层会将图的维度减半。也就是说，如果初始图拉普拉斯矩阵是N×N的，经过最大池化层后，其维度将变为N/2×N/2。对于15通道的EEG系统，除非选择14→7、12→6→3、10→5、8→4→2→1等降维方式，否则无法应用最大池化操作。具体细节可参考这篇论文。

3. 损失函数可以从此文件中更改或修改。

4. 数据加载器可以从此文件中更改或修改。

研究思路

1. 动态图卷积神经网络 [论文综述]

2. 神经架构搜索 / AutoML（自动机器学习）[清华 AutoGraph]

3. 强化学习算法（如深度Q学习）[清华天授] [中文文档]

4. 贝叶斯卷积神经网络 [论文] [学位论文] [代码]

5. Transformer / 自注意力机制 / 非局部建模 [Transformer 代码] [非局部建模 PyTorch 代码]

   [为什么使用非局部建模？] [论文] [详细报告] [幻灯片] [海报]

常见问题

1. ValueError: Cannot feed value of shape (1024, 1) for Tensor 'input/label:0', which has shape '(1024,)'

   解决此问题的方法是使用 np.squeeze 将标签的形状从 (1024, 1) 压缩为 (1024,)。请编辑 DataLoader.py 文件。 原始代码：

   train_labels = pd.read_csv(DIR + 'training_label.csv', header=None)
   train_labels = np.array(train_labels).astype('float32')
   
   test_labels = pd.read_csv(DIR + 'test_label.csv', header=None)
   test_labels = np.array(test_labels).astype('float32')
   

   修改后：

   train_labels = pd.read_csv(DIR + 'training_label.csv', header=None)
   train_labels = np.array(train_labels).astype('float32')
   train_labels = np.squeeze(train_labels)
   
   test_labels = pd.read_csv(DIR + 'test_label.csv', header=None)
   test_labels = np.array(test_labels).astype('float32')
   test_labels = np.squeeze(test_labels)
   

2. InvalidArgumentError: Nan in summary histogram for training/logits/bias/gradients

   解决此问题的方法是注释掉所有的直方图摘要。请编辑 GCN_Model.py 文件。

   # 注释掉 GCN_Model.py 文件中的上述 tf.summary.histogram
   
   # # 直方图。
   # for grad, var in grads:
   #     if grad is None:
   #         print('warning: {} has no gradient'.format(var.op.name))
   #     else:
   #         tf.summary.histogram(var.op.name + '/gradients', grad)
   
   def _weight_variable(self, shape, regularization=True):
       initial = tf.truncated_normal_initializer(0, 0.1)
       var = tf.get_variable('weights', shape, tf.float32, initializer=initial)
       if regularization:
           self.regularizers.append(tf.nn.l2_loss(var))
       # tf.summary.histogram(var.op.name, var)
       return var
   
   def _bias_variable(self, shape, regularization=True):
       initial = tf.constant_initializer(0.1)
       var = tf.get_variable('bias', shape, tf.float32, initializer=initial)
       if regularization:
           self.regularizers.append(tf.nn.l2_loss(var))
       # tf.summary.histogram(var.op.name, var)
       return var
   

3. TypeError: len() of unsized object

   解决此问题的方法是根据自己的需求调整粗化级别，也可以尝试更改以观察效果。请编辑 main-GCN.py 文件。例如，如果要将 GCNs-Net 应用于 10 通道 EEG 系统，则需将“levels”设置为 1 或 0，因为最多只进行一次最大池化（10 --> 5）。可以通过将参数“level”改为 1 或 0 来观察差异。

   # 这是粗化级别，可以根据需要调整以观察不同效果
   graphs, perm = coarsening.coarsen(Adjacency_Matrix, levels=5, self_connections=False)
   

   修改为：

   # 这是粗化级别，可以根据需要调整以观察不同效果
   graphs, perm = coarsening.coarsen(Adjacency_Matrix, levels=1, self_connections=False)
   

4. tensorflow.python.framework.errors_impl.InvalidArgumentError: Received a label value of 7 which is outside the valid range of [0, 7). Label values: 5 2 3 3 1 5 5 4 7 4 2 2 1 7 5 6 3 4 2 4

   解决此问题的方法是：对于 GCNs-Net，在制作数据集时，标签应从 0 开始，而不是从 1 开始。例如，如果有七类，标签应为 0（第一类）、1（第二类）、2（第三类）、3（第四类）、4（第五类）、5（第六类）、6（第七类），而不是 1、2、3、4、5、6、7。

5. IndexError: list index out of range

   解决此问题的方法是首先仔细检查你的 Python 环境。必须使用 Python 2.7 环境。 此外，请安装 pyEDFlib 的 0.1.11 版本。安装指令如下：

   $ pip install pyEDFlib==0.1.11
   

代码结构

在项目的根目录下，您会看到：

├── Download_Raw_EEG_Data
│   ├── Extract-Raw-Data-Into-Matlab-Files.py
│   ├── MIND_Get_EDF.py
│   ├── README.md
│   └── electrode_positions.txt
├── Draw_Photos
│   ├── Draw_Accuracy_Photo.m
│   ├── Draw_Box_Photo.m
│   ├── Draw_Confusion_Matrix.py
│   ├── Draw_Loss_Photo.m
│   ├── Draw_ROC_and_AUC.py
│   └── figure_boxplot.m
├── LICENSE
├── Logo.png
├── MANIFEST.in
├── Models
│   ├── DatasetAPI
│   │   └── DataLoader.py
│   ├── Evaluation_Metrics
│   │   └── Metrics.py
│   ├── Initialize_Variables
│   │   └── Initialize.py
│   ├── Loss_Function
│   │   └── Loss.py
│   ├── Network
│   │   ├── BiGRU.py
│   │   ├── BiGRU_with_Attention.py
│   │   ├── BiLSTM.py
│   │   ├── BiLSTM_with_Attention.py
│   │   ├── BiRNN.py
│   │   ├── BiRNN_with_Attention.py
│   │   ├── CNN.py
│   │   ├── DNN.py
│   │   ├── DenseCNN.py
│   │   ├── Fully_Conv_CNN.py
│   │   ├── GRU.py
│   │   ├── GRU_with_Attention.py
│   │   ├── LSTM.py
│   │   ├── LSTM_with_Attention.py
│   │   ├── RNN.py
│   │   ├── RNN_with_Attention.py
│   │   ├── ResCNN.py
│   │   ├── Siamese_Network.py
│   │   ├── Thin_ResNet.py
│   │   └── lib_for_GCN
│   │       ├── DenseGCN_Model.py
│   │       ├── GCN_Model.py
│   │       ├── ResGCN_Model.py
│   │       ├── coarsening.py
│   │       └── graph.py
│   ├── __init__.py
│   ├── main-BiGRU-with-Attention.py
│   ├── main-BiGRU.py
│   ├── main-BiLSTM-with-Attention.py
│   ├── main-BiLSTM.py
│   ├── main-BiRNN-with-Attention.py
│   ├── main-BiRNN.py
│   ├── main-CNN.py
│   ├── main-DNN.py
│   ├── main-DenseCNN.py
│   ├── main-DenseGCN.py
│   ├── main-FullyConvCNN.py
│   ├── main-GCN.py
│   ├── main-GRU-with-Attention.py
│   ├── main-GRU.py
│   ├── main-LSTM-with-Attention.py
│   ├── main-LSTM.py
│   ├── main-RNN-with-Attention.py
│   ├── main-RNN.py
│   ├── main-ResCNN.py
│   ├── main-ResGCN.py
│   ├── main-Siamese-Network.py
│   └── main-Thin-ResNet.py
├── NEEPU.png
├── Preprocess_EEG_Data
│   ├── For-CNN-based-Models
│   │   └── make_dataset.m
│   ├── For-DNN-based-Models
│   │   └── make_dataset.m
│   ├── For-GCN-based-Models
│   │   └── make_dataset.m
│   ├── For-RNN-based-Models
│   │   └── make_dataset.m
│   └── For-Siamese-Network-One-Shot-Learning
│       └── make_dataset.m
├── README.md
├── Saved_Files
│   └── README.md
├── requirements.txt
└── setup.py

引用

如果您觉得我们的库有用，请在您的出版物中引用我们的论文。我们在此提供 BibTeX 格式的引用条目。

@article{hou2022gcn,
	title   = {{GCNs-Net}: 一种用于解码时间分辨脑电图运动想象信号的图卷积神经网络方法},
        author  = {侯一民、贾淑悦、伦祥敏、郝子谦、史燕、李阳、曾睿、吕景磊},
	journal = {IEEE 神经网络与学习系统汇刊},
	volume  = {},
	number  = {},
	pages   = {1-12},
	year    = {2022年9月},
	doi     = {10.1109/TNNLS.2022.3202569}
}
  
@article{hou2020novel,
	title     = {一种通过 Scout ESI 和 CNN 解码四类脑电图运动想象任务的新方法},
	author    = {侯一民、周璐、贾淑悦、伦祥敏},
	journal   = {神经工程学杂志},
	volume    = {17},
	number    = {1},
	pages     = {016048},
	year      = {2020年2月},
	publisher = {IOP 出版社},
	doi       = {10.1088/1741-2552/ab4af6}
	
}

@article{hou2022deep,
	title   = {基于注意力机制的双向长短时记忆图卷积神经网络在人类运动想象识别中的深度特征挖掘},
	author  = {侯一民、贾淑悦、伦祥敏、张舒、陈涛、王芳、吕景磊},   
	journal = {生物工程与生物技术前沿},      
	volume  = {9},      
	year    = {2022年2月},      
	url     = {https://www.frontiersin.org/article/10.3389/fbioe.2021.706229},       
	doi     = {10.3389/fbioe.2021.706229},      
	ISSN    = {2296-4185}
}

@article{Jia2020AttentionGCN,
	title   = {基于注意力机制的图 ResNet 用于从原始脑电信号中检测运动意图},
	author  = {贾淑悦、侯一民、伦祥敏、吕景磊},
	journal = {arXiv 预印本 arXiv:2007.13484},
	year    = {2022年}
}

我们的论文可以从以下链接下载：

1. 一种通过 Scout ESI 和 CNN 解码四类脑电图运动想象任务的新方法
   该工作的代码和教程可以在这里找到：GitHub 仓库.
   

整体框架：