晓宇 周
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
敏鹏 许
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
天津大学 医学工程与转化医学研究院(天津 300072),
Academy of Medical Engineering and Translational Medicine. TianJin University, TianJin 300072, P.R.China
晓琳 肖
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
龙 陈
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
晓松 顾
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
天津大学 医学工程与转化医学研究院(天津 300072),
Academy of Medical Engineering and Translational Medicine. TianJin University, TianJin 300072, P.R.China
东 明
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
天津大学 医学工程与转化医学研究院(天津 300072),
Academy of Medical Engineering and Translational Medicine. TianJin University, TianJin 300072, P.R.China
天津大学 精密仪器与光电子工程学院(天津 300072),
School of Precision Instrument and Opto-electronics Engineering, TianJin University, TianJin 300072, P.R.China
天津大学 医学工程与转化医学研究院(天津 300072),
Academy of Medical Engineering and Translational Medicine. TianJin University, TianJin 300072, P.R.China
许敏鹏,Email:
nc.ude.ujt@ux.gnepnim
若将 BCI 系统当作一个模式识别系统,则该系统旨在识别特定的大脑模式,从而实现高正确率的意图解码。该模式识别系统的性能取决于“特征”和所使用的特征解码算法。常规用于描述脑电图(electroencephalogram,EEG)的特征有时域波形、频带能量、空间分布特异性等
[
7
]
。时域波形特征是指 EEG 信号在时间演进过程中形成的具有固定形状的电位。如在 P300 范式中,将与触发事件具有锁时、锁相关系的事件相关电位(event-related potential,ERP)时域波形作为特征。频带能量特征是指某一时段内,指定通道、指定频带内的能量变化。在运动想象型 BCI(motor-imagery based BCI,MI-BCI)中,通过检测 mu 节律、beta 节律对应频带能量变化,可判定用户运动意图。空间分布特异性特征是指 EEG 信号时域波形或频带能量在不同导联间呈现的差异变化
[
8
]
。如在视觉空间编码型 BCI 中以视觉诱发电位(visual evoked potentials,VEPs)的空间分布特异性为特征编码刺激。除时域波形、频带能量、空间分布特异性外,导联或频带间信号的相关性、同步性等特征同样可用于描述 BCI 信号。
近年来,为提高 BCI 系统性能,高效 BCI 特征解码研究越来越受到关注,相关论文被引频次逐年增加。在科睿唯安(Clarivate Analytics)旗下的 Web of Science 数据库平台中检索“BCI 特征解码”论文,相关论文被引频次变化情况如
所示。本文针对 BCI 发展历程中的诸多特征解码算法,介绍以典型相关分析(canonical correlation analysis,CCA)、共空间模式(common spatial pattern,CSP)、线性判别分析(linear discrimination analysis,LDA)等为代表的经典算法的基本原理、适用范围及改进算法,再介绍事件相关成分分析(task-related component analysis,TRCA)、判别典型模式匹配(discriminative canonical pattern matching,DCPM)、黎曼几何、深度学习等新方法的基本原理、应用现状,最后展望了未来 BCI 特征解码算法的研究方向。
1. 经典分类算法
1.1. 典型相关分析
CCA 是一种分析两组数据之间潜在关联性的多变量统计分析方法,广泛用于稳态视觉诱发型 BCI(steady-state visual evoked potentials based BCI,SSVEP-BCI)的特征解码中。假设有
k
个刺激频率,
X
为采集的 SSVEP 信号,
Y
为正余弦模板,
Y
可表示为如式(1)所示:
作为决策值。
传统 CCA 存在以下两类问题:① 未考虑 EEG 信号的个体特异性及试次间信息;② 在使用较短时间窗时,性能易受过拟合影响
[
9
]
。针对此类问题,研究者提出了诸多改进算法。Zhang 等
[
9
]
结合张量分解及稀疏正则方法,提出 L1 正则化的多路典型相关分析(L1-regularized multiway canonical correlation analysis,L1-MCCA)以充分利用试次间信息并改善过拟合问题。Nakanishi 等
[
10
]
考虑了 EEG 信号的个体差异性,引入个人校准数据,提出带个人训练模板的典型相关分析(canonical correlation analysis with template,TCCA)。基于滤波器组(filter-bank)的典型相关分析算法(filter bank canonical correlation analysis,FBCCA)在 CCA 基础上,通过设计不同的滤波器,充分提取有用频带信息,最大化 SSVEP 信号与训练集模板和预先设定参考信号间的相关系数,有效提高了 SSVEP 的特征识别正确率,并通过在线系统验证了算法的有效性
[
11
]
。
1.2. 共空间模式
CSP 是解码 MI-BCI 中 EEG 信号特征的常用算法。CSP 通过寻找一个合适的投影矩阵
w
,使得一类的投影信号方差最大化而另一类的方差被最小化
[
12
]
。其目标函数可表示为如式(3)所示,其中,
C
i
为第
i
类的空间协方差矩阵。
最大的
d
个特征值、最小的
d
个特征值对应的特征向量构成。
传统 CSP 未考虑 EEG 信号时间局部结构,对潜在离群值和人工伪迹有很高的敏感度
[
13
]
。此外,在使用小样本量的训练集时易出现过拟合
[
14
]
。为此,Hatamikia 等
[
13
]
通过相关性度量构建权值矩阵,提出对噪声敏感度低的局部时间相关共空间模式算法;Lotte 等
[
14
]
提出了正则化 CSP 的两种理论框架,即:① 通过在协方差估计的水平上添加正则项,将原始协方差矩阵估计收缩到通用协方差矩阵,以抵消训练样本少导致的估计偏差;② 在目标函数上添加先验正则项,以指导优化过程获得良好的空间滤波器。
1.3. 线性判别分析
LDA 是一种常用于 ERP 特征解码中的监督学习算法,具有计算量低、分类效果良好等特点。LDA 将高维样本数据投影至低维空间,保证样本数据在该空间中有最大类间距离和最小类内距离,其目标函数可表示为如式(7)所示:
其中,
S
b
为类间散度矩阵,
S
w
为类内散度矩阵。通过求解
最大的
d
个特征值和对应的
d
个特征向量
,得到投影矩阵
W
。
LDA 同样存在过拟合问题,为此研究者提出了逐步线性判别分析(stepwise LDA,SWLDA)、收缩线性判别分析(shrinkage LDA,SKLDA)等方法
[
15
]
。SWLDA 逐步向前将差异具有统计学意义的预测变量添加到模型中,再向后回归以消除最不重要的变量,直至模型包含预定数量的项,或没有附加项满足进入/删除标准。SKLDA 通过收缩协方差估计缓解了由特征维度高于训练样本量造成的原样本协方差矩阵病态性的问题,有效增强了分类器的泛化能力。
1.4. 其他传统解码算法
除上述特征解码算法外,传统 EEG 信号特征解码还包括支持向量机(support vector machine,SVM)、神经网络(neural networks,NN)、非线性贝叶斯分类器、张量分解等。SVM 是一种用于解决小样本、非线性及高维度问题的模式识别方法,具有较好的泛化能力,但训练速度较慢
[
16
]
。在第 3 届 BCI 大赛中,基于 SVM 的集成分类方法取得了最佳的分类效果。NN 是层状人工神经元的集合,可用于产生非线性决策边界,多层感知机(multi-layer perceptron,MLP)是其在 BCI 解码应用中的代表。贝叶斯二次分类器、隐马尔可夫模型等非线性贝叶斯分类器基于数据的分布情况,使用贝叶斯规则为特征向量分配所属类别
[
17
-
18
]
。张量分解能捕获高阶数据集的多线性和多方面结构信息,避免了 EEG 信号常规处理中以向量或矩阵方式造成的特征维度内或维度间信息的丢失
[
19
]
。同时,凭借张量所固有的结构性信息,将 BCI 数据表示为张量形式,有助于缓解样本量小及降低学习模型中未知特征参数量的自然约束。
2. 新兴算法
2.1. 事件相关成分分析
2018 年,Nakanishi 等
[
20
]
首次将 TRCA 用于 SSVEP-BCI 系统设计中,并通过整合 TRCA 投影矩阵
w
f
,同时结合 filter-bank 思想,改进得到集成 TRCA 算法,最终系统在线信息传输速率(information transfer rates,ITR)最高可达 376.58 bits/min。
模型建立中,认为采集的多通道 EEG 信号由事件相关信号
s
(
t
)与事件非相关信号
n
(
t
)线性组合而成,如式(8)所示:
作为决策值。
2.2. 判别典型模式匹配
2018 年,天津大学神经工程团队提出 DCPM 算法,并将其用于基于极微弱 ERP(miniature ERP)的新型 BCI 系统设计中,首次实现 1 μV 以下 miniature ERP 高效解码与应用
[
21
]
。
DCPM 算法包括以下三部分:
(1)构建判别空间模式,以消除共模噪声。基于费希尔判别准则,寻找可在映射后使得两类信号的类间散度最大、类内散度最小的
w
,如式(14)所示:
2.3. 黎曼几何分类器
EEG 信号处理中,一般在平滑约束下操作矩阵,故受约束的空间可理解为平滑弯曲的空间。常用的样本协方差矩阵所在对称正定矩阵空间便是一个黎曼流形。传统的 LDA、CSP、CCA 等方法均在欧几里得空间中使用样本协方差矩阵,而未考虑它们所属的对称正定矩阵空间的曲率,并不利于精准地建立模型
[
22
]
。而在黎曼几何中,黎曼距离具有求逆及同余不变性
[
23
]
。假设任意两个试次 EEG 信号
X
1
、
X
2
分别服从均值为 0,方差为∑
1
、∑
2
的多元正态分布,即
,则上述性质可表示为如式(18)、(19)所示:
,为任意可逆矩阵,其中
C
为导联数。由该式可知,对 EEG 信号进行任何线性操作对黎曼距离没有影响,使得黎曼度量可绕过源分离等步骤直接应用协方差矩阵中的空间信息。
基于黎曼几何的算法具有较好的泛化能力和鲁棒性
[
23
-
25
]
。目前,基于黎曼几何进行 BCI 解码 EEG 信号特征的方法可分为两类:① 综合黎曼空间、欧几里得空间优势,将黎曼流形通过对数映射等方法映射至其切空间。该切空间为欧几里得空间,可直接使用 LDA、CSP、CCA 等方法
[
26
]
。值得注意的是,在该欧几里得切空间中仍需考虑特征选择以降低特征维度从而避免维数灾难。② 在黎曼流形中,基于黎曼距离的不变性,利用协方差矩阵中空间信息直接进行分类。黎曼均值最小距离(minimum distance to riemannian mean,MDRM)是该类算法的典型代表。MDRM主要计算了未知类别EEG信号
到各类训练数据的平均协方差矩阵的估计
[
25
]
。
目前,研究者已将黎曼几何应用于事件相关去同步(event-related desynchronization,ERD)/事件相关同步现象(event-related synchronization,ERS)、ERP、SSVEP 特征解码中,且普遍认为其极具应用前景
[
27
]
。
2.4. 深度学习
深度学习作为近年来发展最为迅猛的一种机器学习方法,已经广泛应用于自动语音识别、图像识别、自然语言处理、新药研发等诸多领域
[
28
]
。BCI 领域中,如卷积神经网络(convolution neural networks,CNN)、受限玻尔兹曼机(restricted Boltzmann machines,RBM)和深层信念网络(deep belief networks,DBN)等架构也已用于 EEG 信号解码
[
7
,
29
-
32
]
。然而,目前深度学习方法并未在 EEG 信号解码中表现出明显优势。这可能是由于 EEG 信号的信噪比低、样本量小,造成神经网络训练不充分,也可能是由于目前缺少适用于 EEG 信号特点的神经网络架构。
3. 结论与展望
综上所述,BCI 解码算法近年来取得了较多突破,在克服 EEG 信号变异性大、信噪比低等方面获得较大进展。其中,正则化方法能够有效改进传统分类算法的鲁棒性,从而缓解由于 EEG 信号训练样本少造成的过拟合问题。TRCA 算法能够高效提取任务期间任务相关电位,从而削弱 EEG 信号变异性对模型建立的影响。DCPM 算法可通过抑制共模噪声,提升特征信号的信噪比以实现极微弱 EEG 信号的识别。采用贝叶斯后验概率实现数据截取的动态停止,有助于达到 BCI 系统速度与精度间的平衡。黎曼度量具有同余不变性,有望解决用户间变异性大造成的用户间可迁移性差问题。深度学习受样本量制约尚未在解码中显示出优势,但其间大量的隐藏层有利用学习复杂的非线性 EEG 信号“模式”,极具研究价值。为适应现实生活需求,设计自适应能力强、可迁移性好、多类识别效率高的算法,仍是今后 EEG 信号特征解码的重要发展方向。
总之,算法的推陈出新推动了 BCI 的发展和实用化进程,但是,目前仍需发展稳健的 BCI 解码算法以进一步解决个体间 EEG 信号变异性大、训练样本少、信噪比低等问题,从而实现通用型、无校准、高性能的 BCI 技术。
利益冲突声明:本文全体作者均声明不存在利益冲突。
Funding Statement
国家自然科学基金资助项目(81601565,81630051,91520205)
References
1.
Ramadan R A, Vasilakos A V Brain computer interface: control signals review.
Neurocomputing.
2017;
223
:26–44. doi: 10.1016/j.neucom.2016.10.024.
[
CrossRef
]
[
Google Scholar
]
3.
Chowdhury A, Shankaran R, Kavakli M, et al Sensor applications and physiological features in drivers' drowsiness detection: a review.
IEEE Sens J.
2018;
18
(8):3055–3067. doi: 10.1109/JSEN.2018.2807245.
[
CrossRef
]
[
Google Scholar
]
4.
Munyon C N Neuroethics of non-primary brain computer interface: focus on potential military applications.
Front Neurosci.
2018;
12
:696. doi: 10.3389/fnins.2018.00696.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
5.
Ge Sheng, Ding Mengyuan, Zhang Zheng, et al Temporal-spatial features of intention understanding based on EEG-fNIRS bimodal measurement.
IEEE Access.
2017;
5
:14245–14258. doi: 10.1109/ACCESS.2017.2723428.
[
CrossRef
]
[
Google Scholar
]
6.
Zhang Li, Gan J Q, Wang Haixian Localization of neural efficiency of the mathematically gifted brain through a feature subset selection method.
Cogn Neurodyn.
2015;
9
(5):495–508. doi: 10.1007/s11571-015-9345-1.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
7.
Lotte F, Bougrain L, Cichocki A, et al A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update.
J Neural Eng.
2018;
15
(3):031005. doi: 10.1088/1741-2552/aab2f2.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
8.
Wu Chaohua, Lin Ke, Wu Wei, et al A novel algorithm for learning sparse spatio-spectral patterns for event-related potentials.
IEEE Trans Neural Netw Learn Syst.
2017;
28
(4):862–872. doi: 10.1109/TNNLS.2015.2496284.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
9.
Zhang Yu, Zhou Guoxu, Jin Jing, et al L1-Regularized multiway canonical correlation analysis for SSVEP-based BCI.
IEEE Transactions on Neural Systems and Rehabilitation Engineering.
2013;
21
(6):887–896. doi: 10.1109/TNSRE.2013.2279680.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
10.
Nakanishi M, Wang Yijun, Wang Yute, et al A high-speed brain speller using steady-state visual evoked potentials.
Int J Neural Syst.
2014;
24
(6):1450019. doi: 10.1142/S0129065714500191.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
11.
Chen Xiaogang, Wang Yijun, Gao Shangkai, et al Filter bank canonical correlation analysis for implementing a high-speed SSVEP-based brain-computer interface.
J Neural Eng.
2015;
12
(4):046008. doi: 10.1088/1741-2560/12/4/046008.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
12.
Wang Haixian, Li Xiaomeng Regularized filters for L1-Norm-Based common spatial patterns.
IEEE Transactions on Neural Systems and Rehabilitation Engineering.
2016;
24
(2):201–211. doi: 10.1109/TNSRE.2015.2474141.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
13.
Hatamikia S, Nasrabadi A M Subject transfer BCI based on composite local temporal correlation common spatial pattern.
Comput Biol Med.
2015;
64
:1–11. doi: 10.1016/j.compbiomed.2015.06.001.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
14.
Lotte F, Guan Cuntai Regularizing common spatial patterns to improve BCI designs: unified theory and new algorithms.
IEEE Trans Biomed Eng.
2011;
58
(2):355–362. doi: 10.1109/TBME.2010.2082539.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
15.
Tahernezhad-Javazm F, Azimirad V, Shoaran M A review and experimental study on the application of classifiers and evolutionary algorithms in EEG-based brain-machine interface systems.
J Neural Eng.
2018;
15
(2):021007. doi: 10.1088/1741-2552/aa8063.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
16.
Quitadamo L R, Cavrini F, Sbernini L, et al Support vector machines to detect physiological patterns for EEG and EMG-based human-computer interaction: a review.
J Neural Eng.
2017;
14
(1):011001. doi: 10.1088/1741-2552/14/1/011001.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
17.
Zhang Yu, Zhou Guoxu, Jin Jing, et al Sparse bayesian classification of EEG for brain-computer interface.
IEEE Trans Neural Netw Learn Syst.
2016;
27
(11):2256–2267. doi: 10.1109/TNNLS.2015.2476656.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
18.
Jiang Jing, Yin Erwei, Wang Chunhui, et al Incorporation of dynamic stopping strategy into the high-speed SSVEP-based BCIs.
J Neural Eng.
2018;
15
(4):046025. doi: 10.1088/1741-2552/aac605.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
19.
Idaji M J, Shamsollahi M B, Sardouie S H Higher order spectral regression discriminant analysis (HOSRDA): a tensor feature reduction method for ERP detection.
Pattern Recognit.
2017;
70
:152–162. doi: 10.1016/j.patcog.2017.05.004.
[
CrossRef
]
[
Google Scholar
]
20.
Nakanishi M, Wang Yijun, Chen Xiaogang, et al Enhancing detection of SSVEPs for a High-Speed brain speller using task-related component analysis.
IEEE Trans Biomed Eng.
2018;
65
(1):104–112. doi: 10.1109/TBME.2017.2694818.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
21.
Xu Minpeng, Xiao Xiaolin, Wang Yijun, et al A brain-computer interface based on miniature-event-related potentials induced by very small lateral visual stimuli.
IEEE Trans Biomed Eng.
2018;
65
(5):1166–1175. doi: 10.1109/TBME.2018.2799661.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
22.
Ilea I, Bombrun L, Said S, et al Fisher vector coding for covariance matrix descriptors based on the log-euclidean and affine invariant riemannian metrics.
Journal Of Imaging.
2018;
4
(7):85. doi: 10.3390/jimaging4070085.
[
CrossRef
]
[
Google Scholar
]
23.
Congedo M, Barachant A, Bhatia R Riemannian geometry for EEG-based brain-computer interfaces; a primer and a review.
Brain-Computer Interfaces.
2017;
4
(3):155–174. doi: 10.1080/2326263X.2017.1297192.
[
CrossRef
]
[
Google Scholar
]
24.
Yger F, Berar M, Lotte F Riemannian approaches in brain-computer interfaces: a review.
IEEE Transactions on Neural Systems and Rehabilitation Engineering.
2017;
25
(10):1753–1762. doi: 10.1109/TNSRE.2016.2627016.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
25.
Waytowich N R, Lawhern V J, Bohannon A W, et al Spectral transfer learning using information geometry for a user-independent brain-computer interface.
Front Neurosci.
2016;
10
:430.
[
PMC free article
]
[
PubMed
]
[
Google Scholar
]
26.
Nguyen C H, Artemiadis P EEG feature descriptors and discriminant analysis under riemannian manifold perspective.
Neurocomputing.
2018;
275
:1871–1883. doi: 10.1016/j.neucom.2017.10.013.
[
CrossRef
]
[
Google Scholar
]
27.
Kalunga E K, Chevallier S, Barthelemy Q A, et al Online SSVEP-based BCI using riemannian geometry.
Neurocomputing.
2016;
191
:55–68. doi: 10.1016/j.neucom.2016.01.007.
[
CrossRef
]
[
Google Scholar
]
28.
Cao Chensi, Liu Feng, Tan Hai, et al Deep learning and its applications in biomedicine.
Genomics Proteomics Bioinformatics.
2018;
16
(1):17–32. doi: 10.1016/j.gpb.2017.07.003.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
29.
Movahedi F, Coyle J L, Sejdic E Deep belief networks for electroencephalography: a review of recent contributions and future outlooks.
IEEE J Biomed Health Inform.
2018;
22
(3):642–652. doi: 10.1109/JBHI.2017.2727218.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
30.
Schirrmeister R T, Springenberg J T, Fiederer L D, et al Deep learning with convolutional neural networks for EEG decoding and visualization.
Hum Brain Mapp.
2017;
38
(11):5391–5420. doi: 10.1002/hbm.23730.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
31.
Tabar Y R, Halici U A novel deep learning approach for classification of EEG motor imagery signals.
J Neural Eng.
2017;
14
(1):016003. doi: 10.1088/1741-2560/14/1/016003.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
32.
Ma Teng, Li Hui, Yang Hao, et al The extraction of motion-onset VEP BCI features based on deep learning and compressed sensing.
J Neurosci Methods.
2017;
275
:80–92. doi: 10.1016/j.jneumeth.2016.11.002.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]