2022年脑机接口论文调查
脑电接口综述
摘要
关键字：脑机接口，深度学习
目录
摘要
第一章 引言
1.1 研究背景
1.2 发展历程
1.3 发展现状
第二章 信号采集
2.1侵入式采集
2.1.1 Intracortical encephalogram
2.1.2 EGoG皮层电图
2.2非侵入式采集
2.2.1 EEG脑电图
2.2.2 fNIRS 功能近红外光谱
2.2.3 fMRI功能磁共振成像
2.2.4 EOG眼电图
2.2.5 MEG脑磁图
2.3 混合采集
第三章 信号预处理
3.1 傅里叶变换
3.2 blind source separation (BSS)
3.3 小波变换
3.4 Empirical mode decomposition (EMD)
3.5 Hilbert transform
3.6 Hilbert-Huang transform
3.7 空间滤波方法
3.8.1 最小能量组合 (MEC)
3.8.2 最大对比度组合 (MCC)
3.8.3 生成空间过滤器 (Common spatial pattern, CSP)
第四章 特征提取
4.1典型相关分析(Canonical correlation analysis, CCA)
4.1.1 多路典型相关分析(multiway canonical correlation analysis, MwayCCA)
4.1.2 相位约束典型相关分析(phase constrained canonical correlation analysis, PCCA)
4.1.3 多数据集典型相关分析(multiset canonical correlation analysis, MsetCCA)
4.1.4 滤波器组典型相关分析(FBCCA)
4.1.5 基于个体模板典型相关分析(individual template based CCA, IT-CCA)
4.1.6 核典型相关分析(kernel CCA, KCCA)
4.1.7 相关成分典型相关分析(CORRCA)
4.1.8 任务相关典型相关分析(TRCA)
4.2 Principal component analysis (PCA)
4.3 Independent component analysis (ICA)
4.4 Auto regressive (AR)
4.5 Wavelet packet decomposition (WPD)
4.6 Wavelet transform
4.7 遗传算法
4.8 滤波组滤波算法
4.9 稀疏光谱时间分解 (SSD)
4.10 黎曼几何
4.11 公共空间特征 (CSP)
4.12 Kolmogorov复杂性算法
4.13 Empirical mode decomposition (EMD)
4.14 功率谱密度 (PSD)
4.15 Hjorth参数方法
4.16贝叶斯方法
第五章 特征分类
5.1 支持向量机
5.2 深度学习
5.2.1 有监督学习
5.2.2 无监督学习
第六章 应用
6.1 生物应用
6.1.1 中枢神经系统替代品
6.1.2 评估与诊断
6.1.3 治疗与康复
6.2 非生物应用
6.2.1 游戏
6.2.2 工业
6.2.3 艺术应用
6.2.4 交通
6.2.5 军事
第七章 公开数据集
第八章 评估指标
8.1 混淆矩阵(confused matrix)
8.2 分类准确率和错误率
8.3 信息传输速率(information transfer rate)
8.4 Cohen’s Kappa Coefficient
8.5 用户评估系统
第九章 未来和展望
9.1 脑机接口技术的局限性
9.2 脑机接口技术的伦理性
9.3 脑机接口技术的前景
第一章 引言
脑机接口(Brain computer interface, BCI)是指通过在人脑神经与外部设备(比如计算机、机器人等)建立直接连通通路，来实现神经系统和外部设备间信息交互与功能整合的技术。
脑电接口技术包含以下几个部分：信号采集、信号处理和应用模块。
信号采集主要指采集设备的类型、选型、特性和信号的基本属性。
信号处理包含信号预处理、特征提取和特征分类三个部分。信号预处理主要是指去除信号清理、信号归一化、信号增强和信号减少。特征提取是指信号通过预处理之后，将预处理后的信号提取出可用于分类的信号特征。特征分类是指将信号特征按照特定的算法做出区分并划分类别，从而为应用模块提供相应的数据。
应用模块是指接收已分类数据，并为用户提供交互等服务的软件和设备。
1.1 研究背景
1929年，Hans Berger成为第一个记录脑电图(EEG)的人，脑电图显示通过人脑头皮测量的大脑电活动。在1973年，Vidal首次尝试使用EEG在人与计算机之间进行通信，创建了BCI领域。
ECoG是1950年代初期由蒙特利尔神经病学研究所的神经外科医生Wilder Penfield和Herbert Jasper开创的。
1.2 发展历程
暂无。
1.3 发展现状
目前，BCI应用程序在医疗领域、保健领域、游戏、教育、自动控制和营销等各个领域发挥着重要作用，并且探索BCI在记忆、注意力、视觉空间、学习、协作和沟通、社交、创造性和情感等领域的应用研究。
BCI的研究分为基础研究和应用研究。基础研究主要是研究大脑的运作机制，为大脑的生理活动和运行机制提供更加精确的解释。应用研究主要是为了给用户提供服务，提高生活水平和质量，降低经济损失和生活的不适感。
应用研究总体上分为生物应用研究和非生物应用研究。生物应用研究包含了中枢神经系统替代品、评估与诊断病情以及治疗和康复。例如，智能控制轮椅、假肢控制、字符拼写、诊断癫痫和老年痴呆等疾病、提高幼儿注意力和认知能力等方面。在非生物应用中，分别有游戏、工业、艺术应用、交通和军事等领域。
病残用户和健康用户都是BCI应用程序的目标用户。健康用户是未来BCI应用程序商业化的目标用户，有巨大的市场消费潜力。尽管BCI在过去的二十年里有了较大的进展，依然存在许多严重的局限性，这些局限性影响到了系统的整体性能。BCI的局限性为信息传输率较低、用户可接受性差以及缺乏高精度和可靠性。信息传输率较低以及缺乏高精度和可靠性是由于大脑信号容易被各种生物本能(眨眼、肌肉伪影、疲劳和注意力水平)、采集机器的噪声和环境伪影的影响。同时，这也是BCI最为艰难的挑战。即在较低信噪比的情况下，准确识别大脑信号表达的意义。而且，特征选择和提取非常耗费时间，甚至可能由于特征选择和提取导致信息丢失的情况。
图：一般的BCI系统流程
第二章 信号采集
信号采集需要通过多种技术记录生物信号。根据对人体是否产生创伤，这些技术分为侵入式和非侵入式两类。侵入式包含了皮质内采集和皮层脑电图。非侵入式包含了EEG、fNIRS、fMRI、EOG和MEG。在侵入式采集技术中，手术植入的网络或微电极记录来自皮质表面或内部脑组织的颅内信号。而在非侵入式采集技术中，不需要任何手术，即可测量经颅信号。
图：信号采集的分类树状图
图：脑部的信号源位置
2.1侵入式采集
侵入式采集技术可以提供高质量的大脑信号，因为电极直接从大脑神经元附近的位置采集信号。采集的信号具有高时空分辨率和高信噪比。首先，电极的植入需要外科手术，由于移植排斥等潜在的医疗并发症，手术费用高且风险大。其次，植入的电极是固定的，因此只能测量来自相同位置的大脑信号。其三，植入电极后，人体自动愈合伤口，采集的信号会越来越差，直至信号消失。由于上述原因，侵入式BCI技术在实践中主要用于动物和严重残疾的人。而且侵入式脑机接口对硬件和实验环境的要求更高。
2.1.1 Intracortical encephalogram
皮层内记录技术将电极插入受试者大脑的皮层，植入的微电极可以是单个电极或电极阵列，记录脑细胞群自发性、节律性电活动。通常，皮质内电极提供高分辨率的运动控制大脑信号。
2.1.2 EGoG皮层电图
皮层电图是一种记录大脑活动的皮层外侵入式电生理监测方法。手机ECoG信号的电极连接在颅骨下方、硬脑膜上方或下方，但不在脑实质内。作为一种高度侵入式的方法，皮层内的大脑信号主要由医学或生物领域的研究人员进行研究。大多数与ECoG相关的研究都集中在医疗保健，尤其是癫痫发作的诊断上。电极被植入一个薄塑料垫中，该塑料垫固定在皮质上，相对于脑膜的最小位置。
2.2非侵入式采集
非侵入式信号采集主要包括EEG、fNIRS、fMRI、EOG和MEG。
2.2.1 EEG脑电图
EEG是通过精密的电子仪器，从头皮上将脑部自发性生物电位加以放大记录而获得的图形，是通过电极记录下来的脑细胞群的自发性、节律性电活动。EEG按照脑部活动分为自发性脑电图和诱发电位脑电图。诱发电位脑电图包括自发脑电图和诱发电位脑电图。诱发电位脑电图包括事件相关电位和稳态诱发电位。其中事件相关电位包含视觉诱发电位、听觉诱发电位、体感诱发电位、P300电位、错误相关电位。而稳态诱发电位包括稳态视觉诱发电位、稳态听觉诱发电位和稳态体感诱发电位。
EEG具有几个不重叠的频带，这些频带基于不同行为状态的强带内相关性。意识程度表示个体在面对外部刺激时的感知，每个频段代表一种大脑状态和意识的定性评估：
(1) Delta模式：0.5~4 Hz，对应于受试者意识较低的深度睡眠；
(2) Theta模式：4~8 Hz，对应于低意识领域的轻度睡眠；
(3) Alpha模式：8~12 Hz，主要出现在闭眼和深度放松状态，对应于中等意识；
(4) Beta模式：12~30 Hz，是主要节奏，而受试者的眼睛是睁开的，并且与高度意识相关。该意识捕获了人类大部分的日常活动。
(5) Gamma模式：60~100 Hz，代表了几个大脑区域的协同作用，以执行特定的运动和认知功能。
EEG的优势分别是：(1)硬件具有更高的便携性，价格更低，容易负担，具有向公众商业化的潜力；(2)毫秒级的时间分辨率，时间分辨率非常高；(3)EEG对主体运动和伪影的容忍度相对较高，可以通过现有的信号处理算法将其优化；(4)受试者不用暴露在高强度(>1T)的磁场中，可以服务于体内有金属植入物的受试者。
EEG的劣势分别是：(1)由于放置在头发上的电极数量有限，信号的空间分辨率较低；(2)由于客观因素，比如环境噪声、电极位置不良、接地电极不良、电极路径障碍、眨眼、电极阻抗、电磁噪声、设备问题、电源线干扰、眼部伪影、心脏伪影和、肌肉障碍、颅骨和皮质之间其他组织的阻塞以及不同的刺激，和主观因素，比如受试者的心理阶段、疲劳状态以及不同受试者的个体差异，信号的信噪比低。
2.2.1.1 自发脑电图
Spontaneous EEG(自发脑电图)，它是在没有外部刺激的情况下测量特定状态下的大脑信号。
按照研究场景的分类，自发脑电图包括睡眠脑电图、运动想象脑电图、情绪脑电图、精神疾病脑电图等。自发脑电图分为以下几个方面：睡眠、运动想象、情绪、精神疾病、数据增强等。
2.2.1.2 诱发电位脑电图EP
诱发电位或诱发反应是指由事件刺激而不是自发诱发的EEG信号。诱发电位对外部刺激是时间锁定的，而自发电位是非时间锁定的。与自发脑电图相比，诱发电位通常具有更高的振幅和更低的频率。因此，诱发电位在受试者之间更加稳定。根据刺激的方法，诱发电位分为事件相关电位和稳态诱发电位。
2.2.1.2.1 事件相关电位ERP
ERP记录EEG信号以响应孤立的离散刺激事件。为了实现这种隔离，ERP实验中的刺激通常通过较长的刺激间隔而相互分离，从而允许估计与刺激无关的极限参考。ERP的频率刺激一般低于2Hz。
2.2.1.2.1.1 视觉诱发电位VEP
视觉诱发电位是由视觉刺激引起的特定类别的ERP。与其他刺激相比，视觉刺激更容易呈现并且更适用于现实世界。VEP可根据视觉刺激的形态和频率或屏幕刺激的面积进行分类。VEP的频率小于2Hz。基于特定刺激模式调制的适使用，
2.2.1.2.1.2 听觉诱发电位AEP
听觉诱发电位是ERP的一种特定子类，其中记录了对听觉刺激的反应。AEP主要从头皮记录，但起源于脑干或皮层。最常见的AEP测量是听觉脑干反应(ABR)，通常用于测试新生儿和婴儿的听力。在BCI领域，AEP主要用于临床测试，因为它在检测单侧丢失方面具有准确定和可靠性。
2.2.1.2.1.3 体感诱发电位SEP
体感诱发电位是另一种常用的ERP子类别，它是通过对周围神经的电刺激引起的。SEP几乎可以由任何感觉刺激触发。
2.2.1.2.1.4 P300电位
P300是ERP中的重要组成部分。波形主要包含五个分量：P1、N1、P2、N2和P3。大写字母P/N代表正负电位。数字是指特定电位的发生时间。与其他组件相比，P300的振幅最高，最容易被检测到。因此，大量BCI研究集中在P300分析上。
在古怪范式中，受试者接受一系列刺激，其中低概率目标项目与高概率非目标项目混合。视觉和听觉刺激是古怪范式中最常用的。
在大多数情况下，P300信号是根据峰值来分析的。P300是ERP的一个正峰值，大小范围为5到10微伏，在事件发生后的200到500毫秒之间存在延迟。
视觉P300最重要的优点是大多数受试者都可以以非常高的精度使用它，并且在几分钟内完成校准。用户可以非常方便快捷地使用该系统来控制设备。
P300的缺点是使用该系统需要高度注意力和视觉焦点，导致受试者疲劳，以视力障碍者无法使用该系统。而且P300的幅度受到许多因素的影响，例如目标出现的频率、试验持续时间、实验难度、参与者的注意力状态和习惯性影响。
更快的P300反应表明在注意力和即时记忆任务的认知表现更好。延迟抖动会使P300偏转而难以提取。因此，需要呈现多个试验并对EEG相应进行平均，以提高信噪比，从而提高解码精度。但是，当出现更多试验时，通信速度会变慢，这会导致速度/准确性的权衡。
P300最常见的应用是开发假体键盘，为残疾患者提供交流途径。传统的P300处理与事件相关电位先关的刺激，这种类型的刺激产生的准确性相对低于基于SSVEP的视觉刺激技术。
2.2.1.2.1.5 错误相关电位ErrP
错误相关电位是ERP的子类。错误相关电位主要在额叶和中央叶，延迟为200~700毫秒。在闭环BCI系统中使用错误相关电位的过程可以被视为类似于“从错误中学习”。以下为其中一个错误相关电位的分析方法。
在错误试验中，在大约300ms处观察到一个尖锐的正峰，然后大约在400ms处出现一个负峰。平均EEG波形分两步导出：首先，选择范围(150~700ms)内的内侧和后部区域的双极通道，去除偏移分量，应用0.5~10Hz的带通滤波器，然后结果被下采样到64Hz；其次，他们在Adaboost分类算法中将功能 决策树应用于生成特征向量。十倍交叉验证表明，由此产生的平均EEG波形可以区分机器人的正确和不正确行动。
2.2.1.2.2 稳态诱发电位SSEP
稳态诱发电位是诱发电位的另一个子类。它是由具有恒定频率的某些重复刺激诱发的周期性皮层电位。SSEP被定义为对重复感觉刺激的一种响应模式，其中响应的组成频率分量在幅度和相位上随时间表示恒定。根据刺激的类型，SSEP可分为三个子类别：稳态视觉诱发电位(SSVEP)、稳态听觉诱发电位(SSAEP)、稳态体感诱发电位(SSSEP)。在稳态诱发电位的研究主要集中于稳态视觉诱发电位。
相比之下，SSEP是响应于固定速率的周期性刺激而生成的。SSEP的刺激频率一般在3.5~75Hz范围内。
2.2.1.2.2.1 稳态视觉诱发电位SSVEP
稳态视觉诱发电位是BCI流行的另一种组件。SSVEP也称为光驱动，因为这种反应的发生器位于视觉皮层。在SSVEP范例中，中央视网膜上的恒定频率闪烁刺激会产生与闪烁一致的EEG模式。刺激的频率可以从低频(1~3.5Hz)到高频(75~100Hz)不等。因为刺激是外源的，所以它是一种可以被许多受试者使用的非训练范式。由于SSVEP范例中的信息位于窄带频率范围内，因此窄带带通滤波器通常是SSVEP信号预处理的一部分。然而，SSVEP的幅度和相位特性取决于刺激的强度和频率。
在SSVEP范例中，多个项目将同时呈现在屏幕上，而这些项目以不同的频率显示在不同的位置。SSVEP是由闪烁的视觉刺激引起大脑顶叶和枕叶区域的神经震荡。
基于SSVEP的BCI系统是基于频率编码和相位编码设计的，但许多工作集中在幅度调制上。对于基于SSVEP的BCI系统来说，预测各种振幅调制模式是非常有用和关键的，特别是对于神经康复任务的稳定性。
除了诊断任务，基于SSVEP的BCI系统在为残障人士提供控制康复或辅助设备的命令方面也显示出巨大的潜力。基于SSVEP的BCI在智能环境领域的发展可能会大大提高残疾人的独立性、自主性、机动性和能力，从而降低社会成本。
在特征提取方法中，基于SSVEP的非参数提取技术比基于ERP的参数特征提取技术提供了更多的时域特征和时空特征等信息。
基于SSVEP的BCI可进一步分为以下几类：
(1)时间调制的VEP-BCI(不同目标上的闪光顺序在时间上是正交的)
(2)频率调制的VEP-BCI(每个目标以特定频率闪光)
(3)伪随机码调制的VEP-BCI(每个目标闪光的开启和关闭状态所用的时间是根据伪随机顺序确定的)
2.2.1.2.2.2 稳态听觉诱发电位SSAEP
2.2.1.2.2.3 稳态体感诱发电位SSSEP
2.2.2 fNIRS 功能近红外光谱
功能性近红外光谱(functional Near Infrared Spectroscopy, fNIRS)是一种使用近红外光的无创功能性神经成像技术。fNIRS采用NIR光来测量含氧血红蛋白和脱氧血红蛋白的剧集程度，因为含氧血红蛋白和脱氧血红蛋白对光的吸收比其他头部组件(如颅骨和头皮)更高。fNIRS依赖于血氧水平依赖性反应(BOLD)或血流动力学反应来形成功能性神经图像。BOLD反应可以检测脑血中的含氧或脱氧血液水平。相对水平反映了血流量和神经激活，其中增加的血流量意味着有活跃的神经元引起的更高的代谢需求。大多数现有研究使用fNIRS技术来测量前额叶和运动皮层的状态。前额叶是对心理任务和音乐图像意向的反应。运动皮层是对运动相关任务的反应。
与电或磁信号比较，fNIRS信号的时间分辨率较低，而空间分辨率取决于发射器和检测器对的数量。在目前的研究中，三个发射器和八个检测器足以充分获取前额叶皮层信号。六个发射器和六个检测器足以覆盖运动皮层区域。
fNIRS的缺点在于，由于光发射器功率和空间分辨率的限制，它不能用于检测大脑中深度超过4厘米的皮层运动。
2.2.3 fMRI功能磁共振成像
功能性磁共振成像通过检测与脑区血流相关的变化来检测大脑活动。与fNIRS类似，fMRI依赖于BOLD。磁场比NIR光具有更高的穿透力，这使得fMRI从大脑深处捕获信息的能力比fNIRS强。fMRI具有比fNIRS更高的空间分辨率，因为后者受到发射器和检测器对的限制。然而，fMRI和fNIRS的时间分辨率处于相同水平，因为它们都受到血流素的限制。
fMRI需要昂贵的扫描仪来产生磁场。而且扫描仪较重，便携性差。
2.2.4 EOG眼电图
眼电图是一种测量存在于人眼前部和后部之间的角膜-视网膜站立电位的技术。EOG可用于与用户和外部交流，因为不同的眼球运动会导致不同的电位。电极通常放置在眼睛上下方或者左右方，以测量EOG信号。EOG信号在不同场景之间存在较大的差异，表明它们具有较高的SNR。EOG的时间分辨率高于神经成像技术，因为电的变化可能比代谢特征更快。与其他脑电信号比较，EOG的空间分辨率较低，因为它只能检测垂直或水平电位。
EOG在情绪检测、睡眠阶段识别和驾驶疲劳检测等多个课题中已被广泛用作参考信号。
2.2.5 MEG脑磁图
脑磁图是一种功能性神经成像技术，通过使用非常灵敏的磁力计记录大脑中电流产生的磁场来绘制大脑活动图。产生的磁场可以通过SQUID(超导量子干涉装置)等磁力计进行测量。
MEG测量的磁场源是垂直于皮层表面的锥体细胞。MEG具有较低的空间分辨率，因为信号高度依赖于大脑区域、神经元方向、神经元深度等因素。但是MEG可以提供非常高的时间分辨率(>1000Hz)。MEG从神经元层面直接检测大脑活动，与皮层内信号处于同一水平。MEG设备价格昂贵且不易携带，影响了使用的场景。
2.3 混合采集
单一模态的脑电信号具有局限性。为了提高BCI系统的保真度和性能，研究人员会采用多种模态的脑电信号或者其他信号共同进行处理。混合BCI系统按照信号的来源分为两类。第一类是将不同采集设备的BCI信号相结合。第二类是将其他信号与BCI信号相结合。
其他信号可以是其他的生物信号，例如心率、眼球运动或血流动力学信号。在混合BCI系统中，P300、SSVEP和SMR范式是混合BCI系统开发中最流行的范式。
任何混合BCI系统都必须满足以下四个主要标准：
(1)脑机接口系统必须使用脑信号；
(2)用户应能够有意控制其中一个大脑信号；
(3)BCI系统应对信号进行实时处理；
(4)必须向用户提供BCI输出的反馈。
第三章 信号预处理
信号预处理是对采集的原始脑电信号进行处理，以提高采集的脑信号与实际脑信号之间的相符程度。信号预处理包含多个步骤，例如信号清理(平滑噪声信号或解决不一致性)、信号归一化(沿时间轴对信号的每个通道进行归一化)、信号增强(去除直流电)和信号减少(呈现减少信号的表示)。
伪影是指大脑活动通常受到多种环境、生理和活动特定噪声声源的影响产生的噪声。
脑电信号在采集之后，一般有两种预处理方式：基本预处理和高级预处理。基本预处理主要指滤波，包括高通、低通、带通和陷波滤波器。高级预处理包括盲源分离方法和半盲源分离方法，如小波增强独立分量分析。
脑电信号具有以下的特点，也是采用预处理方法抑制伪影的原因。
非平稳性。在时间有限的数据量上训练的学习模型可能无法概括同一个人在不同时间记录的数据的原因。
由于个体之间的生理差异，受试者之间的伪影变异性很高。
数据收集耗时且有限。由于个人数据监管，医疗数据通常不可用。
3.1 傅里叶变换
傅里叶变换包括离散傅里叶变换和快速傅里叶变换。离散傅里叶变换和快速额变换之间的差别在于计算效率的快慢。傅里叶变换是一种基于预定义基函数的线性方法，一般要假设平稳，因此无法很好地处理具有非线性和非平稳特征的高度复杂的脑电信号。
低通滤波器和高通滤波器是两种类型的线性滤波器。这种典型的线性滤波用于去除EEG信号中的ECOG、EOG和EMG伪影。低通滤波用于去除肌电伪影，高通滤波用于去除EOG伪影。
3.2 blind source separation (BSS)
BBS
3.3 小波变换
小波的概念是由Jean Morlet在1981年提出的。
Daubechies博士于1988年提出的Daubechies小波变换。
小波变换可以看做是窗口可调的傅里叶变换，擅长处理SSVEP等非平稳信号。由于小波变换能够同时提供信号中的频率分量及其出现时间信息，因此受到了许多关注。小波变换在处理非平稳信号方面表现出了较高的质量，但对于具有非线性动力学和混沌特性的高度复杂脑信号，小波变换仍难以表现出良好的性能。
小波去噪和阈值化操作。使用多分辨率分析将脑电信号传输到离散小波域。对比度或自适应阈值电平用于减少与噪声信号相关联的特定系数。
较短的系数将倾向于匹配良好的小波表示中定义时间和尺度的噪声特性。相比之下，阈值选择是成功的小波去噪最关键的方面之一。阈值化可以将信号与噪声隔离开来。因此，阈值方法有多种形状和大小。在硬阈值处理中，所有低于预定阈值的系数都设置为0。软阈值是一种将剩余系数的值减少一半的方法。
3.4 Empirical mode decomposition (EMD)
经验模态分解是一种适合与处理动态复杂信号的非线性技术。EMD可以将信号自适应分解为一组在非平稳信号中表现出震荡特征的固有模式函数。此外，IMF是解析的、自构造的、定义良好的函数，振幅和频率随时间变化。EMD是完全数据驱动的方法，因为它是基于信号的原始特征。
EMD技术的另一个障碍多通道分解中的模态错位，有学者提出了多元经验模态分解(MEMD)，以更好地对齐多通道信号对应的模态函数。
在基于EMD的方法中，目标识别需要进一步分析IMF。此外，EMD还可以与CCA结合，其中IMF包含几乎所有能量，被选择并输入CCA进行检测。
3.5 Hilbert transform
HT。
3.6 Hilbert-Huang transform
Hilbert-Huang transforms思想，包括EMD和HT。经验模态分解是一种适合与处理动态复杂信号的非线性技术。EMD可以将信号自适应分解为一组在非平稳信号中表现出震荡特征的IMF，满足HT的要求。
考虑到FFT和小波的区别，HHT处理非线性非平稳信号具有更好的通用性。它不仅吸收了小波变换多分辨率的优点，而且克服了小波变换的关键问题，选取合适小波基函数的困难。但HHT算法计算复杂，增加了计算时间。
3.7 空间滤波方法
基本的空间滤波方法：将不同电极采集到的信号组合起来称为空间滤波。空间滤波器的一个优点是将信号预处理和特征选择相结合，减少了计算时间。对于每个参考信号，EMC或MCC可以得到一个空间滤波器，并将其应用于原始脑电图数据。然后估计清洗后的脑电信号在每个刺激频率下所包含的总功率。目标频率应该是使信号功率最大的参考信号频率。
3.8.1 最小能量组合 (MEC)
MEC的核心思想是寻找一个空间滤波器，对原始多通道信号进行投影，得到一个低维的组合滤波器，以减弱噪声和其他信号。
3.8.2 最大对比度组合 (MCC)
MCC方法试图通过计算权矩阵使信号频率中的能量最大化。
3.8.3 生成空间过滤器 (Common spatial pattern, CSP)
生成空间过滤器，使一个类的方差最小化，同时使另一类的方差最大化。多通道脑电信号通过带通滤波进行频率选择。在频率滤波之后，执行FIR滤波器。CSP是二进制运动图像任务分类中最有效的特征提取方法之一。
通用空间模式及其变体在BCI中很流行并被广泛使用，但它没有考虑导致时间信息丢失的信号时间结构。因此，需要考虑时间动态的复杂时间序列建模技术。CSP性能高度依赖信号中的存在的各种特征，如频带、空间滤波器和伪影。在C维空间中有两个分布，其中C是已知信道的数量，CSP试图找到最小化一类方差但最大化另一类方差的投影。
图：CSP运算过程
3.8.3.1 稀疏光谱空间模式 (CSSSP)
稀疏光谱空间模式通过在CSP算法中同时优化任意FIR滤波器来改进CSSP算法。
3.8.3.2 可分离公共空间光谱模式 (SCSSP)
SCSSP联合处理光谱和空间域中的数据，并且计算成本比FBCSP低，这种方法适用于可穿戴移动BCI系统。
3.8.3.3 FBCSP
FBCSP使用频带的固定分区，这会导致频域中的信息丢失。
第四章 特征提取
BCI系统使用特征提取最小化特征空间中的维数和减少分类器计算负荷。BCI系统的脑电信号通常有以下特征，信号幅度、频带功率、功率谱密度值、自适应自回归参数、相位相干性、公共空间模式等。
特征提取是指通过领域知识从输入信号中提取可区分特征的过程。传统的特征是从时域、频域和时频域中提取的。特征提取高度依赖领域知识。它们可以丰富用于区分信号的相关信息。特征提取包括减少大量数据所需的资源数量。在对不同数据进行分析时，首要问题之一来自所考虑因素的数量。通常用更大的范围对信号进行分析，这种分析需要大量的内存和计算能力。
特征提取包含幅度测量、频带功率、Hjorth参数、小波变换、傅里叶变换、自回归模型、公共空间模式等方法。
特征提取的一般统计特征如下：
where x(n) is the pre-processed EEG signal with N number of samples; µn refers to the meaning of the samples. Statistical features are useful at low computational cost.
相位滞后指数(PIL)：通过计算两队通道的PIL来确定功能连通性。PIL用于测量两个信号之间相位差分布的不对称性。由于它描述了信号之间的实际相互作用，该指数可能有助于估计EEG时间序列中的相位同步。PIL的优点在于受相位延迟的影响较小，量化了两个信号的时间序列之间的非零相位滞后，使其不易受到信号的影响。
4.1典型相关分析(Canonical correlation analysis, CCA)
典型相关分析(Canonical correlation analysis, CCA)发现两组数据之间的关系。可作为基于SSVEP的特征提取方法。CCA试图找到一对多通道信号和人工参考信号的线性组合。它们在每个刺激频率上具有最大的相关性。然后确定与最大系数相关的频率为目标。CCA变换使提取的多维特征之间互信息最大化，但无法处理真实信号中存在的非线性关系。CCA在应用上不断优化和发展，与其他方法结合，开发了大量子类算法。
4.1.1 多路典型相关分析(multiway canonical correlation analysis, MwayCCA)
多路典型相关分析通过最大化三阶EEG张量与预先构造的正弦参考信号矩阵之间的相关性来优化参考信号。然后，在测试脑电图数据与优化后的参考信号之间应用多元线性回归或CCA来识别目标频率。多路典型相关分析及其变体增加了参考信号的优化过程，使参考信号更丰富了脑电信号的真实信息，从而提高了标准CCA的性能。唯一的缺点是增加了计算时间。
4.1.2 相位约束典型相关分析(phase constrained canonical correlation analysis, PCCA)
除振幅信息外，SSVEP相位对提高目标频率检测精度也很重要，用于增加视觉刺激次数。L对于特定的主体是固定的。但对于所有的刺激频率是未知的。L被定义为基本分量与最近的先验刺激之间的相位滞后，它可以使用SSVEP相位估计。然后利用脑电训练数据计算出相位，利用估计相位的结果进行穷举搜索求解L。PCCA从相位角度优化参考信号，能够在相同频率下区分不同相位的SVEP响应，从而增加了视觉刺激编码的多样性。与普通CCA相比，PCCA更具有普适性和综合性。
4.1.3 多数据集典型相关分析(multiset canonical correlation analysis, MsetCCA)
多数据集典型相关分析与预定义信号相比，脑电图信号共享的特征可能更真实自然。对于某一特定主体，在某一刺激频率下的一组试验中所包含的一些共同特征，可以用来构建最优参考信号，以达到更高的检测精度。具体来说，多数据集典型相关分析从多组随机变量中学习多个线性变换，使规范变量之间的整体相关性最大化。通过多组脑电数据集的联合空间滤波，多数据集典型相关分析可以确定最有参考信号。
4.1.4 滤波器组典型相关分析(FBCCA)
结合基频和谐波频率分量提出了一种新方法，称为滤波器组典型相关分析。滤波器组典型相关分析包括三个步骤：首先，利用多个不同通带的滤波器对脑电信号进行子带分解；然后，利用CCA计算所有刺激频率下正弦波相关的子带分量与构造的参考信号之间的相关性；最后，将所有子带分量的相关系数的加权平方和组合起来作为最终的频率识别特征。
4.1.5 基于个体模板典型相关分析(individual template based CCA, IT-CCA)
通过检测脑电图数据的时间特征来优化正弦波参考信号。基于个体模板典型相关分析计算测试数据和通过多次训练试验平均获得的单个模板信号之间的典型相关性。利用三个权向量作为空间滤波器来增强目标检测，分别是测试数据和单个模板之间的空间滤波器、测试数据与预构造参考信号之间的空间滤波器、单个模板与预构造参考信号之间的空间滤波器。然后通过上述空间滤波器得到4个相关向量作为识别特征，利用集成分类器将四个向量组合成加权相关系数作为最终特征。
4.1.6 核典型相关分析(kernel CCA, KCCA)
基于KCCA的空闲状态检测方法，为提取多维脑电信号的非线性特征提供了一种切实可行的方法。但是，KCCA方法具有两个局限性。其一，它的表示受到固定和的限制。其二，它的训练时间随着训练数据集的大小而变化。
4.1.7 相关成分典型相关分析(CORRCA)
相关成分典型相关分析基于最大化两个多通道信号的线性分量，计算两个多通道信号的相同空间滤波器。引入了CORRCA，通过对SSVEP的BCI系统的单个训练数据进行多次试验来学习空间滤波器，这是减少EEG背景信号的潜在技术。与CCA相比，CORRCA减少了参数数量，提高了识别精度。为了进一步提高性能，两级CORRCA被引入了集成空间滤波策略。
4.1.8 任务相关典型相关分析(TRCA)
任务相关典型相关分析比其他任务相关方法有更好的性能。因为它最大限度地提高了整个试验中锁定时间的活动的再现性。基于TRCA的分析引入到EEG研究中，尤其是基于SSVEP的BCI系统，该系统通过消除背景噪声成功地提高了EEG的信噪比，并在通信和控制的不同应用中显示出巨大的潜力。基于TRCA的技术很有可能获得更高的EEG信噪比。
4.2 Principal component analysis (PCA)
4.3 Independent component analysis (ICA)
独立分量分析的基本数学原理是区分源的次高斯和超高斯分布，以减少数据投影之间的互信息或最大化它们的联合熵。
4.4 Auto regressive (AR)
对于脑电图分析，经常使用自回归模型。自回归模型的中心前提是，可以使用自回归过程近似真实EEG。在此前提下，设定近似自回归模型的阶数和参数，以尽可能精确地适应观测到的EEG信号。如果模型阶数太低，AR会产生平滑的频谱。而如果模型阶数太高，AR会产生虚假峰值。AR还可以减少泄露并提高频率分辨率，但在谱估计中选择模型阶数比较困难。AR系数使用Burg技术进行估计，阶数使用Akaike准则确定。通过前向后向方法估计AR系数。估计的系数被用作特征，这些特征是根据AR阶数、记录的时间长度和选择的信道决定的。
4.5 Wavelet packet decomposition (WPD)
WPD是一种时频域特征分析技术。在小波包分解中，信号被投影到一组相互正交的小波基函数所跨越的空间上，并被分解为高频和低频部分。
4.6 Wavelet transform
小波变换是另一种流行的时频域分析方案。在小波变换中，函数是通过移动或缩放一个称为母小波的函数来获得。在小波变换的应用中，信号被分解成不同的频率范围，这些频率范围被进一步划分为细节和近似级别。在初始水平，EEG信号被转换为长度为原始信号一般的低频和高频分量。
4.7 遗传算法
4.8 滤波组滤波算法
4.9 稀疏光谱时间分解 (SSD)
4.10 黎曼几何
黎曼几何和公共特征方法进行脑电特征提取，并使用粒子群(PSO)方案将不相关特征替换为相邻特征的平均值。这是一种空间滤波技术，通常用于基于EEG和ECoG的BCI系统，以提取分类相关特征。
4.11 公共空间特征 (CSP)
参照3.8.3
4.12 Kolmogorov复杂性算法
4.13 Empirical mode decomposition (EMD)
参考3.4
4.14 功率谱密度 (PSD)
4.15 Hjorth参数方法
Bo Hjorth于1970年引入了Hjorth参数。Hjorth特征在实时分析方面具有优势，因为它具有较低的计算成本。然而，它在信号参数计算上存在偏差。
4.16贝叶斯方法
可以通过贝叶斯方法提取脑电信号特征。
第五章 特征分类
特征分类是指使用特定分类方法将特征信号划分类别并将其转换为外部设备名利的过程。特征分类高度依赖于特定领域的人类专业知识。分类方法主要分为线性分类器、非线性贝叶斯分类器、神经网络、最近邻分类器以及这些分类器的任意组合。
大多数现有的机器学习研究都集中在静态数据上，不能准确分了变化速度极快的电脑信号。
深度学习的发展改变了机器学习在许多领域的发展，它提供了通用且灵活的模型，可以使用原始数据直接学习特征，并以高度且适应性强的方式捕获数据的特征，已用于不同的任务。
5.1 支持向量机
5.2 深度学习
与传统的机器学习算法不同，深度学习可以从原始大脑信号中学习不同层次的特征，无需进行理论假设，并且其准确性与数据集的数量有比较密切的关系。相较于传统方法，深度学习可以实现实时分类的功能，且准确度不低。深度学习直接作用与原始大脑信号，从而避免了耗时的预处理和特征提取过程。而深度学习可以通过深层结构捕获具有代表性的高级特征和潜在的依赖性。最后，在脑电处理中使用深度学习的最重要动机是自动特征学习。
5.2.1 有监督学习
有监督学习需要昂贵且耗时的手动标注来收集丰富的类别标签。
2018年，Heilmeyer等人提出了五层的EEGNet模型，在High-Gamma Dataset、KUKA Pouring Observation、Robot-Grasping Observation、Error-Related Negativity、Semantic Categories和Real vs. Pseudo Words五个数据集上均能完成分类任务[1]。
Jzau-sheng Lin等人计算MI-EEG信号的平均功率谱，并确定有效时间段，然后，将离散小波变换应用与MI-EEG的每个通道，以提取有效的时频域特征。最后，使用LSTM和GRNN作为分类器来识别MI-EEG信号[2]。
Kuhner等人通过混合深度卷积神经网络将基于引用表达式的EEG-BCI采集的脑电信号转化为命令，控制机器人导航和完成操作等多个高级命令。该系统可以实时地完成机器人控制任务[3]。
Chiarelli等人将运动想象的fNIRS和EEG信号结合起来，使用深度卷积神经网路对信号进行分类，并使用LDA和SVM作为对比算法。该算法所使用的的模型较为简单，分类效果比机器学习算法好[4]。
Ko等人使用大型拉普拉斯变换对运动想象EEG信号进行预处理，然后通过RSTNN对信号进行提取和分类[5]。
Abbas等人使用CSP和快速傅里叶变换能量图对运动想象EEG信号进行特征计算和选择，而卷积神经网路作为特征的分类器，输出分别为右手、左手、脚和舌头四个分类[6]。
2019年，Nagabushan等人使用Deep4Net和EEGNet与机器学习比较，在EEG和iEEG两类数据上进行试验，实验结果表明，基于深度学习的方法的平均表现优于经典的机器学习技术[7]。
Xuebin Tang等人通过训练TSCNN来提取运动想象EEG信号的特征，然后将这些特征应用到SAE网络中进行分类。该组合网络在BCI competition数据集上表现最优[8]。
Dargazany等人将EEG、MoCap和fNIRS原始数据结合起来，使用端到端的神经网络进行分类，不需要经过任何的预处理和特征提取过程[9]。
Zgallai等人从Emotive EPOC和头戴式采集设备获得14个电极的脑电图数据，使用卷积神经网络用于识别脑电信号，识别为左、右、前和停四个分类，用于控制脑电接口电动轮椅中[10]。
Tanveer等人使用深度学习模型将fNIRS信号识别为睡意/警报状态，使用卷积神经网络检测fNIRS信号的每个通道的强度，以检测疲劳情况[11]。
Fahimi等人构建端到端的卷积神经网络，通过跨项目的迁移学习，可以有效地从原始EEG信号数据中提取特征，增强了对EEG信号中注意力心里状态的检测[12]。
Kundu等人提出使用基于迁移学习的MsCNN框架，用于有限训练数据集下基于P300的字符识别。该框架不仅能够提取多分辨率深度特征，还能够容忍脑电信号中幅度和延迟的变化[13]。
Saadati等人研究了深度学习在运动想象和心理负荷任务的混合EEG-fNIRS记录分类中的性能，多模态分类精度比单模态信号高[14]。
Xuyang Zhu等人提出一种基于迁移项目学习的分离通道卷积神经网络，利用CSP空间中信道之间的形变信息和各种响应机制作为输入信号，将MI-EEG信号进行分类[15]。
Saha等人提出深层深度神经网络结构，由并行的卷积神经网络和自动编码器构成，用于从想象的语音EEG数据中预测语音类别，然后使用预测结果来帮助识别语音标记的想象语音[16]。
Bitrate等人将深度学习与EEG2Code方法相结合，从VEP响应预测任意刺激模式，该系统具有1237bit/s的信息传输速率[17]。
2020年，Zhongke Gao等人获取多类别SSVEP-EEG和SSMVEP-EEG脑电信号图，对EEG信号进行FFT以获得频率序列，然后使用LPVG和相应的度序列来提取与频率相关的特征，最后将其输入BLS，分别对信号特征进行分类[18]。
Francisco等人使用低成本和低侵入性头带采集左右手运动想象信号，使用卷积层和LSTM层构建的深度学习模型对信号进行分类[19]。
Kalaganis等人利用脑电图信号的时空特征，结合传感器阵列的拓扑排序和连续信号样本之间的时间连续性构造一个稀疏二元图，将此图与图EMD集合使用进行数据扩充，使用图卷积神经网络预测驾驶员的响应[20]。
Jun Yang等人使用公共平均参考和滤波作为MI-EEG信号的预处理，然后将特征信号作为卷积网络的输入，获得的信号融合后使用SAE网络进行分类[21]。
Feng Li等人在简单滤波后，使用CWT方法映射MI-EEG信号，将特征信号调整之后输入到SCNN中，提取信号特征并对其进行分类，与一般分类网络不通的是不采用池化层[22]。
Fadel等人提出了棋盘运动图像EEG信号到图像的转换方法，并使用卷积层和LSTM层构成的深度学习模型将棋盘运动图像分为五个分类[23]。
Mansoor等人证实了基于CNN的架构对中风患者运动想象脑电图数据进行分类的有效性。而且，采用迁移学习比采用MEMD方法的效果更好[24]。
Kachhia等人使用DNN提取EEG-BCI信号的特征，然后使用LSTM作为分类器，获取三个基本图形(球体，圆柱体和长方体)和基本参数，保存到STL文件中。通过三维打印的工作流，将相关文件生成三维图形[25]。
Tortora等人为了解码步态阶段，记录了EEG、EMG和脚踏开关数据，使用切比雪夫滤波器通过高通滤波和低通滤波消除噪声和伪影，提取特征数据。使用自适应ICA将EEG信号计算分解矩阵，返回ICA权重，将滤波后的数据投影到IC域中。将预处理的EEG信号输入到LSTM网络中处理。处理方法有两种方案，双腿同时预测和双腿分别预测步态。同时预测步态的方法比双腿分别预测步态的表现更好[26]。
Anwar等人用三次网格插值将22个电极读数构成长宽为50像素的地形图，使用二维AlexNet对运动想象任务进行分类。该方法将EEG信号的空间和时间维度联系起来，且相较于同一数据集的最佳研究的准确度高[27]。
Rashid等人对二分类运动想象ECoG数据进行分类，使用LSTM网络对原始ECoG数据（一维数据）训练，由混合矩阵、分类准确性、敏感性和特异性进行评估。证实了深度学习有处理非平稳ECoG和EEG信号的能力[28]。
Penchina等人使用卷积神经网络、EEGNet、LSTM等网络对ASD和普通青少年记录的EEG进行分类，在应激诱导期、静息期、引导呼吸期和非引导呼吸期执行分类任务[29]。
Cooney等人评估了三种不同的EEG解码CNN架构在想象语音EEG上的性能，想象的单词和元音分别用来训练CNN以及基准SVM、RdF和rLDA分类器，使用嵌套交叉验证方法对每个分类器进行超参数优化，并对不同超参数优化的方法进行统计和评估[30]。
Ghazani等人应用图理论构建深度学习模型，使用DeepCSP损失函数作为提取运动想象EEG信号的特征，再使用一般的全连接网络对信号进行分类[31]。
Janani等人将一维fNIRS信号通过谱图法和采样点表示方法生成二维特征图，再使用CNN分类四个运动图像任务。结果表明谱图法可以改进CNN的分类性能[32]。
Cortez等人提出了一种基于DBN的P300单次试验分类器。DBN的贪婪分层训练只需要较少的输入，其缺点在于训练需要大量的计算能力[33]。
2021年，Cooney等人提出解码双模型神经网络，并使用EEG-fNIRS与单模态EEG和单模态fNIRS方法进行比较。该实验旨在检验三种刺激类型和语音的两种语言特性（显性、想象）对解码精度的影响[34]。
图：64通道EEG蒙太奇使用国际10-5系统进行配置，旨在覆盖所有头皮区域，同时也允许放置fNIRS视电极。接地电极位于AFz处，参比电极连接至右耳垂。fNIRS视电极位于中央运动区的双半球上。接收器光电二极管（橙色）分别位于C3和C4，每个光电二极管位于四个相关发射器光电二极管（绿色）的中心。T传输光电二极管精确定位在距离接收器30 mm处。每个发射器光电二极管由两个通道组成，分别传输波长为760nm和850nm的光
Stieger等人证明了基于深度学习的分类和高密度脑电是提高脑机接口效率的重要工具。除了标准感觉运动节律外，还发现了脑机接口生物标记物的新组合，如枕骨特征和额叶伽马功率，表明EEG信号可能还包含了其他有价值的信息[35]。
Lin等人设计了一种双向卷积神经网络，使用一维卷积层从EEG功能连通性学习特征，使用二维结构从EEG功能谱（三维，分别代表EEG信号通道、EEG数据的时间戳和EEG数据频率）学习特征，从而预测中风患者的恢复率。实验证明，运动状态脑电图信号在预测中风后患者上肢运动恢复方面比静息状态信号更可靠[36]。
Lee等人提出了基于瞬时频率和谱熵的迁移神经网络框架，用于使用EEG对想象语音完成多分类任务[37]。
Naebi等人介绍了BGA算法，以减少脑信号中的特征维数。该算法在一般函数上的性能优于遗传算法和粒子群算法。当将特定滤波器组上的维数减少到100个特征时，与其他算法相比，该算法性能更好[38]。
Vinoj等人开发了深度学习大脑系统，识别中风患者上肢运动的意图，通过周期性映射EEG模式实现减少精神疲劳和持续控制[39]。
Wonjun等人提出一种深度多尺度神经网络，该网络可以学习多尺度脑电信号特征。作者在不同EEG范式、MI、SSVEP、癫痫和昏睡EEG信号的有效性[40]。
Villamizar等人开发并测试了CNNeeg网络，用于使用两个不同的数据库进行EEG想象元音信号识别，在想象元音信号方面优于浅层CNN和EEGNet[41]。
5.2.2 无监督学习
无监督学习不需要标签。
自监督学些是无监督学习的一个子类。它利用无监督域自适应学习将脑电信号的分布和目标信号的分布与线性变换对齐。
第六章 应用
脑电接口技术在脑部交流、安全系统、情感计算、驾驶员疲劳检测、心理负荷测量、绘画、智能家居控制、注意力训练游戏、中风康复、测谎，并且可以替代常见的控制设备。脑电接口分为两大类，分别是生物应用和非生物应用。生物应用是指脑电接口技术用作中枢神经系统替代品、评估和诊断病情、治疗和康复三个方面。而非生物应用则是游戏、工业、艺术应用、交通和军事。生物应用和非生物应用关系密切，互相渗透。
6.1 生物应用
生物应用在医疗保健中有着巨大的潜力，在疾病的预防、早起诊断和治疗等各个方面都非常重要。
6.1.1 中枢神经系统替代品
中枢神经系统CNS替代品：这些替代物意味着它可以修复或替代因中风或创伤导致的瘫痪和脊髓损伤等疾病导致的中枢神经系统功能丧失，例如脑电拼写器、脑控轮椅、脑控机械肢等应用。
专门研究运动神经假肢的BCI意味着重建瘫痪个体的发育，或者是提供支持他们的设备。
2018年，Jzau-sheng Lin等人使用DB小波变换提取信息，并使用LSTM和GRNN分类信号，在训练好神经网络后，将以上BCI系统嵌入到电动轮椅中[2]。
Zgallai等人从Emotive EPOC和头戴式采集设备获得14个电极的脑电图数据，使用卷积神经网络用于识别脑电信号，识别为左、右、前和停四个分类，用于控制脑电接口电动轮椅中[10]。
Tortora等人为了解码步态阶段，记录了EEG、EMG和脚踏开关数据，使用切比雪夫滤波器通过高通滤波和低通滤波消除噪声和伪影，提取特征数据。使用自适应ICA将EEG信号计算分解矩阵，返回ICA权重，将滤波后的数据投影到IC域中。将预处理的EEG信号输入到LSTM网络中处理。处理方法有两种方案，双腿同时预测和双腿分别预测步态。同时预测步态的方法比双腿分别预测步态的表现更好[26]。
图：显示耳机、微控制器和轮椅的系统示意图
Kundu等人提出使用基于迁移学习的MsCNN框架，用于有限训练数据集下基于P300的字符识别。该框架不仅能够提取多分辨率深度特征，还能够容忍脑电信号中幅度和延迟的变化[13]。
Saha等人提出深层深度神经网络结构，由并行的卷积神经网络和自动编码器构成，用于从想象的语音EEG数据中预测语音类别，然后使用预测结果来帮助识别语音标记的想象语音[16]。
2020年，Cooney等人评估了三种不同的EEG解码CNN架构在想象语音EEG上的性能，想象的单词和元音分别用来训练CNN以及基准SVM、RdF和rLDA分类器，使用嵌套交叉验证方法对每个分类器进行超参数优化，并对不同超参数优化的方法进行统计和评估[30]。
2021年，Cooney等人提出解码双模型神经网络，并使用EEG-fNIRS与单模态EEG和单模态fNIRS方法进行比较。该实验旨在检验三种刺激类型和语音的两种语言特性对解码精度的影响[34]。
Lee等人提出了基于瞬时频率和谱熵的迁移神经网络框架，用于使用EEG对想象语音完成多分类任务[37]。
Vinoj等人开发了深度学习大脑系统，识别中风患者上肢运动的意图，通过周期性映射EEG模式实现减少精神疲劳和持续控制[39]。
Villamizar等人开发并测试了CNNeeg网络，用于使用两个不同的数据库进行EEG想象元音信号识别，在想象元音信号方面优于浅层CNN和EEGNet[41]。
6.1.2 评估与诊断
评估和诊断：各种各样的诊断方法，如检测脑肿瘤、识别乳腺癌、帕金森病等。可以诊断儿童的几种疾病，包括癫痫、神经退行性疾病、运动障碍、注意力不集中或不同类型的ADHD。
早期检测BCI技术有助于预测和识别病理状态的异常大脑结构和功能，例如占位性病变、异常神经元放电和与睡眠相关的障碍。
2021年，Lin等人设计了一种双向卷积神经网络，使用一维卷积层从EEG功能连通性学习特征，使用二维结构从EEG功能谱（三维，分别代表EEG信号通道、EEG数据的时间戳和EEG数据频率）学习特征，从而预测中风患者的恢复率。实验证明，运动状态脑电图信号在预测中风后患者上肢运动恢复方面比静息状态信号更可靠[36]。
EEG功率谱是一个三维矩阵，其中三维分别表示EEG信号的通道、EEG数据的时间戳（以500Hz进行3秒EEG采样）和EEG数据频率（4-30Hz，间隔0.5Hz）。
6.1.2.1 精神疾病和认知
以精神状态为导向的脑机接口，不同种类的精神行为触发大脑皮层的不同部分，并激发不同的脑电信号。
使用BCI捕捉脑电图特征作为诊断精神分裂症的工具。利用BCI和虚拟现实产生有用的反应信息以保持在某些大脑状态，从而帮助患者提高他们的认知技能。空间能力，即理解、推理和记忆物体或空间之间关系的能力。在使用轻型脑电图设备进行脑电图空间活动时，参与者的速度、记忆力、注意力、灵活性和解决问题的能力都有显著提高。
神经反馈BCI治疗被认为是调节大脑活动、认知和行为的有效方法。
BCI探索自闭症和其他疾病中额叶、颞叶、中央叶、顶叶和枕叶之间的连通性以及随访以证明BCI训练对患有ASD影响他们的社交、情感和认知功能。
Fahimi等人构建端到端的卷积神经网络，通过跨项目的迁移学习，可以有效地从原始EEG信号数据中提取特征，增强了对EEG信号中注意力心里状态的检测[12]。
2020年，Penchina等人使用卷积神经网络、EEGNet、LSTM等网络对ASD和普通青少年记录的EEG进行分类，在应激诱导期、静息期、引导呼吸期和非引导呼吸期执行分类任务[29]。
图：焦虑分类实验设计
6.1.2.2 睡眠状态
睡眠脑电图。睡眠质量对于诊断睡眠障碍和培养健康习惯具有重要意义。睡眠脑电图主要用于识别睡眠阶段。在Rechtschaffen和Kales(R&K)规则中，睡眠状态包括清醒、非快速眼动1、非快速眼动2、非快速眼动3、非快速眼动4和快速眼动。然而非快速眼动3和非快速眼动4之间没有明显的区别。因此，它们被称作慢波睡眠(SWS)。
6.1.2.3 情感计算Affective Computing
情绪脑电图。一个人的情绪可以从三个方面来评价：效价、唤醒和支配。每个方面都可以用1~9之间的整数进行评分，也可以分为正面和负面。这三个方面的结合形成了我们熟悉的情绪，如恐惧、悲伤、愤怒等。受试者的脑电信号可用于预测情感状态。情绪受许多主观和环境因素的影响，如性别、疲劳等。大多数情感识别工作将用户的情绪识别为积极，中性和消极。
情绪可以根据几个维度来定义。情感的维度模型试图通过定义人类情感在两个或三个维度中的位置来概念化人类情感。最广泛使用的circumplex模型表明情绪分布在两个维度：效价和唤醒。唤醒是指情绪刺激的强度或情绪的强度。效价是指体验情绪的人内部的关系。
在情绪检测中，问题与主题引发的情绪与事件引发的情绪、实验室设计与现实世界、表达与感觉、开放记录与隐藏记录以及情感目的与其他目的有关。
在情感计算BCIs中观察用户的情绪和心理状态，并有可能改变他们周围的环境来改善或改变这种情绪。
6.1.3 治疗与康复
治疗或康复：中风是一种导致人体长期残疾的疾病，由于血液流动受阻，阻碍了各种运动或剧烈活动。其他一些应用治疗神经系统疾病，如帕金森病（PD）、丛集性头痛、耳鸣等。
康复治疗神经功能障碍后护理的一个重要方面是恢复受损的运动功能或沟通能力。通过康复提高生活质量，对于因神经损伤而出现运动、通信和控制问题的患者，使用BCI技术可以加强神经康复。
BCI机器人系统在康复中的策略是通过神经或生理信号识别患者移动或执行任务的意图，然后使用机器人设备以模仿治疗师在标准治疗过程中的动作方式提供辅助力。
6.1.3.1 运动想象
运动想象是利用运动表象条件将运动者的运动意图转换为控制信号的过程。运动想象脑电图广泛使用频带功率特性。大多数用于运动想象脑电接口中的特征提取技术是短期傅里叶变换、自回归模型、小波变换和通用空间模式。
运动想象脑电接口最具挑战性的主题之一是寻找和分析记录的大脑活动与人体、生物力学和认知处理的基础模型之间的关系。
位于运动皮层上的 EEG 信号的低频分量（<2 Hz）携带运动学信息。他们发现离散的想象运动编码在运动相关皮层电位（MRCP）中。
想象身体运动学(IBK)是一种运动想象范式，起源于侵入性BCI技术。非侵入性工作已经注意到，这种范式的信息是从低频SMR信号(小于2Hz)中提取的。IBK范式对于非侵入式脑电信号是新颖的。由于脑电信号解码不佳，应用数量有限。
运动想象不仅关注EEG信号的能量属性，还需要关注时间数据。对于运动想象，特征提取方法可分为以下7类：
(1)利用EEG信号嵌入时间信息的时域方法；
(2)谱方法提取嵌入脑电信号频域的信息；
(3)时频域方法在时域和频域的信息上协同工作；
(4)空间方法从多电极信号中提取空间信息；
(5)时空方法结合时空信息提取特征；
(6)空间谱方法利用多变量脑电信号的空间和光谱信息进行特征提取；
(7)黎曼流形方法，本质上是时空方法的一个子类
2018年，Jzau-sheng Lin等人计算MI-EEG信号的平均功率谱，并确定有效时间段，然后，将离散小波变换应用与MI-EEG的每个通道，以提取有效的时频域特征。最后，使用LSTM和GRNN作为分类器来识别MI-EEG信号[2]。
Chiarelli等人将运动想象的fNIRS和EEG信号结合起来，使用深度卷积神经网路对信号进行分类，并使用LDA和SVM作为对比算法。该算法所使用的的模型较为简单，分类效果比机器学习算法好[4]。
Ko等人使用大型拉普拉斯变换对运动想象EEG信号进行预处理，然后通过RSTNN对信号进行提取和分类[5]。
Abbas等人使用CSP和快速傅里叶变换能量图对运动想象EEG信号进行特征计算和选择，而卷积神经网路作为特征的分类器，输出分别为右手、左手、脚和舌头四个分类[6]。
2019年，Xuebin Tang等人通过训练TSCNN来提取运动想象EEG信号的特征，然后将这些特征应用到SAE网络中进行分类。该组合网络在BCI competition数据集上表现最优[8]。
Xuyang Zhu等人提出一种基于迁移项目学习的分离通道卷积神经网络，利用CSP空间中信道之间的形变信息和各种响应机制作为输入信号，将MI-EEG信号进行分类[15]。
2020年，Francisco等人使用低成本和低侵入性头带采集左右手运动想象信号，使用卷积层和LSTM层构建的深度学习模型对信号进行分类[19]。
Jun Yang等人使用公共平均参考和滤波作为MI-EEG信号的预处理，然后将特征信号作为卷积网络的输入，获得的信号融合后使用SAE网络进行分类[21]。
Feng Li等人在简单滤波后，使用CWT方法映射MI-EEG信号，将特征信号调整之后输入到SCNN中，提取信号特征并对其进行分类，与一般分类网络不通的是不采用池化层[22]。
Fadel等人提出了棋盘运动图像EEG信号到图像的转换方法，并使用卷积层和LSTM层构成的深度学习模型将棋盘运动图像分为五个分类[23]。
Mansoor等人证实了基于CNN的架构对中风患者运动想象脑电图数据进行分类的有效性。而且，采用迁移学习比采用MEMD方法的效果更好[24]。
Anwar等人用三次网格插值将22个电极读数构成长宽为50像素的地形图，使用二维AlexNet对运动想象任务进行分类。该方法将EEG信号的空间和时间维度联系起来，且相较于同一数据集的最佳研究的准确度高[27]。
Rashid等人对二分类运动想象ECoG数据进行分类，使用LSTM网络对原始ECoG数据（一维数据）训练，由混合矩阵、分类准确性、敏感性和特异性进行评估。证实了深度学习有处理非平稳ECoG和EEG信号的能力[28]。
Ghazani等人应用图理论构建深度学习模型，使用DeepCSP损失函数作为提取运动想象EEG信号的特征，再使用一般的全连接网络对信号进行分类[31]。
图：应用图理论和DeepCSP损失函数构造的深度学习网络
Janani等人将一维fNIRS信号通过谱图法和采样点表示方法生成二维特征图，再使用CNN分类四个运动图像任务。结果表明谱图法可以改进CNN的分类性能[32]。
6.1.3.2 运动感觉节律(sensorimotor rhythms, SMR)
感觉运动节律是指把被试脑电中的12Hz~15Hz的正弦节律反馈给其本人的方法。由于脑电信号发生在大脑皮层的感觉运动区，称为运动感觉节律。
SMR范例的主要缺点是2D和3D光标控制的训练时间可能需要数周或数月。该系统的训练要求受试者学习如何调节神经活动的特定频带以在不同方向上移动光标以选择所需的目标。SMR范式一直是四肢瘫痪、脊髓损伤和肌萎侧索硬化(ALS)患者最有希望使用的范式之一。
运动感觉节律缺乏直接提取运动学参数的能力。尽管该技术可以区分对应于大脑身体部位的运动活动，但解码的运动信息不包含运动学参数的大小和方向。
2021年，Stieger等人证明了基于深度学习的分类和高密度脑电是提高脑机接口效率的重要工具。除了标准感觉运动节律外，还发现了脑机接口生物标记物的新组合，如枕骨特征和额叶伽马功率，表明EEG信号可能还包含了其他有价值的信息[35]。
6.2 非生物应用
研究人员将重点放在医疗和军事应用的稳健性和高效性上，而针对休闲或生活方式的创新要求更加重视享受和社会因素。此娱乐应用程序最具挑战性的方面是，它必须是用户的最爱，才能在商业上取得成功。
6.2.1 游戏
在某些情况下，EEG数据使BCI游戏更具实用性并增加参与度，系统跟踪每个玩家的热情水平，并在玩家的兴奋度下降时激活动态难度调整（DDA）。
基于EEG的渐进式 训练游戏，可以训练用户提高注意力。多动症儿童在游戏中必须控制的角色，以与孩子注意力水平相当的速度移动，因此他们需要将全部注意力放在游戏上，以便在给定的时间内完成。这种形式的注意力训练降低了儿童的ADHD症状。
BCI/EEG最适合产生交互式的计算机游戏，因为它具有高时间分辨率、可负担性、便携性、非侵入式访问、安全性以及丰富健全和身体受损用户的体验。
BCI游戏为情感计算和认知方面做出了极大的贡献。
6.2.2 工业
这些技术可以替代用于在工业应用中教授机器人的耗时的按钮和操纵杆系统；可以检测出人员是否太累或生病而无法操作机器；并且可以采取必要的预防措施避免受伤，例如停止机器。
2018年，Kuhner等人通过混合深度卷积神经网络将基于引用表达式的EEG-BCI采集的脑电信号转化为命令，控制机器人导航和完成操作等多个高级命令。该系统可以实时地完成机器人控制任务[3]。
Kachhia等人使用DNN提取EEG-BCI信号的特征，然后使用LSTM作为分类器，获取三个基本图形(球体，圆柱体和长方体)和基本参数，保存到STL文件中。通过三维打印的工作流，将相关文件生成三维图形[25]。
6.2.3 艺术应用
BCIs认可的四种艺术应用是被动的、选择性的、直接的和协作的。直接艺术BCI为用户提供了更大的灵活性，通常允许他们从广泛的菜单中选择项目，例如画笔类型和管理画笔笔划运动。
在创造力方面，神经反馈训练确实在音乐、舞蹈和表演以及发散性思维领域的创造力水平方面取得了显著进展。
6.2.4 交通
疲劳检测主要用于交通监控，跟踪意识，以评估驾驶员疲劳程度，并提高驾驶员的绩效。通过持续的脑电图评估操作员的心理工作量水平在人机协作任务环境中，以便在操作员性能下降时发出警报。
心理疲劳是用户和研究人员面临的难题。大多数研究侧重于频率识别的性能，但分类的准确性可能会因操作中出现疲劳症状而受损。疲劳会导致许多严重的问题，如信号质量下降、识别能力退化、甚至出现光敏癫痫发作的风险。
脑机接口通过评估员工的认知状态、工作量和工作时间对精神疲劳的影响来改善工作条件。
Tanveer等人使用深度学习模型将fNIRS信号识别为睡意/警报状态，使用卷积神经网络检测fNIRS信号的每个通道的强度，以检测疲劳情况[11]。
Kalaganis等人利用脑电图信号的时空特征，结合传感器阵列的拓扑排序和连续信号样本之间的时间连续性构造一个稀疏二元图，将此图与图EMD集合使用进行数据扩充，使用图卷积神经网络预测驾驶员的响应[20]。
6.2.5 军事
混合BCI在脑控无人机的应用仅限于一些使用眼动追踪器和面部/头部手势检测器作为系统补充输入模式的研究。
第七章 公开数据集
我们提供了 31 个可重复使用的公共数据集和下载链接，涵盖了大多数 BCI 信号。 BCI 竞赛 IV (BCI-C IV) 包含五个数据集。 我们在第一个数据集上给出访问链接。 为了更好地理解，我们给出了每个数据集的主题数、类数（有多少类别）、采样率和通道数。
第八章 评估指标
评估指标是用于评估脑电信号算法优劣的标准。
8.1 混淆矩阵(confused matrix)
混淆矩阵表示实际类的用户意图输出类和实际预测类之间的关系。真阳性率(TPR)、假阴性率(FNR)、假阳性率(FPR)、阳性预测值(PPV)和阴性预测值(NPV)用于描述敏感性、特异性和精密度等。
8.2 分类准确率和错误率
分类准确性是最常见的评估指标，通常称为错误率。由于具体的严格要求，准确性并不总是有绝对的说服力的。
8.3 信息传输速率(information transfer rate)
Shannon提出了信息传输速率作为信号传输效率的评估指标。ITR表示在一个时间单位内可能通过系统的数据量。
N代表目标信号的数量，p代表分类准确性。
8.4 Cohen’s Kappa Coefficient
科恩卡帕系数衡量两个观察者之间的一致性。它用于测量基于BCI系统的正确输出与BCI域命令之间的契约。科恩卡帕系数解决了许多精度度量的异议。
8.5 用户评估系统
用户评估系统主要包含可用性、感受、是否符合人类工程学和是否影响到生活质量。
8.6 显著图（Saliency map）
显著性图用于可视化模型结果，以便于解释。显著性图的保真度可以通过预后结果中相当高的R2和MSE值来证明。
第九章 未来和展望
9.1 脑机接口技术的局限性
脑电接口技术的挑战和困难分为三类：基于可用性的挑战、技术挑战和伦理挑战。
基于可用性的挑战是指训练时间和疲劳。训练时间影响用户适应系统的功能和使用，影响用户的生活质量和生活水平。而用于收集脑电信号的训练时间，则是大大提高了信号采集的成本。大多数脑电接口技术会导致用户疲劳，因为这项技术需要集中注意力和意识来快速、间歇地输入。如果用户过于疲惫，采集的信号质量过低，导致脑电接口技术无法继续运行下去。
技术挑战包含了非线性、非平稳性、信号传输速率、信号处理、缺乏数据分析方法和评估指标。在不同用户之间，脑电信号呈现非线性、非平稳性的变化。尽管是同一个用户，在不同的环境、不同的时间、不同的情绪、不同的任务、不同的健康情况，也可能导致脑电信号出现非线性、非平稳性的变化。脑电信号的信号传输速率低，信号处理面临巨大的挑战。而且缺乏比较普适的数据分析方法和评估指标，脑电信号的应用以及评估不能提供比较客观的标准。
9.2 脑机接口技术的伦理性
由于人类需要佩戴这些电极，这对他们来说总是有风险的，并且会对人体造成更严重的伤害。BCI还要求在信号采集过程中严格维护人体，因此受试者必须长时间坐在原地。除此之外，用户或参与者必须按照电极的需要行事，这样他们就不能心甘情愿地做任何事情。这一事实可能对人体产生重大影响。
9.3 脑机接口技术的前景
未来的方向是实现与人无关的分类，使测试数据永远不会出现在训练集中。高性能的人独立分类对于 BCI 系统在现实世界中的广泛应用是必要的。
BCI脑-机接口技术应用中的陷阱和挫折吸引了不同领域的研究人员，因为该技术在医疗和非医疗领域都很有用，如前面讨论的智能环境、游戏、安全等。
BCI技术进步分为四个阶段：初级科学发展、临床前实验、临床研究和商业化。目前，大多数脑机接口技术都处于临床前和临床阶段。需要科学研究人员和技术产业的共同努力，才能通过商业化将这一伟大领域的利益带给普通人。
