Decoding Multi-class Motor-related Intentions with User-optimized and Robust BCI System Based on Multimodal Dataset

https://arxiv.org/pdf/2212.07083 2022-12-14

本文标题：解码多类与运动相关的意图的用户优化和鲁棒的基于多模态数据集的BCI系统

作者：Jeong-Hyun Cho, Byoung-Hee Kwon, Byeong-Hoo Lee

所属单位：中国韩国首尔的韩国大学脑与认知工程系

关键词：脑-计算机界面、运动执行、运动想象、手握、脑电图、深度学习

网址：https://arxiv.org/pdf/2212.07083

 

总结： - (1) 本文的研究背景是通过分析脑信号来识别个体意图和状态，并将其应用于各种运动想象。 - (2) 过去的方法使用了不同的脑电波范式来检测用户的意图，并将结果应用于不同的应用程序。然而，使用传统方法进行脑-计算机界面研究存在一些问题，例如信号质量不稳定、训练模型效率不高等。本文的研究动机是通过优化用户数据编辑技术来提高模型的学习效率。 - (3) 本文提出了一种基于脑电图信号来评估握持任务的非侵入性脑-计算机界面方法。通过精确提取用户进行运动意图时的脑电图信号，将这些数据用于训练与特定类别相关联的模型。采用深度学习方法对数据进行分析和分类。 - (4) 本文的方法成功地识别了运动执行和运动想象对应的五个握持任务，并在离线任务中分别达到了70.73%和47.95%的准确率。该方法可应用于未来的应用，如通过BCI控制机器人手。 7. 方法：

(1): 本文采用了一种非侵入性的脑-计算机界面（BCI）方法来评估握持任务。从受试者的脑电图信号中提取相关特征，并将其用于训练与特定类别（握持任务）相关联的模型。

(2): 在数据采集过程中，受试者执行了五个不同的握持任务，并进行了运动执行和运动想象两种情况下的测试。脑电图信号通过放置在受试者头皮上的电极阵列进行采集。

(3): 本文采用深度学习方法对脑电图数据进行分析和分类。将数据输入到卷积神经网络（CNN）模型中，通过多层卷积和池化操作提取特征。然后将特征输入到全连接层进行分类。

(4): 为了提高模型的学习效率，本文采用了用户优化的数据编辑技术。通过分析受试者的脑电图信号，筛选出与握持任务相关的有效时间窗口，并将这些窗口的数据用于训练模型。

(5): 在实验中，本文的方法成功地识别了五个握持任务的运动执行和运动想象阶段，并分别达到了70.73%和47.95%的准确率。

结论：

(1): 这部作品的意义在于探索优化用户数据编辑技术，从而提高脑-计算机界面中模型的学习效率，为实现个体意图和状态的识别以及运动想象应用打下基础。

(2): 创新点：本文采用了深度学习方法对脑电图数据进行分析和分类，并应用于握持任务识别。采用用户优化的数据编辑技术来提高模型的学习效率。

性能表现：在运动执行和运动想象两种情况下，本文的方法成功地识别了五个握持任务，并获得了70.73%和47.95%的准确率。

工作量：本文从数据采集、特征提取、深度学习模型训练等多个环节展开工作，相对而言需要较高的工作量，但通过用户优化的数据编辑技术提高了模型的效率。

Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control

https://arxiv.org/pdf/2212.08122 2022-12-14

1.标题：基于混合范式的大脑-计算机界面用于机器臂控制的论文

2.作者：Byeong-Hoo Lee, Jeong-Hyun Cho, Byoung-Hee Kwon

3.所属单位：基本信息中提到了他们所在的单位为韩国首尔高丽大学的大脑与认知工程系。

4.关键字：brain-computer interface, electroencephalogram, knowledge distillation, deep learning

5.网址：https://arxiv.org/pdf/2212.08122

 

6.总结：

(1)本文的研究背景是实现通过大脑信号来控制机器臂的大脑-计算机界面（BCI）。

(2)过去的方法包括使用心理运动图像（MI）和语音想象（SI）范式来控制外部设备。然而，这些方法存在一些问题，例如分类性能的挑战和不同范式的信号解码的困难。本文的动机是利用混合范式的优势来改进BCI系统的实际应用。

(3)本文提出了一种基于混合范式的BCI系统，使用MI和SI诱导的脑电图（EEG）信号来控制机器臂，并应用知识蒸馏来减少模型参数的计算复杂性。在系统中，教师模型以层次结构的方式解码输入数据，并将知识传递给学生模型。学生模型采用单一的CNN架构。通过实验，证实了使用层次性模型和知识蒸馏可以提高简单架构的分类性能。

(4)本文的方法实现了控制机器臂和进行交流的任务，并取得了令人满意的分类性能。 7. 方法：

(1)：通过组合运动想象（MI）范式和语音想象（SI）范式来控制机器臂，收集MI和SI诱导的脑电图（EEG）信号作为输入。

(2)：设计了一个基于混合范式的大脑-计算机界面（BCI）系统，包括一个教师模型和一个学生模型。教师模型采用层次结构解码输入数据，并将知识传递给学生模型。学生模型采用单一的卷积神经网络（CNN）架构。

(3)：应用知识蒸馏技术来减少模型参数的计算复杂性。知识蒸馏通过在学生模型的训练中引导教师模型的知识，将软标签和蒸馏损失结合到损失函数中。

(4)：进行离线训练和在线训练，使学生模型能够蒸馏教师模型的知识，最终实现对MI和SI诱导的EEG信号的分类。

(5)：通过BCI系统控制机器臂和进行交流的任务，并评估分类性能。

(6)：实验中使用了BCI竞赛2020的数据集，包括MI和SI数据集。实验采用了AdamW优化器和交叉熵损失函数，并在Intel Core i7处理器和NVIDIA TITAN V GPU的环境中进行。

(7)：将本文的方法与其他方法进行比较，评估了所提出模型的分类性能。

(8)：实验结果表明，使用层次结构的模型和知识蒸馏技术可以显著提高简单架构的分类性能，实现了对机器臂的精确控制。

8.结论：

(1)：本文的意义在于提出了一种基于混合范式的大脑-计算机界面（brain-computer interface, BCI）系统，用于通过脑电图信号（electroencephalogram, EEG）控制机器臂。该系统利用知识蒸馏技术减少模型参数的计算复杂性，并通过层次结构解码输入数据以提高分类性能。这项研究的成果对于改进脑-机接口系统的实际应用具有重要意义。

(2)：创新点：本文的创新点在于将运动想象（MI）和语音想象（SI）范式的脑电图信号结合起来，通过混合范式的方式提高BCI系统的分类性能。同时，采用知识蒸馏技术和层次结构的模型设计，有效减少了模型参数的计算复杂性。

性能表现：实验结果显示，本文的方法在离线训练和在线训练中实现了对MI和SI诱导的EEG信号的精确分类，并取得了令人满意的分类性能。

工作量：本文以BCI竞赛2020的数据集为基础，利用了智能硬件设备进行实验，并进行了离线训练和在线训练。实验过程中采用了AdamW优化器和交叉熵损失函数进行模型训练。实验的工作量较大但是得到了可靠的实验结果。

Toward BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach

https://arxiv.org/pdf/2212.08811 2022-12-17

标题：Towards BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach（走向基于BCI的元宇宙：一种联合射频和计算资源分配方法）

作者：Nguyen Quang Hieu, Dinh Thai Hoang, Diep N. Nguyen, and Eryk Dutkiewicz

所属单位：School of Electrical and Data Engineering, University of Technology Sydney, Australia（悉尼科技大学电气与数据工程学院，澳大利亚）

关键词：Metaverse, brain-computer interface, resource allocation, machine learning（元宇宙，脑机接口，资源分配，机器学习）

网址：https://arxiv.org/pdf/2212.08811（论文链接）

 

总结：

(1)：该论文的研究背景是探索基于脑机接口的元宇宙系统，通过收集和分析脑信号来创建更智能的数字化人物角色。

(2)：过去的方法主要是基于虚拟现实和增强现实平台的脑机接口应用研究，但在实现元宇宙系统中仍存在较大研究空缺。传统设置中脑机设备和计算单元之间的有线连接可能在实际应用中存在覆盖范围和移动性问题。

(3)：本文提出一种创新的方法，利用脑机接口技术实现用户与元宇宙系统之间的交互，通过无线信道传输脑信号，从而在基站上创建智能的人物角色。该方法涉及到资源分配和脑信号分类问题，并提出了一种混合学习算法来优化系统资源分配并准确预测用户的脑信号。

(4)：本文的方法实现了系统资源分配和用户脑信号分类两个任务，并且具有高度准确的预测性能。实验结果表明，该方法能够支持系统资源分配以及用户脑信号的分类，并实现对用户的智能推荐，从而为用户驱动的应用创建了可能性。

方法：

(1)：提出了一种基于脑机接口（BCI）的元宇宙系统框架，通过脑信号在上行无线信道上传输，实现用户与元宇宙系统之间的交互。用户通过集成的VR-BCI头戴设备体验元宇宙应用，同时将脑信号通过上行信道发送给基站。基站利用这些脑信号创建智能的人物角色，为用户提供有用的推荐，并且使系统能够创建用户驱动的应用。

(2)：该方法涉及到资源分配和脑信号分类问题。基站需要将其计算和无线资源分配给用户，并且对用户的脑信号进行准确的分类，以便创建智能的数字化人物角色。为了解决这一问题，提出了一种混合训练算法，利用深度强化学习的最新进展来优化系统资源分配并准确预测用户的脑信号。

(3)：该混合训练算法包含三个深度神经网络相互合作，以更好地实现资源分配和脑信号分类问题。该算法通过强化学习优化资源分配策略，并通过脑信号分类网络准确预测用户的脑信号。

(4)：通过实验结果表明，该方法可以同时解决系统资源分配和用户脑信号分类两个任务，并具有高度准确的预测性能。这为用户驱动的应用创建了可能性，并为元宇宙系统的实现提供了一个创新的框架。

结论：

(1): 这部作品的意义在于探索基于脑机接口的元宇宙系统，通过收集和分析脑信号来创建更智能的数字化人物角色。该研究为元宇宙系统的实现提供了一个创新的框架，并为用户驱动的应用创建了可能性。

(2): 创新点：本文提出了一种基于脑机接口的元宇宙系统框架，通过脑信号传输和分析，实现用户与元宇宙系统之间的交互，并创建智能的数字化人物角色。这一创新点为面向未来的元宇宙应用开辟了新的研究方向。

性能表现：作者提出的混合训练算法在资源分配和脑信号分类任务上具有高度准确的预测性能。实验结果表明，该算法能够优化系统资源分配，并能准确预测用户的脑信号，在用户驱动的应用中发挥重要作用。

工作量：本文介绍了一种混合训练算法，其中包含三个深度神经网络的相互合作。作者通过深度强化学习的最新进展来优化系统资源分配，并准确预测用户的脑信号。这需要大量的工作来设计、实现和调优算法以及进行实验验证。

 

参考文献：

【1】Cho J H, Kwon B H, Lee B H. Decoding Multi-class Motor-related Intentions with User-optimized and Robust BCI System Based on Multimodal Dataset[C]//2023 11th International Winter Conference on Brain-Computer Interface (BCI). IEEE, 2023: 1-5.

【2】Lee B H, Cho J H, Kwon B H. Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control[C]//2023 11th International Winter Conference on Brain-Computer Interface (BCI). IEEE, 2023: 1-4.

【3】Hieu N Q, Hoang D T, Nguyen D N, et al. Toward BCI-enabled Metaverse: A Joint Radio and Computing Resource Allocation Approach[J]. arXiv preprint arXiv:2212.08811, 2022.

 

 

创作声明：包含 AI 辅助创作