【脑机接口每日论文速递】2023年7月19日
Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis
https://arxiv.org/pdf/2306.10168
1.标题:超越几何:使用动态相似性分析比较神经回路中计算的时间结构
2.作者:Mitchell Ostrow, Adam Eisen, Leo Kozachkov, Ila Fiete
3.所属单位:Department of Brain and Cognitive Sciences, MIT (麻省理工学院大脑与认知科学系)
4.关键字:neural circuits, temporal structure, computation, dynamical similarity analysis
5.网址:https://arxiv.org/pdf/2306.10168

6.总结:
(1) 本文研究的背景是如何确定两个神经网络是否在进行某个特定计算时利用相同的内部过程。这个问题涉及到神经科学和机器学习的多个子领域,包括神经人工智能、机械解释性和脑机接口。
(2) 过去的方法主要集中在比较神经网络隐藏状态的空间几何结构。然而,在循环网络中,计算是在神经动态的层面上实现的,并且神经动态与几何没有简单的一对一映射关系。因此,本文提出了一种新的相似性度量方法,可以在动态的层面上比较两个系统。该方法结合了数据驱动的动态系统理论的最新进展,通过学习一个能准确捕捉原始非线性动态核心特征的高维线性系统,然后通过Procrustes分析的扩展来比较这些线性近似。该方法的动机是弥合动态和几何之间的差距。
(3) 本文提出的研究方法主要包括两个组成部分:首先,使用数据驱动的动态系统理论的最新进展,学习一个能准确捕捉原始非线性动态核心特征的高维线性系统;然后,通过Procrustes分析的扩展来比较这些线性近似,考虑了向量场在正交变换下的变化。
(4) 通过四个案例研究,本文展示了我们的方法有效地识别和区分循环神经网络(RNNs)中的动态结构,而几何方法则不足以做到这一点。此外,我们还展示了我们的方法可以在无监督的情况下区分学习规则。因此,我们的方法为对神经计算的时间结构进行新颖的数据驱动分析,并更严格地测试RNNs作为大脑模型打开了大门。
7.方法:
(1): 该研究使用数据驱动的动态系统理论的最新进展,通过学习一个能准确捕捉原始非线性动态核心特征的高维线性系统。这里采用了动态模式分解 (Dynamic Mode Decomposition, DMD) 方法。通过将非线性动力学系统嵌入无限维希尔伯特空间中的Koopman算子来线性化非线性系统。
(2): 在DMD的基础上,使用延迟嵌入技术来处理数据,将数据延迟成Hankel矩阵的形式,以更好地捕捉系统的动态结构。
(3): 在得到延迟嵌入的Hankel矩阵后,使用基于降秩回归模型的拟合方法,将数据投影到降秩空间中,并根据模型的预测能力进行模型选择。同时,为了比较两个神经系统的动态结构,使用改进的Procrustes分析算法比较DMD矩阵。
(4): 在比较神经系统的动态结构时,根据DMD矩阵的变化情况,引入了一种新的相似性度量方法,称为Dynamical Similarity Analysis (DSA),该方法通过比较两个神经系统的动态模态矩阵来评估它们之间的相似性。
(5): 为了验证方法的有效性,作者在四个案例研究中应用了该方法,并与传统的几何结构分析方法进行了比较。通过这些案例研究,展示了该方法可以有效地识别和区分神经网络中的动态结构,并且在无监督的情况下可以区分学习规则。
(6): 在实验中,根据具体需求选择了合适的DMD参数,如延迟、降秩等,并使用改进的Procrustes分析算法进行神经网络的动态结构比较。
以上是本文的方法论思想,通过将动态系统嵌入高维线性系统,使用DMD进行动态模态矩阵的计算,延迟嵌入和降秩回归模型的应用,以及改进的Procrustes分析方法的使用,实现了对神经网络的动态结构进行比较和评估。
8.结论:
(1):这篇文章的意义在于提出了一种新的相似性度量方法——动态相似性分析(Dynamical Similarity Analysis,DSA),用于比较神经网络中计算的时间结构。该方法有效地弥补了动态和几何之间的差距,为研究神经计算的时间结构提供了新的数据驱动分析方法。
(2):创新点:本文的创新之处在于将动态系统嵌入高维线性系统,使用数据驱动的动态系统理论以及延迟嵌入和降秩回归模型等方法,实现了对神经网络动态结构的比较和评估。这一方法的创新性体现在将非线性动力学系统线性化,并通过DMD矩阵计算和DSA相似性度量。
性能表现:通过四个案例研究,本文展示了该方法在识别和区分循环神经网络中的动态结构方面的有效性,相较于传统的几何方法具有优势。
工作量:本文提出的方法在计算上相对复杂,需要对DMD参数进行选择,并进行改进的Procrustes分析算法,所需的工作量相对较大。
Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces
https://arxiv.org/pdf/2305.17403
1.标题:Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces(基于深度神经网络的SSVEP大脑-电脑界面的无源域适应)
2.作者:Osman Berke Guney, Deniz Kucukahmetler, Huseyin Ozkan
3.所属单位:Sabanci University(萨班齐大学)
4.关键字:Steady-state visually evoked potential, brain-computer interfaces, deep learning, domain adaptation, speller(稳态视觉诱发电位,大脑-电脑界面,深度学习,域适应,拼写器)
5.网址:https://arxiv.org/pdf/2305.17403 ;Github: None

6.总结:
- (1): 这篇论文的研究背景是怎样在SSVEP大脑-电脑界面中实现无源域适应,以减少新用户的不适感。
- (2): 过去的方法需要进行长时间的校准期,给新用户带来不适感,该方法的动机是消除用户的不适感并提高目标识别性能。
- (3): 本文提出了一种方法,通过最小化自适应损失函数来适应深度神经网络,该函数由自适应和本地一致性损失项组成。
- (4): 该方法在基准数据集和BETA数据集上取得了201.15 bits/min和145.02 bits/min的ITR,优于现有的技术。该方法缓解了用户的不适感,并具有出色的识别性能,有潜力在日常生活中广泛应用于SSVEP大脑-电脑界面系统。
7. 方法:
(1): 提出了一种用于 SSVEP 大脑-电脑界面无源域适应的新的损失函数。
(2): 该方法通过最小化自适应损失函数进行模型适应,并使用期望最大化(EM)框架采集新用户的无标签数据。
(3): 提出的损失函数主要由两个部分组成,即自适应损失(Lsl)和局部正则化损失(Lll)。
(4): 自适应损失利用标签信息最小化交叉熵损失函数,而局部正则化损失利用数据结构来约束模型输出。
(5): 通过权衡自适应损失和局部正则化损失以及 L2 正则化项,使用权重进行组合,构建了总体损失函数(Ltotal)。
(6): 通过对不同权重值进行实验,选择最优的权重值 λ,并使用聚类度量方法(Silhouette)来选择最佳模型参数。
(7): 提出了一个迭代的训练算法,在每次迭代中,更新网络参数并计算聚类评分来判断是否收敛。
(8): 使用提出的方法在基准数据集和 BETA 数据集上进行实验,评估了模型的性能。
8.结论:
(1):本文的意义在于提出了一种无源域适应的方法,用于SSVEP大脑-电脑界面系统,旨在减少新用户的不适感,并提高目标识别性能。
(2):创新点:本文首次提出了一种利用最小化损失函数进行模型适应的方法,通过自适应损失和局部正则化损失来提高SSVEP大脑-电脑界面系统的性能。
性能表现:该方法在基准数据集和BETA数据集上得到了较高的信息传输率(ITR),分别为201.15 bits/min和145.02 bits/min,优于现有方法。
工作量:提出的方法需要进行模型训练和参数优化,需要使用EM框架采集无标签数据。但方法的详细实现和工作量未在文章中详细提及。
Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis
https://arxiv.org/pdf/2301.00488
1.标题:Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis (脑机接口中的信息传输速率:朝向紧密集成的共生)
2.作者:Suayb S. Arslan and Pawan Sinha
3.所属单位:麻省理工学院认知科学与大脑科学系 (Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology)
4.关键词:information transfer rate, SSVEP, BCI, target identification, channel capacity
5.网址:https://arxiv.org/pdf/2301.00488

6.总结:
(1): 本文的研究背景是对脑机接口中的信息传输速率进行细致的研究和定义,以便更贴切地评估和比较不同BCI社区中的目标识别算法。
(2): 过去的方法常常假设输入分布均匀,通道模型简化为无记忆、稳定和对称性质,并使用离散字母表尺寸。然而,这些方法在刻画性能和对未来BCI设计的启发方面存在不足。本文旨在重新定义信息传输速率,将脑和计算机系统之间的紧密共生联系考虑进去。
(3): 本文将视觉通路作为离散无记忆通道,使用修改后的容量表达式重新定义信息传输速率。同时,该文利用有向图的结果来描述转换统计的不对称性与信息传输速率增益之间的关系,从而在数据传输性能上确定潜在的上下界。另外,本文还提出了一种用于找到二元分类容量的算法,并通过集合技术将其扩展到多类情况。
(4): 本文在两个已知的SSVEP数据集上比较了两种切割边缘的目标识别方法。结果表明,由于通道不对称性的影响,产生的DM通道影响了实际感知的信息传输速率,而输入分布的改变相对较小。此外,实验证明,新定义下的信息传输速率增益与通道转换统计不对称性呈负相关关系。个体输入自定义进一步显示出了感知信息传输速率性能的改进。最后,作者还给出了一种用于计算二元分类容量的算法,并讨论了如何通过集成技术将其扩展到多类情况中。通过本文的研究,有望对高动态BCI通道容量、性能阈值和改进BCI刺激设计进行更深入的表征,从而实现人脑和计算机系统之间更紧密的共生,同时确保底层通信资源的高效利用。
7.方法:
(1): 本文采用了一个离散的脑机接口(BCI)通信系统模型,其中输入为一组包含M个符号的集合X = {x1, . . . , xM}。
(2): 本文重新定义了信息传输速率(ITR),考虑了脑和计算机系统之间的紧密共生联系。其中,ITR的计算公式基于离散无记忆通道的容量表达式。通道转换矩阵P被用来描述通道的转换统计。
(3): 本文通过引入有向图的概念,描述了转换统计的不对称性与信息传输速率增益之间的关系,并确定了数据传输性能的上下界。此外,本文还提出了一种用于计算二元分类容量的算法,并通过集合技术将其扩展到多类情况。
(4): 在实验中,作者使用两个已知的SSVEP数据集对两种切割边缘的目标识别方法进行了比较。实验结果表明通道的不对称性会影响实际感知的信息传输速率,而输入分布的改变相对较小。此外,作者还发现,新定义的ITR增益与通道转换统计的不对称性呈负相关关系。
(5): 本文的方法还包括了算法的数值计算,通过迭代计算容量和优化输入分布来估计信息传输速率。
通过这些方法的研究,本文有望更准确地评估和比较不同BCI社区中的目标识别算法,实现人脑和计算机系统之间更紧密的共生,并有效利用底层通信资源。
8.结论:
(1): 这部作品的意义在于重新定义了脑机接口中的信息传输速率,考虑了脑和计算机系统之间的紧密共生联系。通过新的ITR定义,可以更准确地评估和比较不同BCI社区中的目标识别算法,实现人脑和计算机系统之间更紧密的共生,并有效利用底层通信资源。
(2): 创新点:本文采用了一种离散无记忆通道的ITR定义方法,考虑了通道转换统计的不对称性,以及转换统计与信息传输速率增益的关系。这一方法较以往的方法更贴切地刻画了性能和未来设计的启示,为研究提供了新的视角。
性能表现:作者在两个SSVEP数据集上进行了实验,结果显示通道不对称性对信息传输速率有影响,而输入分布改变的影响相对较小。此外,作者还提出了计算二元分类容量的算法,并通过集成技术将其扩展到多类情况,进一步改进了传输性能。
工作量:本文通过数值计算的方式对算法进行估计和优化,同时使用了两个已知的数据集进行实验验证,工作量相对较大。通过这些工作,本文为进一步研究高动态BCI通道容量、优化性能和改进刺激设计提供了一个坚实的基础。
参考文献
[1]Ostrow, Mitchell et al. “Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis.”ArXivabs/2306.10168 (2023): n. pag.
[2]Güney, Osman Berke et al. “Source Free Domain Adaptation of a DNN for SSVEP-based Brain-Computer Interfaces.”ArXivabs/2305.17403 (2023): n. pag.
[3]Arslan, Suayb S. and Pawan Sinha. “Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis.”ArXivabs/2301.00488 (2023): n. pag.
创作声明:包含 AI 辅助创作