“两个计数器 - 一个解决方案”：大脑如何结合声音和图像来更快地按下按钮

当草丛中传来沙沙声，或者阴影闪烁时，我们的反应比单纯的声音或闪光更快。这很经典。但在这瞬间，大脑里究竟发生了什么？《自然-人类行为》杂志上的一篇新论文表明，视觉和听觉分别积累证据，在决策的那一刻，它们的“叠加”会触发一个单一的运动触发器。换句话说，头部有两个感觉累加器共同激活一个运动机制。

背景

大脑如何在充满声音和图像的“嘈杂世界”中快速做出决策，这是一个由来已久的问题，但却没有明确的答案。自 19 世纪末和 20 世纪以来，心理物理学中就已经发现了“冗余信号效应”（RSE）：如果同时以两种模态（例如闪光和音调）呈现目标，反应会比单一信号更快。争论的焦点在于其机制：是独立通道的“竞赛”（竞赛模型），其中最快的感觉过程获胜，还是共同激活，其中来自不同模态的证据实际上在触发反应之前相加。正式的测试（如米勒不等式）在行为层面有所帮助，但并未显示“折叠”发生的位置 - 在感觉累加器一侧还是在运动触发器一侧。

在过去的10到15年里，神经生理学已经提供了这些潜在阶段的可靠标记。其中最值得注意的是中心顶叶正性信号（CPP），这是一种超模态脑电图（EEG）“阈值累积”信号，与决策的漂移-扩散模型非常吻合，以及左侧运动皮层β波的降低（约20 Hz），作为运动准备的指标。这些信号使得将计算模型与真实的脑回路联系起来成为可能。但关键的空白依然存在：音频和视觉证据是在一个还是两个独立的累积器中累积的？多模态决策是否存在一个单一的运动阈值，还是每个模态都由不同的标准“判断”？

另一个复杂因素是时间。在现实条件下，视觉和听觉存在微秒到毫秒的不同步：轻微的时间偏移就可能掩盖该过程的真实架构。因此，需要一些范式来同时控制响应规则（对任何模态做出反应或同时对两种模态做出反应）、改变异步性，并允许在单个模型中结合反应时间的行为分布和脑电图标记的动态变化。正是这种方法使我们能够区分“感觉累积器叠加后随后出现单次运动启动”与“通道竞态”或“早期融合成单一感觉流”的场景。

最后，除了基本理论之外，还有一些实际的动机。如果感觉累积器确实是独立的，而运动触发信号是共享的，那么在临床群体中（例如帕金森病、注意力缺陷多动症和谱系障碍），瓶颈可能存在于不同的层面——积累、收敛或运动准备。对于人机界面和预警系统，提示的相位和时间至关重要：声音和图像的正确相位应该最大化对运动阈值的共同贡献，而不仅仅是“提高音量/亮度”。这些问题是《自然-人类行为》杂志一篇新论文的背景，该论文探讨了在行为、脑电图动力学（CPP 和 β 波）和计算建模层面同时进行的多模态检测。

他们到底发现了什么？

• 在两项 EEG 实验（n=22 和 n=21）中，参与者通过在其中一个发生变化（冗余检测）或仅当两者都发生变化（连词检测）时按下按钮来检测点动画（视觉）和一系列音调（听觉）的变化。
• 研究人员监测了一种神经证据“计数器”——中央顶叶正性（CPP）——以及左半球β活动动态（约20赫兹），作为运动准备的标志。这些信号与反应时间分布和计算模型进行了比较。
• 底线：听觉和视觉证据在不同的进程中积累，当重复检测到时，它们的累积贡献以亚加法（小于简单总和）共同激活一个阈值运动过程 - 即动作的“触发器”。

一个重要的细节是“不同步”检查。当研究人员在音频和视觉信号之间引入轻微的异步时，感觉累加器先整合信息再通知运动系统的模型比累加器相互“竞争”的模型更好地解释了数据。这强化了这样一种观点：感觉流并行运行，但最终会汇聚于单个运动决策节点。

为什么你需要知道这一点（示例）

• 临床与诊断。如果感觉累积器彼此独立，且运动阈值相同，那么不同组别的患者（自闭症、注意力缺陷多动障碍、帕金森病）可能会出现不同的“崩溃节点”——在累积、收敛或运动触发方面。这有助于更准确地设计生物标志物和注意力/反应训练。
• 人机界面：警告信号和多模式界面的设计可以从声音和视觉提示的最佳相位中受益 - 从而使运动共同激活更快、更稳定。
• 决策的神经模型。研究结果将长期行为“争议”（种族与共同激活）与特定的脑电图标记（CPP 和运动皮层的 β 节律）联系起来，使计算模型更接近真实的生理机能。

如何完成（方法论，但简短）

• 范例：冗余（响应任何模态）和连接（仅同时响应两种模态）——这是一种经典技术，可以让你“权衡”每个感官分支的贡献。此外，还需进行一个单独的实验，并设定音频和视频之间的异步性。
• 神经信号：
  • CPP——达到阈值的感觉证据积累的“超模态”指数；
  • 左侧运动皮层β波的下降是运动准备的指标。比较它们的时间曲线，发现听觉目标和视觉目标的CPP振幅不同（这是不同累加器的标志），并且β机制受到共同驱动（这是共同运动阈值的标志）。
• 模拟：实时行为分布与脑电图动态的联合拟合。在运动节点前整合感觉累加器的模型在比较中胜出，尤其是在存在异步的情况下。

这会对大脑图像产生什么改变？

• 多模态性 ≠ “混合后遗忘”。大脑不会将所有证据都集中到一起；它会在不同通道之间保持并行记录，整合过程更接近动作发生的时刻。这解释了为什么多模态线索能够加快反应时间——它们共同发出相同的运动信号。
• 次加性是常态。感官输入的“总和”小于简单的算术运算，但足以更快地达到运动阈值。因此，界面的目标不是“增加音量和亮度”，而是同步收敛。
• 心理物理学和神经生理学之间的桥梁：旧的行为“冗余线索”效应通过 CPP 和 Beta 标记获得机械解释。

局限性和下一步

• 实验室测试的样本是健康成年人；下一步是临床结论。测试需要在患者身上以及自然的多模态环境中进行。
• EEG 提供了出色的时间但有限的空间图像；用 MEG/侵入式注册和有效的连接模型来补充它是合乎逻辑的。
• 该理论预测，对视听提示时间的训练应该有选择地改善运动阶段，而不会改变感觉累加器——这是一个在应用任务（体育、航空、康复）中可检验的假设。

概括

大脑为视觉和听觉分别设置了“计数器”，但只需一个按钮即可做出决定。了解感官信息转化为行动的确切过程，我们就能更准确地调整诊断、接口和康复——从飞行员头盔到远程医疗和注意力神经教育。

来源：Egan, JM, Gomez-Ramirez, M., Foxe, JJ 等人。不同的听觉和视觉累积器共同激活多感觉检测的运动准备。《自然-人类行为》（2025）。https ://doi.org/10.1038/s41562-025-02280-9