用于皮层内脑信号转文本的音素级与字符级目标及选择性状态空间模型
英文标题:Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text
该研究考察了皮层内脑信号转文本系统中的两个设计维度:选择性状态空间模型(Mamba)能否优于循环解码器,以及音素级与字符级输出目标如何影响结果。研究者在公开的 Brain-to-Text '25 基准上,以统一的可复现实验协议,对 GRU 与混合 Mamba 解码器、音素与字符目标构成的 2×2 组合进行了 CTC 训练比较。结果显示,循环模型 GRU 仍表现最佳:最优音素 GRU 的音素错误率(PER)为 12.62%、词错误率(WER)为 21.19%;经语言模型重评分后,最优文本 GRU 的字符错误率(CER)为 13.39%、WER 为 26.28%。混合 Mamba 模型具有竞争力但未能超越 GRU,错误分析还表明,不同输出表征会导致不同类型的错误模式,这为脑机接口文本解码器的架构和目标设计提供了依据。
483 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 7 月 29 日]
标题:用于皮层内脑信号转文本的音素级与字符级目标及选择性状态空间模型
查看 Lucas Zamora Vera 和 Jose A. Gonzalez-Lopez 撰写的论文《用于皮层内脑信号转文本的音素级与字符级目标及选择性状态空间模型》PDF。
摘要:当前最先进的皮层内脑信号转文本系统,通常将神经序列音素解码器与外部语言模型配对使用。两个设计维度仍未得到充分探索:选择性状态空间模型(Mamba)是否优于循环解码器,以及输出目标(语音/音素与字符)如何与这一模型选择相互作用。在公开的 Brain-to-Text '25 基准上,我们在一套可复现实验协议下,采用 CTC 目标函数训练并研究了一个受控的 2×2 组合:GRU 与混合 Mamba 解码器,以及音素与字符目标。循环基线仍然最强:最佳音素 GRU 达到 12.62% 的音素错误率(PER)和 21.19% 的词错误率(WER);经语言模型重评分后,最佳文本 GRU 达到 13.39% 的字符错误率(CER)和 26.28% 的词错误率(WER)。混合 Mamba 模型具备竞争力,但未能超越该结果。消融实验分离了不同架构组件的贡献,错误分析则显示了依赖表征方式的失败模式:类似发音动作的音素混淆,以及词汇和词边界错误。
提交历史
来自:Jose A. Gonzalez-Lopez [
]
[v1]
2026 年 7 月 29 日,星期三,10:46:08 UTC(8,973 KB)
English / 原文
[Submitted on 29 Jul 2026]
Title:Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text
View a PDF of the paper titled Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text, by Lucas Zamora Vera and Jose A. Gonzalez-Lopez
Abstract:State-of-the-art intracortical brain-to-text systems pair a neural-sequence phone decoder with an external language model. Two design axes remain underexplored: whether selective state-space models (Mamba) improve on recurrent decoders, and how the output target (phonetic vs.\ character) interacts with that choice. On the public Brain-to-Text '25 benchmark, we study a controlled 2x2 grid (GRU vs.\ hybrid Mamba decoder; phonetic vs.\ character targets) trained with a CTC objective under one reproducible protocol. The recurrent baseline remains strongest: the best phonetic GRU reaches 12.62% PER and 21.19% WER, while the best textual GRU after LM rescoring reaches 13.39% CER and 26.28% WER. The Mamba hybrid is competitive but does not surpass it. Ablations isolate architectural contributions, and error analysis shows representation-dependent failures: articulatory-like phoneme confusions vs.\ lexical and word-boundary errors.
Submission history
From: Jose A. Gonzalez-Lopez [
]
[v1]
Wed, 29 Jul 2026 10:46:08 UTC (8,973 KB)