论文研究 arXiv cs.CV Fri, 25 Sep 2026 正文 ok 252 words

用于语言引导医学图像分割的多模态路由与区域细化

英文标题:Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation

论文提出 MRSeg,一种面向语言引导医学图像分割的参数高效框架,可根据每个图像—文本对动态路由视觉与文本特征的适配过程。该方法结合冻结的 ConvNeXt-Tiny 和 PubMedBERT 编码器、低秩 Adapter 基,以及通过文本查询实现区域聚合与细化的 Region Bridge 模块。在 QaTa-COV19 和 MosMedData+ 数据集上,MRSeg 分别取得 90.90/83.32 和 81.53/68.82 的 Dice/mIoU 成绩,同时仅需训练 7.11M 参数和 7.60 GFLOPs。该工作表明,针对具体图文配对进行稀疏多模态路由,有望在控制计算成本的同时提升医学图像分割的语义对齐与定位能力。
打开原文相关 2.4 · 机会 0
media2.1 KB media612 B media380 B media9.1 KB media32.7 KB media22.8 KB media24.2 KB media34.7 KB

中文

[提交于 2026 年 9 月 24 日]

标题:用于语言引导医学图像分割的多模态路由与区域细化

查看 Md Maklachur Rahman 及其他 4 位作者撰写的论文《用于语言引导医学图像分割的多模态路由与区域细化》PDF。

查看 PDF HTML(实验版)

摘要:文本描述可通过明确需要勾画的病灶及其位置,降低医学图像分割中的歧义。现有文本引导方法主要改进图像与语言特征的交互位置,但通常针对所有图文对保留单一的学习更新路径。我们提出 MRSeg,这是一种参数高效框架,可利用每一个图文对,在稠密预测之前对视觉和文本特征的适配过程进行路由。冻结的 ConvNeXt-Tiny 和 PubMedBERT 编码器分别提供多尺度视觉特征和临床文本 Token。一个联合路由器利用最深层视觉特征与池化文本,在低秩 Adapter 基上预测稀疏混合。所得路由在两个视觉尺度和文本各自独立的 Adapter 库之间共享,从而在保持特征专属参数独立的同时协调其适配过程。Region Bridge 使用由文本派生的查询,将稠密视觉 Token 聚合为潜在区域;随后通过自注意力和文本交叉注意力细化这些区域,并将细化后的信息重新分发至特征图。最后,多尺度解码器将细化后的语义特征与浅层图像证据相结合。在 QaTa-COV19 和 MosMedData+ 上,MRSeg 分别实现了 90.90/83.32 和 81.53/68.82 的 Dice/mIoU,训练参数量为 7.11M,计算量为 7.60 GFLOPs。代码:此 HTTPS 链接。

提交历史

来自:Md Maklachur Rahman [

查看电子邮件

]

[v1]

2026 年 9 月 24 日,周四,00:03:02 UTC(1,702 KB)

English / 原文

[Submitted on 24 Sep 2026]

Title:Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation

View a PDF of the paper titled Multimodal Routing and Region Refinement for Language-Guided Medical Image Segmentation, by Md Maklachur Rahman and 4 other authors

View PDF HTML (experimental)

Abstract:Textual descriptions can reduce ambiguity in medical image segmentation by specifying the finding and location to be delineated. Existing text-guided methods mainly improve where image and language features interact but generally retain a single learned update pathway across all image-text pairs. We propose MRSeg, a parameter-efficient framework that uses each image-text pair to route the adaptation of visual and textual features before dense prediction. Frozen ConvNeXt-Tiny and PubMedBERT encoders provide multiscale visual features and clinical text tokens. A joint router uses the deepest visual feature and pooled text to predict a sparse mixture over low-rank adapter bases. The resulting route is shared across separate adapter banks for two visual scales and text, coordinating their adaptation while keeping the feature-specific parameters separate. Region Bridge uses text-derived queries to aggregate dense visual tokens into latent regions, refines these regions through self-attention and text cross-attention, and redistributes the refined information back to the feature maps. Finally, a multiscale decoder combines refined semantic features with shallow image evidence. On QaTa-COV19 and MosMedData+, MRSeg achieves 90.90/83.32 and 81.53/68.82 Dice/mIoU, respectively, with 7.11M trainable parameters and 7.60 GFLOPs. Code: this https URL.

Submission history

From: Md Maklachur Rahman [

view email

]

[v1]

Thu, 24 Sep 2026 00:03:02 UTC (1,702 KB)