融合感知视觉专家与多模态大语言模型，实现可解释的植物病害诊断：从基准图像到真实世界机器人田间验证
英文标题：Fusing Perceptual Vision Experts with Multimodal Large Language Models for Explainable Plant Disease Diagnosis: From Benchmark Imagery to Real-World Robotic Field Validation
研究团队提出混合分层多智能体框架（H$^{2}$MAF），在决策层融合 EfficientNet-B3 和 ConvNeXt-Tiny，并由 Gemma 4 E4B、Qwen3.5 4B 等开源权重多模态大语言模型进行语义仲裁。该系统基于结构化 JSON 证据输出可解释诊断、风险等级、治疗紧急程度和财务风险评估，并在 PlantDoc 及两套康奈尔大学机器人田间数据集上完成测试。在 PlantDoc 上，Gemma 将准确率从 63.9% 提升至 68.5%，在 CNN 预测冲突的 41.7% 样本中提升 7.6 个百分点；在康奈尔田间数据集上的准确率分别达到 99.3% 和 98.9%。研究表明，多模态大语言模型可在视觉模型意见冲突时提供有效仲裁，但风险评估能力高度依赖校准：Gemma 的关键风险误差较低，而 Qwen 存在较明显的风险过度标记问题。
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 8 月 23 日]
标题：融合感知视觉专家与多模态大语言模型，实现可解释的植物病害诊断：从基准图像到真实世界机器人田间验证
查看 Ranjan Sapkota 及其他 5 位作者所著论文《融合感知视觉专家与多模态大语言模型，实现可解释的植物病害诊断：从基准图像到真实世界机器人田间验证》的 PDF。
摘要：准确的田间植物病害诊断，需要可靠地融合具有不确定性且可能相互冲突的感知证据。我们提出混合分层多智能体框架（H$^{2}$MAF），该框架将 EfficientNet-B3 和 ConvNeXt-Tiny 的决策层融合，与开源权重多模态大语言模型（MLLM）Gemma 4 E4B 和 Qwen3.5 4B 的语义仲裁相结合。系统使用结构化 JSON 证据生成可解释的诊断结果、风险等级、治疗紧急程度和财务风险暴露评估。（H$^{2}$MAF）在 14,364 张图像（其中 1,370 张为测试图像）上进行了评估，数据涵盖 PlantDoc（2,922 张图像、27 个类别），以及两套非公开、由康奈尔机器人持续采集的田间数据集：Stage 2（20 GB；4,215 张图像）和 Stage 4（40 GB；7,227 张图像）。这些数据覆盖非受控田间条件下的早疫病、晚疫病和番茄叶霉斑病（Septoria Leaf Spot）。在 PlantDoc 上，Gemma 将准确率从 63.9% 提升至 68.5%，并在占比 41.7% 的 CNN 冲突子集中实现了 +7.6 个百分点的提升。康奈尔数据集上的准确率分别达到 99.3% 和 98.9%，且模型分歧仅为 1.7% 至 4.1%，表明 MLLM 的效用取决于是否存在预测冲突。Gemma 的关键风险误差为 0.14 至 0.5 个百分点，而 Qwen 的风险标记偏高 3.5 至 14.4 个百分点。这些结果表明，MLLM 仲裁是面向可解释农业 AI 和机器人田间决策支持的一种有前景但依赖校准的方法。GitHub 链接：此 HTTPS URL
提交历史
来自：Konstantinos I. Roumeliotis [
]
[v1]
2026 年 8 月 23 日，周日，17:20:20 UTC（4,656 KB）
English / 原文
[Submitted on 23 Aug 2026]
Title:Fusing Perceptual Vision Experts with Multimodal Large Language Models for Explainable Plant Disease Diagnosis: From Benchmark Imagery to Real-World Robotic Field Validation
View a PDF of the paper titled Fusing Perceptual Vision Experts with Multimodal Large Language Models for Explainable Plant Disease Diagnosis: From Benchmark Imagery to Real-World Robotic Field Validation, by Ranjan Sapkota and 5 other authors
Abstract:Accurate field plant disease diagnosis requires reliable fusion of uncertain and conflicting perceptual evidence. We present the Hybrid Hierarchical Multi-Agent Framework (H$^{2}$MAF), combining decision-level fusion of EfficientNet-B3 and ConvNeXt-Tiny with semantic arbitration by open-weight multimodal large language models (MLLMs), Gemma 4 E4B and Qwen3.5 4B, using structured JSON evidence to generate explainable diagnoses, risk levels, treatment urgency, and financial exposure. (H$^{2}$MAF) is evaluated on 14,364 images (1,370 test images) across PlantDoc (2,922 images, 27 classes) and two non-public, continuously captured Cornell robot-acquired field datasets: Stage 2 (20 GB; 4,215 images) and Stage 4 (40 GB; 7,227 images), covering Early Blight, Late Blight, and Septoria Leaf Spot under uncontrolled field conditions. On PlantDoc, Gemma improves accuracy from 63.9% to 68.5%, achieving +7.6 points on the 41.7% CNN-conflict subset. Cornell accuracies reach 99.3% and 98.9%, with only 1.7-4.1% disagreement, demonstrating conflict-dependent MLLM utility. The critical-risk error of gemma is 0.14-0.5 points, whereas Qwen overflags by 3.5-14.4 points. These results establish MLLM arbitration as a promising, yet calibration-dependent, approach for explainable agricultural AI and robotic field decision support. Github Link: this https URL
Submission history
From: Konstantinos I. Roumeliotis [
]
[v1]
Sun, 23 Aug 2026 17:20:20 UTC (4,656 KB)