Ampe-DB：基于加纳传统游戏 Ampe 的人体活动与交互分析多模态数据集
英文标题：Ampe-DB: A Dataset for Human Activity and Interaction Analysis Using the Ghanaian Game Ampe
现有人体活动识别（HAR）基准往往忽视具有特定文化背景的动作与交互形式，加纳传统双人游戏 Ampe 则兼具协调跳跃、腿部动作与实时互动。为此，研究团队推出了多模态数据集 Ampe-DB，涵盖 15 名参与者的 637 个标准视频片段，包含 RGB 视频、双人姿态序列、元数据及细粒度动作与关系标注。评测显示，在常规固定基准下表现优异的模型（RGB macro-F1 达 0.955），在面对未见过的个体或配对测试时性能骤降至 0.384，而姿态表征则表现出明显更强的鲁棒性（0.839）。该研究揭示了固定基准得分易掩盖跨个体泛化失效的问题，为计算机视觉中的细粒度动作识别、双人交互分析以及身份感知泛化研究提供了全新基准。
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
[提交于 2026 年 10 月 23 日]
标题：Ampe-DB: A Dataset for Human Activity and Interaction Analysis Using the Ghanaian Game Ampe（基于加纳传统游戏 Ampe 的人体活动与交互分析数据集）
查看论文 PDF：Ampe-DB: A Dataset for Human Activity and Interaction Analysis Using the Ghanaian Game Ampe，作者：Ruth Senior Biney 及另 1 位作者
摘要：人体活动识别（HAR）基准在具有文化背景的动作与交互形式方面代表性不足。我们推出了 Ampe-DB，这是一个基于加纳传统游戏 Ampe 构建的多模态数据集。Ampe 是一项包含身体协调跳跃、腿部动作以及双人互动的传统游戏。该数据集包含来自 15 名参与者的 637 个标准视频片段，提供 RGB 视频、双人姿态表征、参与者与配对元数据、四分类动作标签以及派生的二元动作关系标签。
我们使用三种协议评估了四分类动作识别和二元动作关系分类：去重安全的固定基准（duplicate-safe fixed benchmark）、四折配对留出评估（four-fold pair-held-out evaluation）以及针对具备完整类别覆盖参与者的个体留出诊断（participant-held-out diagnostics）。基线模型包括：冻结的 Kinetics-400 预训练 R(2+1)D-18 RGB 编码器、用于姿态序列的双层双向 GRU，以及经由验证集选择的 RGB-姿态晚期融合（late fusion）。
在四分类动作识别任务中，RGB 模型的宏 F1（macro-F1）在固定基准下达到 0.955，但在配对留出评估下骤降至 0.418，在个体留出评估下进一步降至 0.384。姿态表征展现出更强的鲁棒性，在相同协议下分别达到 0.957、0.811 和 0.839。模态融合在固定基准上达到 0.976，在配对留出评估下达到 0.824，但在个体分布偏移（participant shift）场景下并未持续优于纯姿态模型。在留出评估下，二元动作关系识别的难度同样显著上升，尤其是对于不同腿部动作配置的情况。
这些发现表明，固定基准上的高分表现可能会掩盖模型在面对未见个体和配对组合时的泛化失败。Ampe-DB 为细粒度动作识别、人与人交互（HHI）、多模态学习以及身份感知泛化（identity-aware generalization）提供了坚实的研究支撑。
提交历史
来自：Ruth Senior Biney [
]
[v1] 2026年10月23日 星期五 13:28:41 UTC (2,718 KB)
English / 原文
[Submitted on 23 Oct 2026]
Title:Ampe-DB: A Dataset for Human Activity and Interaction Analysis Using the Ghanaian Game Ampe
View a PDF of the paper titled Ampe-DB: A Dataset for Human Activity and Interaction Analysis Using the Ghanaian Game Ampe, by Ruth Senior Biney and 1 other authors
Abstract:Human activity recognition benchmarks underrepresent culturally situated forms of movement and interaction. We introduce Ampe-DB, a multimodal dataset based on Ampe, a traditional Ghanaian game involving coordinated jumping, leg movements, and two-person interaction. It contains 637 canonical clips from 15 participants, with RGB video, two-person pose representations, participant and pair metadata, four-class movement labels, and derived binary movement-relation labels.
We evaluate four-class movement recognition and binary movement-relation classification using three protocols: a duplicate-safe fixed benchmark, four-fold pair-held-out evaluation, and participant-held-out diagnostics for participants with complete class coverage. Baselines comprise a frozen Kinetics-400-pretrained R(2+1)D-18 RGB encoder, a two-layer bidirectional GRU for pose sequences, and validation-selected RGB-pose late fusion.
For four-class recognition, RGB macro-F1 falls from 0.955 on the fixed benchmark to 0.418 under pair-held-out evaluation and 0.384 under participant-held-out evaluation. Pose is more robust, achieving 0.957, 0.811, and 0.839 across the same protocols. Fusion reaches 0.976 on the fixed benchmark and 0.824 under pair-held-out evaluation, but does not consistently improve on pose under participant shift. Binary movement-relation recognition also becomes substantially harder under held-out evaluation, especially for different-leg configurations.
These findings show that strong fixed-benchmark scores can mask failures to generalize across people and pairings. Ampe-DB supports research on fine-grained movement recognition, human-human interaction, multimodal learning, and identity-aware generalization.
Submission history
From: Ruth Senior Biney [
]
[v1]
Fri, 23 Oct 2026 13:28:41 UTC (2,718 KB)