DMD：用于注意力和警觉性分析的大规模多模态驾驶员监测数据集

视觉是驾驶员监控系统（DMS）最丰富、最具成本效益的技术，尤其是在最近深度学习（DL）方法取得成功之后。目前，缺乏足够大和全面的数据集是DMS发展进展的瓶颈，对于自动驾驶从SAELevel-2过渡到SAELevel-3至关重要。在本文中，我们介绍了驾驶员监控数据集（DMD），这是一个广泛的数据集，包括真实和模拟驾驶场景：分心、目光分配、嗜睡、手轮交互和上下文数据，由3个摄像头捕捉37名驾驶员的面部、身体和手部的41小时RGB、深度和红外视频组成。其中包括了与现有类似数据集的对比，说明DMD的内容更广泛、更多样、更多用。通过提取其中的一个子集--dBehaviourMD数据集来说明DMD的用途，该数据集包含13个分心活动，准备用于DL训练过程。此外，我们提出了一个强大的和实时的司机行为识别系统，针对现实世界的应用，可以运行在成本效益的CPU-only平台，基于dBehaviourMD。通过不同类型的融合策略对其性能进行了评估，这些策略都达到了增强的准确性，同时还能提供实时响应。