针对L3级自动驾驶技术,人机交互设计中的接管策略研究是如今自动驾驶技术研究的热点及难点之一,驾驶员的非驾驶活动（NDAs）识别在接管策略的研究中起着决定性的作用。本文提出一种基于双相机的非驾驶活动识别方法,该方法成本低、无侵入性并且可以有效的识别五种常见的驾驶员视觉主导的非驾驶活动,即使用手机、使用笔记本电脑、读书、使用平板电脑、与中控台交互。首先对驾驶员视线凝视进行估计,基于Open Face工具箱提取驾驶员头部及眼部相关的八个特征参数,通过VNRX（Volterra Non-linear Regressive with e Xogenous）模型建立驾驶员头部及眼部特征参数与其在车内场景上的视线落点之间的映射关系,用来计算驾驶员视线落点坐标,并通过三组实验分析验证模型的实效性。在车内实验中,图像分辨率为1440×1080,在X和Y方向上的误差分别为7.80±5.99像素和4.64±3.47像素。接着采用Mask R-CNN算法对非驾驶活动涉及的目标物体进行像素级定位,基于Py Torch深度学习平台搭建包含Mask R-CNN模型的Detectron2探测器,根据MS-COCO数据集的标注格式建立包含250张图像的专用数据集（200张用作训练,50张用作测试）,主干网络选取Res Net101-FPN,并在具有24GB DDR5X显存的NVIDIA Quadro P6000显卡的计算机上训练并测试模型。最终通过非驾驶活动分类器对非驾驶活动进行识别与分类,并用热图可视化的方式直观展示识别效果。本文提出一种基于驾驶员视线落点的感兴趣区域选择（ROI）方法,与未使用该方法的结果相比,可将目标物体平均检测成功率提高约30%,并将平均处理时间减少约60%。五种非驾驶活动的平均识别成功率为82.55%。本文的研究为驾驶员的非驾驶活动识别提供一种新颖的思路,可更广泛的用于视觉主导的活动识别,驾驶员的非驾驶活动识别可能会应用到驾驶员注意力水平评估研究中。