自动驾驶人机交互系统研究综述

董 玮，李 岩，董 骐，渠谨黛，刘 傲，董 良

（中国第一汽车集团有限公司工程与生产物流部，吉林 长春 130011）

智能汽车人机交互是集环境感知、控制决策、执行机构于一体的多功能的综合系统，代替了传统汽车通过人类的眼、脑、手配合，完成驾驶操作的功能。智能汽车主要是通过先进的环境感知传感器、高精度地图以及V2X（vehicle to everything）设备等来理解周围环境，然后汽车进行自主决策，完成驾驶操作，如图1所示。由此可知，智能汽车与传统汽车最大的不同在于设计上，传统汽车完全依赖于人类驾驶员完成所有的操作，而智能汽车则几乎无需人类的参与，驾驶过程绝大多数由车辆自己完成。

图1 无人驾驶汽车

在智能汽车上，良好的人机交互技术是使驾驶员从传统的驾驶操作中解放出来的关键技术，驾驶员无需将注意力放在驾驶操作中，而是可以读书、玩手机、聊天、吃东西等，如图2所示。但是在高级别自动驾驶阶段，自动驾驶车辆仍然无法彻底脱离驾驶员的接管操作。所以人机交互的重要任务之一就是需要时时刻刻了解人类驾驶员的状态，在智能汽车不能自主完成驾驶时，人机交互技术检测出驾驶员的当前状态，并根据当前驾驶员与车辆的状态，在合适的接管时间，以恰当的方式提醒驾驶员，让人类驾驶员来接管驾驶任务。

图2 人机互助智能汽车

人机交互系统，本质上是通过传感技术、接口技术、控制技术及计算机技术等实现人与智能机器间的相互理解、认知、互动，从而完成某种特定的功能或任务。本文研究的智能汽车人机交互系统，主要是指车载系统通过汽车上布置的摄像头、人体状况监测传感器、酒精传感器等设备，实时采集驾驶员行为状态、身体状况等信息，然后将信息作为驾驶员状态识别系统的输入，对于驾驶员状态进行识别判断。当车辆自动驾驶过程中需要驾驶员接管车辆驾驶时，人机交互系统能够根据驾驶员状态决策接管时机，同时采取相应措施提醒驾驶员并干预车辆控制。

目前这种检测大概可以分为基于驾驶员行为、基于车辆的行驶信息、基于驾驶员生理信号、基于驾驶员语言信号等4个方面。由于这种检测方式应当具有普适性，而不同人的驾驶习惯和说话方式等会对第二方面和第四方面造成较大影响，所以这里主要介绍关于第一方面和第三方面的研究，这两方面的检测通常提取驾驶员面部头部特征和其生理电信号。例如有研究人员通过对驾驶员的生理电信号采集分析，实现了疲劳监测，并对驾驶员的行为进行预测，使用预测模型调整驾驶员的意图，保证驾驶的安全性，疲劳检测的流程如图3所示，疲劳监视器如图4所示。

图3 疲劳检测算法流程图

图4 疲劳监视器

Zhu Z等建立了驾驶员疲劳检测数学模型，其模型主要借助高精度相机获取驾驶员眼部、头部和表情特征等生理信息。Sayed R等将车辆的转向运动操作频率与驾驶员当前是否疲劳进行数学关联，利用车辆转向特征参数计算出当前驾驶员的疲劳状态。He J主要采用深度神经网络学习算法将手机拍摄到的驾驶员面部图像与驾驶员疲劳状态进行非线性关联，构建相关识别模型。Liang Y等主要提出一种依据人类眼睛眨眼频率推算驾驶员当前心理及疲劳状态的数学方法。Takei Y等利用车辆动力学仿真软件构建车辆转向运动环境及工况，并将车辆转向参数与驾驶员状态进行有效关联，提出一种基于混沌理论的数学分析方法，基于仿真环境中的转向数据有效判断驾驶员当前状态。Friedrichs F等提出一种基于BP神经网络的，综合考虑车辆方向盘转角以及横摆角速度的驾驶员状态识别算法。Munla N提出一种基于人体大脑脑电波的驾驶员状态识别系统及方法。后来相关学者构建基于支持向量机的模型对人类大脑电波进行深入分析和识别。Chai R等基于信息熵的数学分析方法，提出一种基于人类脑电波的驾驶员状态识别算法。

随着实验方法的改进和完善，越来越多的驾驶员状态识别方法被挖掘出来。He Q C等对驾驶员脑电波EEG指标进行分析处理，将驾驶员头部以及躯干的数据输入到动态贝叶斯网络中，进而得到驾驶员的疲劳程度评价模型。Fan J等进行了六自由度虚拟现实驾驶模拟实验，在脑电信号的基础上，对驾驶员的人员情绪与工作符合程度进行判断。针对驾驶员面部和头部特征，美国的卡内基梅隆大学在大量的实验以及反复尝试之后，定义了一种可以表示人体疲劳状态的算子——PERCLOS算子，主要是利用每秒钟人眼睛的张开闭合程度和时间来表示，如果人眼闭合程度超过80%，并超过一定时间，就可以基本断定人处于疲劳状态。卡内基梅隆大学还成功研制出了一套用于采取驾驶员面部表情信息的Copilot系统，如图5所示，该系统可以快速识别驾驶员的面部信息，并发出相应的状态信息提醒信号。Soualmi B等根据车辆运动通过运用模糊控制来求得线性二次型优化问题，提出一种确定人机驾驶权分配的决策算法。Bi L Z等采用模型预测控制的方法实现人机系统控制如图6所示，主要是通过脑机接口来实现人机协同的控制，同时考虑驾驶员的意图和保证车辆安全问题。Li R等将人机交互系统分为直接和间接的两种形式，通过感知驾驶员的意图来实现高度自动化车辆的间接共享控制。Gray A等利用驾驶员模型预测驾驶员未来的驾驶行为，设计了一种非线性模型预测控制器，利用转角和制动控制，在最小干预情况下帮助驾驶员完成避障和车道偏离，后续又分析了人机共驾的过程中存在的不确定性问题，设计了一种具有鲁棒性的控制器，在不确定的驾驶员行为下，优化出保证驾驶员顺利接管的最小转角。

图5 Copilot系统

图6 人机系统控制

在国内，哈尔滨工业大学的张晶秋对驾驶员呼吸频率以及血压的变化和心率变化进行了实验和分析，给出了血压、心率、呼吸与驾驶员疲劳状态的变化关系。电子科技大学的龙伶敏结合人脸表情特征以及呼吸频率等，提出基于模糊数学理论的状态识别非线性数学模型构建方法。

梅赛德斯奔驰等国外顶尖车企，以及国内自主品牌车企比亚迪都开始在车机系统中融入了人机实时交互的功能模块。最近几年，特斯拉采用极具视觉冲击力的中控大屏，引领了车内人机交互的最新潮流。但是，人机交互的界面以及相关标识五花八门，给消费者也带来了不少困扰，无法快速适应相应的人机交互功能，同时，消费者普遍反映人机交互的最终效果并不是很理想，没有较好地实现人与车辆的快速且无障碍的交流。

自动驾驶接管及协同控制是3级驾驶自动化（Conditionally automated driving）阶段的关键核心技术，许多高校及科研院所已经在该领域开展了深入的研究工作。鲁光泉等人使用双因素方差分析来研究不同次任务与不同接管请求时间对接管时间的影响。Russell H E B等指出驾驶员从自动驾驶模式下比较轻松的状态切换到人工驾驶模式时，必须经过一段时间的休息才能较好地完成接管驾驶的任务，否则会产生造成车辆失稳的误操作。Gold C等人经过研究发现，接管请求时间直接影响着接管之后的驾驶品质，二者成正相关的关系，分析了不同年龄的驾驶员在驾驶接管过程中的表现，最终发现年龄与接管表现的关联程度并不大，通过搭建的自动驾驶接管评价模型对驾驶员的接管反应时间进行预测Happee R等人提出一种基于TTC评价紧急情况下的接管任务完成情况的方法，并研发一种控制策略来抑制由于接管任务而使转向和制动等操作滞后的现象Seppelt B D等人经过研究发现，逐渐加强式的报警提醒方式要比突发式的报警提醒方式对于接管任务的高效完成更有效。

在汽车主机厂及零部件供应商方面，Bosch概念车系统会提前让用户得知可以使用自动驾驶的路线。并且用户可以折叠隐藏方向盘，将控制权暂时移交给智能汽车。除此之外，在智能汽车介入式控制的过程中，系统会通过各传感器探测，告知用户恢复手动驾驶的时间，帮助用户由自动驾驶转变为人为驾驶，完成控制权的接管。Tesla在2016年9月更新的车载系统中，加入了一个方向盘触控检测系统，该系统的作用是实时监控驾驶员是否对车辆进行了实际的控制。日产公司于2018年前后提出了他们的“脑－车”技术，该技术的主要作用是根据驾驶员佩戴的终端设备，监控驾驶员的生理信号，从而识别驾驶员的当前状态。丰田公司于2017年前后，提出一种自动识别驾驶员状态并可以进行快速接管的人机交互系统，该系统可以感知人类眼部和面部表情的细致特征，当驾驶员进入疲劳或其他不适于驾驶的状态时，自动对车辆的驾驶权进行接管，提高车辆的安全性。

尽管汽车领域人机交互系统及驾驶员状态识别相关技术已经相对成熟，但相对于自动驾驶领域的人机交互系统还处于起步阶段，还没有成熟的解决方案。人机共驾型人机交互及接管系统，需要双方的相互配合，并不能完全依赖一方的独立操作，同时，人机交互系统可以使驾驶员更好地理解自动驾驶系统当前的工作状态及意图，可以进一步降低驾驶员在乘车阶段的紧张感。

尽管已经有大量的研究成果发现接管瞬间会对车辆行驶稳定性造成负面影响，但是针对接管行为造成的负面影响并没有给出行之有效的解决方案，在解决上述问题的人机协同控制方面的研究还不够深入。

在后续的研究中，需要加快引入人工智能、大数据、云控平台、高算力车载计算平台等技术，使智能车辆与人类驾驶员可以以更为流畅及智能的方式进行人机共驾和人机信息交互。相关人机交互系统需要在不断学习和更新过程中，更加适应用户的驾乘习惯，达到更好的人机交互体验感受。