虚拟会议中基于行为树的智能角色行为建模

赵志稳，战荫伟

（广东工业大学计算机学院，广东 广州 510006）

关于虚拟现实会议，Erickson 等首次对多种不同形式的虚拟会议进行了评估，会议在虚拟环境中举行了三天，包括主题演讲、海报和社交会议。会议结束后，做了问卷调查，并讨论了虚拟会议的前景[1]。Da Silva 等在Second Life 中提出一种支持远程虚拟会议的模型，该模型由10 部分组成，分别是白板、日程安排、任务跟踪时间表、信息库、论证模型、社交代理、投票、手势、出席名单、秒表[2]。运用该模型与电话会议、视频会议、面对面会议进行对照试验，结论是：运用该模型的虚拟会议比电话会议和视频会议在认知感和参与程度上更接近面对面会议。Dean 等在会议中使用Kinect，将现实世界中的参与者行为映射到虚拟环境的化身上，并且参与者的面部采用动态视频表示，最后通过圆桌虚拟会议对该系统进行评估[3]。Pazour 等开发一种虚拟现实会议原型，该原型支持最多4 个人远程加入基于用户的个性化头像虚拟会议室中，分别佩戴虚拟现实头盔和在桌面模式下使用应用程序来评估原型，再通过iGroup 问卷表在参与度、空间存在感以及认知努力等方面进行调查[4]。Schäfer 等认为创建逼真的3D 会议模型需要耗费一定的人力和时间，因此提出了一种低成本、高质量和省时的解决方案，利用多个球形图像创建一个逼真的会议环境，并在虚拟环境中通过leap motion controller 进行手势交互[5]。

智能角色的行为建模是建立可信智能角色的关键技术。刘翠娟等对严肃游戏中的虚拟角色行为建模进行了系统的介绍[6]。吴佳佳等创建智能角色自主行为模型，在严肃游戏中为辅助用户训练社交提供帮助[7]。M.Gongora 等提出反应自适应方法，并将其与FSM 有限状态机相结合，分析智能角色的具体行为[8]。Ji 等分析了有限状态机的局限性，并提出一种通用的行为树方法，能够清晰地控制各分支行为对特定的角色进行行为设计[9]。Nicolau 等使用语法进化系统来进化行为树，从而灵活地控制虚拟角色的行为[10]。刘瑞峰等对行为树的发展以及应用进行了归纳，并在作战仿真指挥控制中利用所提出的流程建模框架对坦克攻防进行行为建模[11⁃12]。

本文利用行为树技术对智能角色行为建模，描述智能角色的感知和行为的产生过程，创建有效感知行为模型的智能角色并将其运用到虚拟会议当中，为用户提供帮助及便利。

行为树[13]的概念是Dromey 于2003年首次提出的。行为树定义为具有有限个节点的有向树，V是节点的集合，E是有向边的集合。∀∈E，vi，vj∈V，vi是vj的父节点。行为树描述了一组有限任务之间的切换，通过节点描述行为逻辑。

1.1 行为树的组成

行为树节点按照其结构可以分为组合节点、装饰节点以及叶子节点。图1为行为树节点的分类图，按照节点的类别来划分主要有：顺序节点、选择节点、随机节点、并行节点、装饰节点、条件节点以及行为节点。

图1 行为树节点分类

1.2 返回状态

行为树由层次组织的行为子树组成，每个节点在执行完成后都会向父节点返回其子节点的执行状态，父节点根据子节点的返回状态决定后续的逻辑执行流程。每个节点具有以下返回状态：运行表示该节点正在执行，还需要再次调用使之完成；
成功表示节点执行成功，返回成功状态；
失败表示节点执行失败，返回失败状态。

1.3 组合节点

1）顺序节点（Sequencial nodes）

顺序节点由左往右依次运行每个子节点，如果节点都返回成功时，它就会继续执行后继节点；
而如果有一个节点返回失败时，则会停止遍历后继节点，向父节点返还失败，也只有在每个节点都返回成功时，才会向父节点返还成功。

2）选择节点（Selector node）

选择节点的遍历方法是由左至右依次运行于每个子节点，只要该节点返回失败，就继续执行后继节点，直到下一个节点返回成功，停止运行后继节点。如果有一个节点返回成功则向父节点返回成功，反之向父节点返回失败。

3）随机节点（Random node）

随机的执行子节点，只要有一个子节点返回成功，它就会返回成功，同时不再执行后续节点。若所有子节点都返回失败，则它也返回失败。

4）并行节点（Parallel node）

并行节点的遍历方式是同时执行于所有子节点，一旦其中一个节点返回失败，则后面节点将无需执行，整个序列节点返回失败。只有当所有子节点全部完成并且返回成功，这个序列节点才会返回成功。

1.4 装饰节点

装饰节点的功能是用来修饰另一个节点。装饰节点可以处理一些操作过程循环执行子节点，控制循环终止条件来得到所希望的结果。

1.5 叶节点

1）条件节点（Condition node）

用于判断当前状态是否满足条件，满足则返回真，反之返回假。

2）行为节点（Action node）

用于执行节点关联的指定动作或行为。当行为节点执行过程中失败时，向父节点返还失败，正在运行当中或者执行完毕则向父节点返回运行和成功。

利用行为树构建智能角色的行为模型，智能角色与环境之间的感知、分析决策和实时反馈构成了一个整体的行为模型。本文设计感知模型以及行为，通过构建行为树对其实际行为进行决策。

2.1 感知建模

要在虚拟环境中表示一个智能角色的行为，首要的条件就是为它们创建特有的感知模型，以有效感知虚拟环境中的各种信息。感知是进行行为决策的先要条件，智能角色的感知功能直接影响其接下来动作执行的正确性，因此为智能角色构建有效的感知模型，通过不断感知和收集外界信息，以便及时根据外界环境信息的变化做出相对应的决策反应，才能增强智能角色的自主性。本文中，通过模拟人类的眼睛、耳朵的感知设计智能角色视觉、听觉感知模型。

视觉感知模型模拟真实人眼的视锥体，设置合适的视野角度和范围。通常人眼的舒适视域在30 以内；
只有在视锥体内的物体才能被智能体所感知到。图2为智能角色的视觉感知模型。假设P为对象上的一点，O为智能体发出视线的原点，其他对象与智能体角色的距离为d，R代表视野角度，如果‖O-P‖≤d，且射线OP与z轴（智能体视线正前方）的夹角小于R2，则物体在智能体角色的视野范围内。在虚拟环境中，既要判断物体是否在视野范围内，还要判断该物体是否被遮挡。本文使用点遮挡检测方法进行视线检测。

图2 视觉感知模型

智能角色的听觉感知模型通过一个球形区域模拟真实的听觉区域，如图3所示。若智能体能够听到该声音，则由声音进行行为决策，做出适当的行为反应。为了增加真实性，还需要考虑声音的强度范围。为智能体设定一个听觉阈值A0，设声音强度为A，发生物体和智能角色之间的距离为d，若A d>A0，则智能体能够听到这个声音；
否则不能听到这个声音。

图3 听觉感知模型

2.2 反应式行为建模

在感知建模的基础上，为智能角色构建其下一步的行为，对应行为树的行为节点。若虚拟人物处在智能角色的感知范围内，智能角色就能看到虚拟人物，智能角色就会走近虚拟人物并与其对话。在智能角色和虚拟人物之间构建一组对话方式，设计好对话逻辑，并让虚拟人物了解虚拟会议以及如何使用虚拟会议。为了测试听觉感知模型，在虚拟场景中设置了一个发声警报器，当智能体感知到该声音时，就会向声源靠近，执行关闭声音操作。进而将感知和行为模型组合成一个整体，形成智能角色控制行为树，如图4所示。

图4 智能角色控制行为树

为了对上述智能角色行为建模进行评价，本文将智能角色集成到虚拟会议实验系统中进行仿真实验。

仿真实验的开发工具采用Microsoft Visual Studio 2019、Unity 3D 2019.2 以及C#。虚拟会议实验系统包括虚拟会议大厅、虚拟人物、网络同步、虚拟交互等功能模块。图5为虚拟会议场景。虚拟会议大厅模块包括3D 个性化虚拟人物的选择以及虚拟会议的登录，虚拟会议室模块包括会议室的场景建模以及UI 设计，虚拟人物模块包括利用用户照片构建个性化虚拟人物模型，构建虚拟人物骨骼动画以及虚拟人物的漫游。虚拟交互模块包含虚拟人物与智能角色之间的交互。之前构建好的智能角色行为模型通过插件以及代码实现行为树模型的功能。Behavior Designer 是由美国Opsive 工作室研发的一款集成于Unity3D 的行为树插件，它提供可视化编辑器以及功能强大的API。本文利用Behavior Desingner 建立不同类型的行为树节点，编写C#脚本将感知、对话行为添加到叶节点中，最终形成逻辑回路。

图5 虚拟会议场景

图6为智能角色的行为树可视化编辑示意图。通过点击开始仿真运行，智能角色模型行为树按照深度优先遍历节点以及参照行为树中不同类型节点的机制运行，从而驱动场景中的智能角色进行交互。

图6 智能角色行为树可视化编辑图

图7为智能角色的感知模型。在虚拟会议场景中，当虚拟人物在智能角色的感知范围内时，一旦听到声音或者看到虚拟人物，智能角色就会走向虚拟人物，从而执行下一步动作。

图7 智能角色感知模型

图8为对话逻辑编辑图。利用之前所构建的智能角色感知模型，智能角色走向虚拟角色并通过按键触发相应的对话，对话包括该会议系统的具体功能、相关操作、技术支持等。该对话可帮助虚拟角色更好地了解使用虚拟会议系统。

图8 对话逻辑编辑图

智能角色行为建模作为虚拟现实技术研究的一个热点问题，已经为众多研究人员所关注。本文设计了一种智能角色的感知行为模型，并利用行为树得到智能角色的控制行为树，能够对实时环境进行感知，驱动相应的行为。在虚拟会议系统中进行仿真实验，验证了该行为模型可以增强虚拟会议的交互性，能够帮助用户更好地开展虚拟会议。