VR／AR与智能制造：应用领域、核心技术

陈和恩 何汉武 吴悦明

关键词：智能制造;VR/AR;核心技术;交互技术

0引言

智能制造（Intelligent Manufacturing）是制造技術、数字技术、智能技术及新一代信息技术的融合。数字技术是制造装备智能化、设计过程智能化、加工工艺优化、管理信息化和服务敏捷化、远程化的关键。

为了使制造业变得越来越智能，新的智能制造系统需要无缝连接物理世界和数字世界。虚拟现实/增强现实，即VR（Virtual Realilv）/AR（AugmentedRealitv），因为具有强大的数据可视化和交互性、沉浸性的特点而被誉为是一种可以拓展人类感知能力、改变产品形态和服务模式的新兴技术。对制造业而言，其改变了产品研发过程中的信息流;为制造过程提供可视化、辅助和扩展空间;有助于在开发过程的早期阶段发现并避免设计错误;减少了物理原型的数量，并为企业节省了时间和成本。在许多智能制造应用中，VR/AR被认为是改善和加速产品和工艺开发的宝贵工具。

VR/AR作为新一代计算平台，支持人类对智能制造系统产生的大量数据进行实时的、与生产背景相关的可视化访问。虽然人工智能、数字化技术取得长足发展，但很长一段时间内人类仍将在制造操作中扮演着不可或缺的角色，VR/AR是实现以人为本的智能制造的核心技术。

虚拟现实技术具有“3I”的基本特性：沉浸（Immersion）、交互（Interaction）和想象（Imagina-tion）。增强现实技术具有3个基本特征：虚实融合、实时交互以及三维注册。

VR/AR主要有可视化模块、传感器模块、跟踪模块、交互模块4个功能模块，具体如下。

（1）可视化模块

增强现实的可视化模块显示虚实融合的内容。

（2）传感器模块

该模块获取物理世界信息。摄像机是获取周围环境信息最多的传感器。三维体感交互技术飞速发展，飞行时间（time of flight，TOF）和Lidar设备不断小型化和降低成本，使得这些传感器也逐渐成为VR/AR的应用配置。

（3）跟踪模块

跟踪模块实现对VR/AR设备的空间姿态求解，以根据姿态叠加虚拟信息。

（4）交互模块

交互模块除了传统的鼠标键盘交互方式，还有手势识别交互，有些体感交互设备能够将真实世界的人体运动映射到虚拟空间中，从而拓展了人机交互通道。

本文通过综述VR/AR在装配应用、维护和培训、产品测评、智能工厂布局、物流和仓储管理5个领域的研究和应用现状，分析了其中的核心技术和当前面临的挑战，给出未来的发展方向。

1 VR/AR在智能制造中的应用

VR/AR在其他行业，如游戏、娱乐以及物流业都发挥重要作用。但在制造业，很多的VR/AR应用都处于探索和发展阶段。

随着市场需求增多，VR/AR获得技术以及资金的支持力度也大幅度增加，其已经渗透到智能制造中的各个阶段。VR/AR在装配应用、维护和培训、产品测评、智能工厂布局、物流和仓储管理发挥广泛作用，能大幅度提升设计、生产、装配、规划和物料管理效率。

1.1装配应用

虚拟装配通过建立一个多感知通道的虚拟环境，使用户可以进行人机交互式的装配操作，利用虚拟装配技术可以优化机械产品的设计和规划，亦可以用于培训装配操作人员。眼部和头部追踪技术是该应用的核心技术，快速精准的眼部和头部追踪可以提供良好的拆装体验。

国内外对虚拟装配与拆卸系统已经有不少研究成果。西门子公司利用虚拟现实进行沉浸式设计，精准的头部和眼部跟踪可让工程师通过虚拟数字空间和产品数字孪生进行交互，通过评估产品的人机工程细节，可以减少初期设计问题，图1所示为西门子虚拟装配应用。Nicholas等研发了以数据手套和头戴式显示器进行交互的医疗器械装配训练系统，该系统利用质量一弹簧一阻尼器模型构建了碰撞检测交互，抓取仿真度高，从基于任务到基于动作的多级训练场景，学员可在系统中以难度递进的方式训练。

当前VR/AR在装配应用中面临的挑战：由于追踪技术无法实时、准确求解用户的位置和姿态，导致了图像刷新滞后，产生用户视觉画面无法精确匹配用户的运动，长时间使用会产生晕眩感。因此，VR/AR的追踪传感器和相应算法需要进一步发展，同时，实时显示图像的渲染、刷新速度以及策略，需要针对装配应用场景进行研究和开发。为了增加沉浸感，虚拟模型物理属性的重构和交互也是未来的发展方向。

1.2维护和培训

国际数据公司（IDC）预测，在未来4年中，基于AR/VR技术的维护操作指引将吸引的投资高达3.62亿美元。到2021年底，工业维修预计将成为最大的行业蓝海，引来预计高达52亿美元的投资。通过增强的三维虚实融合技术，解放操作者双手，为维修人员、装配技术工人边查看资料边对设备进行装拆的现状提供了新方法与新思路。

物体跟踪和虚实配准技术是AR在维护和培训应用的核心技术。跟踪指的是确定某设备在物理世界中的位置和姿态。配准是在跟踪的基础上，把虚拟信息叠加在真实设备上，从而完成虚实融合的目标。装配体验需要鲁棒稳定的配准技术作支撑。

德国汽车生产商BMW公司提出的一套基于增强现实技术的装配训练指引系统，如图2所示。操作者通过头盔显示屏，阅读三维装配指引信息，对发动机进行装配。

广东工业大学何汉武教授团队设计了基于微软公司新型AR头盔Hololens的基站天线板布线辅助装配系统，让操作者根据增强现实的指引完成多个工序的接插线操作。系统带有错误检测模块，能对误装、漏装进行检查和提示。

当前VR/AR在维护和培训应用方面面临的挑战是由于跟踪技术无法实时准确求解用户的位置和姿态，导致了无法实时进行虚实配准，实际运行过程中环境光线、抖动等都会影响系统的运行。同时，如何把传统二维的维护和培训说明书转成面向AR应用的三维可视化信息也是VR/AR发展面临的难题。因此，高效的跟踪算法和配准算法是当前研究的主要方向，方便、易用、功能强大的VR/AR三维可视化内容开发工具和平台将受到青睐。

1.3产品测评

产品测评是产品设计的重要阶段，对于从用户对功能、美学或可用性等不同领域的看法中获得反馈，以及确保产品特性满足用户需求有重要意义。数字孪生是VR/AR在产品测评应用的核心技术。为了提高测评的可信度，要提高数字孪生产品的真实程度。需要对产品的几何、材料、颜色、光照、物理以及应用环境进行重构和建模。

ESI公司开发的虚拟现实测评应用系统，可从不同阶段对产品进行测评，从而降低开发成本，减少开发周期，如图3所示。上海通用汽车厂开发了一个通过增强现实技术对汽车挡风玻璃进行性能评测的系统。用户坐在一个没有挡风玻璃的实验平台上（经改装过的汽车），当用户戴上头盔，系统会自动把设计好的虚拟挡风玻璃叠加到真实环境中去，让用户可以直观地感受加装挡风玻璃后对路面产生的变形是否能满足要求。通用电气旗下意大利机械工厂的工人采用增强现实技术，在燃气轮喷嘴制造中叠加虚拟图像，能对喷嘴的数十个指标进行精确测量。

当前VR/AR在产品测评面临的问题是由于孪生模型不够逼真、不具备相应的物理属性，因而无法产生有效测评数据。在下一步的研究中，需要针对特定制造领域，根据模型的复杂程度和真实期望，采用多种方法进行建模，形成合理的模型数据。

1.4智能车间布局

智能制造中，生产场地车间的布局是一个关键环节。布局要解决的问题是合理利用场地空间使得生产和物流合理、高效。除此之外，为了满足对定制产品日益增长的需求，要让制造過程变得更灵活并具有自适应性。针对市场需求的产品，快速布置生产线，调整车间布局，实现快速市场响应是VR/AR在智能车间布局的重要应用。

精准是AR在智能车间布局应用的关键要素。AR为车间布局、重建或生产线重置提供决策依据，其必须可靠。这需要通过相应的硬件和软件来提供准确的输入数据。

精确的跟踪、配准和数字孪生技术是AR在智能车间布局应用的核心技术。为了提供可靠的车间布局可视化信息，首先要降低来自硬件的误差，对标定、相机去畸变、传感器状态要建立优化模型;其次要实现车间生产线、设备与相应数字孪生的一致性映射，让数字孪生能真实模拟车间运行状况，提供可靠的决策信息和数据。

吴悦明等采用数据手套和磁跟踪器作为手势输入设备，使用移动终端作为辅助可视化设备，设计一套可用于设备摆放、车间布局的AR系统，系统对环境要求不高，对光照有很好的鲁棒性，如图4所示。该系统对车间工作环境以及各种虚拟生产设备的进行建模，通过VR/AR交互界面，在虚拟或现实空间中进行车间布局，可以模拟车间制造过程，通过仿真和交互，发现设计中的不足并进行改善。Pen-tenrieder开发了Roivis车间布局系统，对布局可靠性和误差进行量化分析。

应用VR/AR进行快速车间布局可以降低布局决策错误、提高生产效率，但目前面临的挑战是虚实配准不够精确，数字设备模型和真实的设备仍有差异，不能为生产提供真实的模拟和仿真。提高跟踪配准精度和建模精度，对AR智能车间布局的可靠程度进行量化，利用数据分析进行布局决策是今后一个重要发展方向。

1.5物流与仓储管理

信息流和物流是智能工厂正常运行的两条动脉。相比而言，针对物流和仓储的可视化研究不是很多，但是这个行业的发展可以促进AR技术的成熟。目前已有一些商业和研究机构开始涉足物流与仓储可视化技术。

物流行业中，分拣步骤耗费时间最多。根据DHL的调查报告，仓储管理的分拣和运输货物占物流总成本的11%～13%。分拣人员利用AR可以扩展视角，从而确保更多的可见性、灵活性、指引性以及前瞻性。从而节省了搜索和分类时间，大大提高工作效率。

AR在物流与仓储管理中应用的核心技术是扫描技术。扫描精度和扫描速度将决定AR能否在物流应用得到推广。当前多数AR分拣指引系统都是基于视觉的扫描技术，如何提高扫描精度和速度，是AR在物流和仓储管理应用面临的挑战。为了提高产品可用性，降低扫描设备体积和重量，提高扫描算法准确率、识别速度，增加鲁棒性是未来研究重点和方向。

图5所示为利用AR进行物流和仓储管理的两个例子。

2存在问题及发展方向

虽然VR/AR技术可以为智能制造提供很好的支撑，VR/AR也取得很大的进展，但仍有很多问题有待解决。本文从技术层面和应用角度两个方面进行分析和阐述。

（1）技术方面。现有设备的计算能力有待提高。把CPU计算、图像渲染和显示、存储模块小型化和可穿戴带来的后果是VR/AR的硬件计算能力难以满足日益增长的应用需求。与设备小型化相关的是电池变小了，续航能力也跟着下降，导致用户体验变差。与技术相关的还有跟踪注册技术。当前的VR/AR设备需要在合适的光照环境中才能运行，一旦光照或装配环境发生变动，则跟踪可能失败，这一问题在无标跟踪的应用场景中特别明显。

（2）应用层面。VR/AR设备的人机工程设计仍有很大的提升空间。很多的设备虽然已经设计得很出色，但应用起来仍显得笨拙，主要问题还是不够轻便。另外，长时间使用后产生视觉疲劳也是另一个让人诟病的地方。与应用相关的还有用户的接受程度。由于上述种种因素加上价格的影响，很难在整个生产线或者公司全盘推行VR/AR技术，因此，VR/AR的很多理论和技术仍停留在实验室阶段，有待在大规模工程应用中验证。

VR/AR在智能制造领域必定具有十分广阔和激动人心的应用前景，但同样面临着诸多方面的挑战，主要体现在以下方面。

（1）提高算力是首要任务。随着5G的来临，一部分运算可以放在云端执行，但如何保护用户隐私将成为一个不可忽视的问题。

（2）VR/AR设备，如头盔等，需要进一步提高可用性。减轻头盔重量、提高图像分辨率、减轻用户视觉疲劳是VR/AR技术在制造业大规模铺开的基本条件。

（3）VR/AR内容制作必不可少。如何提供数字模型精度，如何把传统的生产工艺工序、使用说明书的二维平面内容转成三维可视化数据，需要一些易用、灵活、功能强大的制作软件。

此外，提高跟踪技术、提高用户接受程度、发展在智能制造过程中对VR/AR效率的评估方法等，都值得研究和关注。

3结束语

本文通过VR/AR在装配应用、维护和培训、产品测评、智能工厂布局、物流和仓储管理5个领域的应用，综述了VR/AR与智能制造的关系，对5个应用领域的核心技术进行介绍，分析当前面临的挑战，并在最后探讨了未来的发展方向。

在生产制造过程中，VR/AR能实现三维可视化和相互间的交互，其有效性不仅体现在可视化，对空间的增强和扩展也是显著的。VR/AR的数字化特性使其成为智能制造的关键技术之一，将使管理者的工作变得有条理、易掌控，并能提升工人的操作经验和技术。智能制造代表了生产的技术革命，而VR/AR与智能制造的结合正在成为讨论最多的主题之一。

猜你喜欢交互技术智能制造核心技术核心技术是厚积薄发的过程可持续发展经济导刊(2020年9期)2020-09-27在线教学中交互技术的应用研究求学·教育研究(2020年10期)2020-08-19不忘科创板的初衷中国经济周刊(2019年6期)2019-04-03核心技术，造船强国第一要素广东造船(2018年4期)2018-10-09浅谈物联网信息感知与交互技术电脑知识与技术(2017年27期)2017-11-20物联网信息感知与交互技术分析中国新通信(2017年17期)2017-10-16使用多种交互技术设计简易测试系统的研究科教导刊·电子版(2017年20期)2017-08-31智能制造的市场前景及技术发展电子产品世界(2017年3期)2017-04-13以智能制造促进机械装备制造产业转型升级路径中国科技纵横(2017年1期)2017-03-10突破互联网核心技术掌握自己“命门”信息化建设(2016年5期)2016-07-01 相关热词搜索： 应用领域 核心技术 智能