人机交互方式的终极形态——扩展

　　创建数字流会产生可以以多种方式、在许多不同类型介质上以及不同系统中表达的信息。这样的现实呈现技术，包括扩展现实(XR)技术——增强现实（AR）、虚拟现实（VR）和混合现实（MR），以及更成熟和已经被接受的技术，例如智能手机、平板电脑和电脑平板显示器。当与物联网、分析技术和人工智能(AI)结合在一起时，可以创造新的应用，以使员工的现实工作状况更加智能，从而为他们提供更多的帮助。

智能工厂时间表包括4个阶段：地理空间映射和工厂信息，即插即用，数据和服务集成以及协作，可以通过MR技术加以改进。本文图片来源：美国工业互联网协会（IIC）

　　制造业智能现实

　　智能现实（intelligent reality）被定义为有助于人类认知表现和判断的技术增强的现实。与基本现实相比，智能现实具有更大的维度、超视距、更好的指导以及与其他参与者更好的交流。尽管可能还需要考虑财务和网络安全方面的需求，但本文的重点是基于物理现实并由物联网提供的智能现实。

　　设想一下：一个戴着增强现实头戴式显示器的技术人员，正在查看机器，该显示器可以查看历史服务记录并预测未来故障。这使工人可以在第四维度——时间上来回移动。工人不必解体机器，就可以看到由物联网驱动的MR渲染投影在外壳上。技术人员可以远程观看相同类型机器操作的虚拟渲染。

　　技术人员可以与AI和远程专家就下一步操作进行交互，其中可以包括由于专家驱动的增强现实视图的虚拟叠加层。工人可以通过同一头戴式显示器与适当的管理系统进行通信，而不必使用电话或笔记本电脑。作为可穿戴计算机，头戴式显示器将远程资源带入了工人的操作现实中。

　　像工厂车间中的机器一样，智能现实可能就在工人附近。工厂可能位于世界的一端，用户可以通过工厂的3D模型了解情况。可以使用AR或VR头戴式显示器，但并非必须如此。智能手机屏幕或台式机纯平屏幕可能是更好的选择。工作人员可以是移动的，并使用AR头戴式视图器或智能手机。或者也可以将工人安置在公司总部的指挥中心。他们可能正实时观察现实情况，或者可能正在对过去事件进行数据驱动的审查。在所有情况下，无论从视觉上还是在演示设计中，情景都占主导地位。

　　现在，可以通过现成技术来实现智能现实，这些技术涵盖物联网、分析技术、扩展现实技术和更传统的用户界面。这可以帮助决策者和架构师驾驭广阔的技术领域，并为员工提供智能现实。

　　一旦将扩展现实技术与更传统的移动和桌面纯平显示器进行比较，决策者可能就会开始考虑智能现实架构和应用的开发。然后根据不同情景应用数字化现实技术、物联网和AI技术的组合。

智能工厂应用通常包括3层：边缘、平台和企业层，它们相互连接以尽可能高效地将信息传递给工人。

　　虚拟与现实的连续性

　　1994年， Paul Milgram等人发表了论文《MR视觉显示的分类法》，介绍了现实与虚拟的连续性。用户从物理环境的普通视图开始，然后可以进入完全数字化的视图。介于两者之间的是MR，它是用户的物理现实与一个或多个数字现实的混合。MR假定增强现实设备能够在物理视图之上立体渲染动态3D场景。

　　虚拟环境是数字的，但不一定是沉浸式的。例如包括VR头戴式显示器的沉浸式体验，以及用户未佩戴的大型平板电脑。在平面屏幕上渲染的VR头戴式显示器和虚拟环境，可以为用户提供远程或抽象3D现实的动态、实时的3D渲染。AR也可以采用移动平板电脑显示屏。在1995年，“智能手机”和“平板电脑”一词还不存在，但Milgram和其他人描述了基于监视器的（非沉浸式）视频显示器，在这些显示器上以电子或数字方式叠加了计算机生成的图像。

　　智能现实的体系结构，应以帮助员工的认知和表现为中心。对于启用基于物联网数字现实的工作人员而言，智能现实架构的基石是原始物联网数据的集成和合理性。在适当的数据和分析基础上，提出了现实呈现技术的体系结构视图，以便为工作人员呈现最佳的用户界面。

　　物联网数据管道

　　流分析引擎对于实时感知是必不可少的。一旦有基本事件经过，流分析引擎就会分析运动中的数据流。除了应用分析方法外，它还可以提供从机器学习模型得出的推论，并有助于训练此类模型。

　　除了立即显示外，还可以将分析的数据流传输到数据存储中，以进行进一步的分析和后续显示。尽管需要解决与物联网相关的大数据问题，但它们并不是数字现实应用所独有的。数字现实应用可以联网，也适合于传统的查询/报告模式的客户端—服务器体系结构。正如“沉浸式分析：为协作决策支持构建虚拟数据世界”中所观察到的，传统的2D数据可视化可以跨现实与虚拟连续性工作。

　　设备与现实的互动

　　由于AR设备具有透明性，因此接近物理现实是AR体验的一部分。实施者可能会选择使用MR设备，来满足那些与物理现实无关的用例，例如，独立绘制供应链的3D模型。与VR相比，用户可能更喜欢MR，因为他们意识到周围环境更加舒适。MR可以是远程的也可以就地的。

理想的智能工厂可以将多个资产整合在一起，以确保简化流程。

　　数字孪生模型

　　好的数字孪生模型会获取有关资产设备的设计、生产和运营寿命的信息，并将其虚拟化为数字资产。在数字孪生模型进行测试和修改的应用场景，可能是在实际运营过程中永远不会发生的场景。例如，汽车制造商无需进行昂贵的汽车物理碰撞测试，而是进行数百万次虚拟碰撞。无需在测试轨道上转几圈，就可以在具有不同服务历史的多个测试中将汽车虚拟行驶数百万英里。此类测试可用于馈送机器学习神经网络，然后在维修实际资产时对其进行查询。

　　通过智能现实应用程序，数字孪生可以叠加到物理孪生上。当公共汽车驶入车库时，车队经理可以将公共汽车的数字孪生系统的重要输出视为AR叠加层。一个例子是公共汽车由于逾期未换油而发出警报。数字孪生的真正力量来自更为细致入微的案例，而不是简单地打破既定的一维规则。也许在多个维护项目上，公共汽车可能都处于可接受的范围内，但是通过数字孪生模型发现，几个接近超标项目的组合，会大大增加关键任务故障的风险。AR设备可以将此信息传达给经理，以便其采取适当的行动。

　　从XR设备馈送AI

　　当工厂向工人部署1000个AR头戴式显示器时，意味着他们正在部署至少1000个头戴式摄像头。这些摄像机的位置可以提供丰富的视频内容。此类内容可以通过计算机进行传输，然后传输到机器学习和其它分析模型。头戴式显示器可以传输视频以及佩戴者头部位置和方向的精确信息。

　　尽管VR不能提供与现实世界相同的连接，但是VR头戴式显示器可以传达工作人员头部的位置和方向。眼动追踪也将其纳入XR产品。此类信息可用于改善模拟，并加强人对虚拟环境中物理模拟的反应方式的理解。（作者：Michael D. Thomas）