虚拟现实

虚拟现实技术通过计算机模拟产生一个包含三维空间和时间的虚拟世界，使得用户对模拟场景产生身临其境的感觉^[4][5]，经过六十多年的发展，当前该技术已被广泛应用于娱乐、军事、工业、教育等领域。^[2][3]

虚拟现实技术具有沉浸性、交互性、构想性三大特征。^[6][7]按虚拟现实系统的沉浸性不同可分为非沉浸式虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统、增强式虚拟现实系统。^[8][9]虚拟现实技术关键技术包括：动态环境建模技术、人机交互技术、实时三维图形生成技术、立体显示和传感器技术等。^[2][10][11]当前，虚拟现实技术的发展还受限于终端的计算能力、轻量化、通信网络传输速度等因素的影响。^[12][13][14]

虚拟现实（Virtual Reality，简称VR）是一种将计算机图形学、立体显示和人机交互技术相结合的技术，其通过计算机生成一个具有三维时空的虚拟世界，使得用户对虚拟场景产生身临其境的感觉。^[4][5]

20世纪30年代开始，虚拟现实技术经过四个时期的发展。第一个时期是20世纪30年代至70年代，第二个时期是20世纪80年代，第三个时期是20世纪90年代到21实际初，第四个时期是21世纪以来。^[2][3][15]

20世纪30年代至70年代，这一阶段是VR技术的探索时期，虚拟现实的构想、相关概念等首次出现。^[2][16][17]1929年，出现了最早体现虚拟现实思想的设备，即1929年美国科学家Edward Link设计的室内飞行模拟训练器，使用该设备乘坐者的感觉和坐在真的飞机上的感觉是一样的。^[2]十年后，小说《Pygmalion's Spectacles》中第一次提出了虚拟现实的构想。^[16]1957年，美国电影摄影师Morton Heilig建造了一个叫作Sensorama（传感景院仿真器）的立体电影原型系统。^[2]此后不久，交互式图形显示、力反馈和语音提示等概念也开始浮现^[17]，直到1968年，第一台头戴式三维显示器才面世。^[18]

20世纪80年代，虚拟现实技术得到了初步发展，计算机技术的发展推动了虚拟现实技术的发展，虚拟现实技术逐渐获得广泛关注。^[2][3][15]1980年，美国宇航局开始着手研究虚拟现实技术，使得这项新技术受到了更加广泛的关注。^[19]三年后，美国国防高级研究计划局和美国陆军合作开发出了一个名为SIMNET的虚拟战场系统，该系统主要应用在坦克编队的训练当中。^[2]此外，在1987年，美国VPL研究公司的创始人Jaron Lanier提出了“Virtual Reality (虚拟现实)”一词，这种新概念也随着计算机技术不断壮大。^[3]

任天堂虚拟男孩控制台

在20世纪90年代初期，随着虚拟现实的理论进一步发展，VR技术逐渐展现出其广阔的发展前景。^[2][3][15]1990年，美国达拉斯召开的Sigraph会议提出了VR技术的主要内容，并包括实时三维图形生成技术、多传感交互技术以及高分辨率显示技术。^[20]在之后几年里，不断有新的虚拟现实开发工具和产品问世。1991年，美国Virtuality公司开发了虚拟现实游戏系统“VIRTUALITY”，玩家可以通过该系统实现实时多人游戏，但是由于价格昂贵及技术水平限制，该产品并未被市场接受。^[2]在1992年，美国Sense8公司推出了“World ToolKit”简称“WTK”虚拟现实软件工具包，极大缩短虚拟现实系统的开发周期。^[2]接着，美国波音公司于1993年利用虚拟现实技术设计了波音777飞机，使用了数百台工作站来完成300多万个零件的整体设计。^[2]之后，在1994 年瑞士日内瓦举行的第一届国际互联网大会上，科学家们提出了为创建三维网络的界面和网络传输的虚拟现实建模语言(Virtual Reality Modeling Language，简称VRML)。日本任天堂(Nintendo)公司在1995年推出的32位携带游戏主机“Virtual Boy”则是游戏界对虚拟现实的第一次尝试。这些里程碑的事件使得虚拟现实技术向着更加成熟和完善的方向。

21世纪以来，虚拟现实技术与文化产业、电影、人机交互技术等集成应用，产业化发展得到极大进步。^[2][3][15]北京航空航天大学是国内最早进行 VR 技术研究、最有权威的单位之一，于 2000 年 8月成立了虚拟现实新技术教育部重点实验室。^[2]美国国防部于2006年建立了一套虚拟世界的《城市决策》培训计划，以提高应对城市危机的能力。^[21]2008年，美国南加州大学开发了一款“虚拟伊拉克”的治疗游戏，利用虚拟现实治疗军人患者创伤后应激障碍。^[21]在商业领域，Facebook在2014年以20亿美元收购Oculus工作室，这让全球投资者的目光又一次聚焦到了VR行业。^[22]两年后，Facebook、Google、Microsoft等相继推出了VR头显产品，引起了资本市场的广泛关注和投资热潮，这也催生了大量VR相关的行业发展，同时2016年也被称为“VR”元年。^[23][24]2022年，虚拟现实入选“智瞻2023”论坛发布的十项焦点科技名单^[25]，且元宇宙的概念提出进一步推动了VR技术的发展，为VR应用开拓了更加广阔的发展空间。^[26][27]

沉浸性是指使用者在虚拟世界中所感受到虚拟场景的真实程度。虚拟现实技术通过计算机制作出逼真的3D影像，使用者可以通过视觉、听觉、嗅觉、味觉等感官，通过与虚拟世界互动，产生一种置身于真实的、客观的世界之中的错觉。^[6][7]

交互性是指使用者在虚拟世界中对虚拟对象的可操作性。虚拟现实系统的交互作用表现为：使用者可以抓取、移动物体并感受物体的重量，同时也可以观察物体的空间位置。在交互模式中，用户既可以通过键盘和鼠标进行交互，也可以通过特殊的头盔、数据手套等设备进行交互。^[6][7]

构想性是指用虚拟现实技术对现实世界没有发生的环境和事件进行仿真。使用者在与虚拟环境互动的过程中获得感性与理性的认知，从而启发新的思考，并进一步发挥创意。虚拟现实系统能让设计者在虚拟的世界中进行构想和设计，同时也能反映出设计者的创意思维。虚拟现实是设计者运用虚拟现实技术，充分发挥他们的想像力和创造力。^[6][7]

计算机是VR系统的核心部分，它负责虚拟世界的渲染、模拟、数据处理和存储等任务。计算机硬件包括中央处理器（CPU）、图形处理器（GPU）、内存和硬盘等。三维高真实感场景的生成与显示在虚拟现实系统（尤其是沉浸式虚拟现实）中具有重要的地位，因此虚拟现实所用的计算机是带有图形加速器和多条图形输出流水线的高性能图形计算。计算机软件包括虚拟现实引擎、物理引擎、3D建模软件等。^[28][29][30]

I/O设备用于与虚拟世界进行交互，分为输入、输出设备。这些设备可以让用户在虚拟世界中进行操作和感知，并提供视觉、听觉、触觉和运动感等多种交互体验。^[28][29][30]

输入设备是虚拟现实系统的输入接口，主要负责用户信号的采集并通过传感器及时输送给计算机，输入设备主要有三维鼠标、数据手套、数据衣、眼球跟踪器、头部跟踪器、三维定位跟踪设备、力矩球和操纵杆以及语音综合识别输入装置等，将用户的手势、身体姿势、眼球和头部运动、物理力学运动及语音等信息变成数字化信号并通过传感器输送给计算机。^[28][29][30]

输出设备是虚拟现实系统的输出接口，是对输入信号的反馈，计算机将处理后的信号通过传感器传给输出设备，以视觉、听觉、触觉、力觉、感觉、运动觉甚至嘎觉、味觉等多个途径反馈给用户，让用户体验到与真实世界一般的全方位体验。输出设备主要包括头盔立体显示器、三维真实感声音播放设备、力反馈装置触觉感受器等。^[28][29][30]

数据库主要存放整个虚拟世界中所有物体的各方面信息，包括场景的图像、音频、视频、文本、交互数据等，是虚拟世界得以建立的信息基础，数据库还可以支持VR系统的数据管理和交互。虚拟世界中各种模型都是数据库里面众多信息整合后的结果，为了扩大虚拟世界的适应领域，对真实世界中的全方位信息的采集也是一个必不可少而庞大的工程，也是虚拟现实技术目前最主要的工作内容之一。^[28][29][30]

用户是VR系统的最终使用者，他们可以通过I/O设备与虚拟世界进行互动，并获得沉浸式的虚拟体验。用户可以过传感装置直接对虚拟环境进行操作，并得到实时三维显示和其它反馈信息（如触觉、力觉反馈等）。用户在虚拟世界中的行为和反应会被VR系统感知并作出响应，当系统与外部世界通过传感装置构成反馈闭环时，在用户的控制下，用户与虚拟环境间的交互可以对外部世界产生作用（如遥操作等）。^[28][29][30]

软件系统是VR系统的关键组成部分，主要负责虚拟世界中物体的几何模型、物理模型、运动模型的建立、三维虚拟立体声的生成、模型管理技术及实时显示技术、虚拟世界数据库的建立与管理等，是系统的集中生产中心。虚拟现实的软件系统包括虚拟现实引擎、物理引擎、3D建模软件等。这些软件可以将各种数据集成在一起，生成逼真的虚拟世界。虚拟现实引擎是VR系统的核心组件，它可以控制场景中的对象、光线、材质和纹理等，实现虚拟世界的渲染和模拟。^[28][29][30]

非沉浸式虚拟现实技术也被称作桌面虚拟现实系统，它的视觉效果主要是由电脑或投影屏幕来实现。非沉浸式虚拟现实技术具有成本低廉、使用方便等特点，可广泛应用于 计算机辅助设计、建筑设计、桌面游戏等。非沉浸式虚拟现实技术给使用者带来的沉浸感不强，容易受到外界真实环境的影响，但是它对硬件设备的要求很低，实现费用也相对低廉，因此在实际中的应用较为广泛。^[8][9]

沉浸式虚拟现实系统也被称作可穿戴式虚拟现实系统，它利用封闭的视景和声学系统，把使用者的视觉和听觉与外部世界隔绝开来，让使用者置身于计算机产生的环境中。该系统具有很高的实时性，能够给使用者带来很高的沉浸感，并且具有很好的集成度和开放性，能同时支持多个输入和输出设备。^[8][9]

分布式虚拟现实系统是指在互联网上，将分散在不同区域的资源进行有效整合，共同开发场景的虚拟现实系统。分布式虚拟现实系统一般是指在网络上把分散在各地的虚拟现实系统结合在一起，从而达到一定的目的。在分布式虚拟实境中，每个用户都是共用一个虚拟工作空间，用户在其中可以感受到真实的行为。该系统具有实时交互、时钟共享等多种功能，而且多个用户之间可以通过多种方式进行通讯。^[8][9]

增强虚拟现实系统是一种将现实与虚拟环境相结合的系统，该系统中部分虚拟场景叠加在现实环境之上，且允许用户对现实世界进行观察的同时对虚拟环境进行操作互动，达到了亦真亦幻的境界。^[8][9]

虚拟环境的构建是虚拟现实系统的关键所在。动态环境建模技术主要是通过对真实环境进行三维数据采集，并根据实际情况对三维环境进行建模。只有设计出反映研究对象的真实有效的模型，虚拟现实系统才有可信度。^[10][2]

人机交互技术是指利用电脑的输入/输出装置，使人与电脑进行有效的交流互动。虚拟现实技术强调的是自然的互动，也就是人处于一个虚拟的环境中，与虚拟对象互动，而对电脑的存在却一无所知。在电脑系统中，人类可以使用眼睛、耳朵和皮肤等不同的感官形式，与虚拟环境进行直接的互动。^[2][31]

三维图像的产生技术已比较成熟，而“实时”产生是虚拟现实系统的核心问题。为实现三维图像实时生成，必须确保虚拟场景具有每秒15帧以上的刷新速率，最好高于每秒30帧。因此，在保证图像质量和复杂性的同时，如何提高图像的刷新率是建立虚拟现实系统主要解决的问题。^[2][11]

三维立体显示技术和传感技术的发展决定了虚拟现实的交互性。目前的虚拟现实技术与实际应用还存在着很大差距。比如，数据手套存在着延迟大、分辨率低、作用范围小、操作困难等问题；虚拟现实设备在跟踪精度、追踪距离等方面需要进一步提升以提高用户对虚拟环境的沉浸感。^[11][32]

系统集成技术是将多个硬件和软件组件集成为一个完整的虚拟现实系统的过程。在虚拟现实系统中，系统集成技术包括硬件集成、软件集成和人机交互集成等多个方面，它们相互协作来创建一个完整的虚拟现实体验。其中，硬件集成技术主要包括各种传感器、显示器和计算设备等硬件的集成；软件集成技术主要涉及虚拟现实引擎、渲染技术、物理引擎和人工智能等软件的集成；人机交互集成技术主要包括虚拟现实头显、手柄、体感设备和语音识别技术等交互设备的集成。通过这些技术的集成，虚拟现实系统可以让用户感受到沉浸式的、逼真的虚拟现实体验。^[33][34]

虚拟现实内容的制作涉及到多个方面，包括3D建模、物理引擎、动画制作、虚拟现实引擎等技术。这些技术的应用可以让虚拟现实场景更加逼真、真实感更强，增强用户的沉浸感和参与感。3D建模是虚拟现实制作的重要组成部分，它可以通过三维建模软件，将实际场景或物体建模成虚拟现实场景。物理引擎技术可以让虚拟现实场景的物理特性更加真实，包括重力、碰撞等特性。动画制作技术可以让虚拟现实场景中的人物、动物和物体更加生动活泼，增强虚拟现实场景的真实感。虚拟现实引擎是虚拟现实制作的核心技术，它可以将虚拟现实场景的各个组成部分集成起来，并实时渲染出逼真的虚拟现实场景。^[35][36]

PC/游戏机连接型VR设备：需要连接到PC或游戏机上运行，例如Oculus Rift和HTC Vive等。这种设备的优点是画质较高、控制器操作更为灵活，但需要较高的电脑配置和较大的空间，价格较贵。主要应用于游戏、娱乐等领域。^[37][38][39]

独立式VR设备：不需要连接到其他设备，例如Oculus Quest和HTC Vive Focus等。这种设备的优点是便于携带、使用方便，但画质相对较低，游戏和软件选择也较少。主要应用于娱乐、培训和教育等领域。^[37][38][39]

手机连接型VR设备：需要将智能手机插入VR设备中，例如Samsung Gear VR和Google Daydream View等。这种设备的优点是价格较低、便于携带，但画质和控制器操作较为受限制，主要应用于娱乐和教育等领域。^[37][38][39]

AR/VR一体机：结合了增强现实（AR）和虚拟现实（VR）技术，例如Microsoft HoloLens和Magic Leap One等。这种设备的优点是可以在现实环境中呈现虚拟内容，具有更大的应用空间，但价格较高，主要应用于教育、医疗、设计等领域。^[37][38][39]

虚拟现实技术由于具有良好的沉浸性与互动性，使得其与游戏娱乐行业产生天然的适应性。在虚拟现实技术的加持下，人们可以享受前所未有的虚拟体验。^[40]虚拟现实游戏通常需要游戏玩家通过头戴显示器进行体验操作，玩家在游戏中可以获得高度沉浸感。^[41]虚拟现实技术与传统电影业的结合，使观影者不仅仅做一个观看者，而是成为一个参与者沉浸于其中。虚拟现实演唱会可以让用户随时随地与偶像”零距离”面对面，可以从不同角度观看表演，仿佛声音就在耳边起落。^[42]设备方面，例如：Oculus Quest 2是一款自包含的VR头戴式设备，无需外部计算机或手机支持，可以提供高品质的VR游戏体验。用户可以在这个设备上玩许多不同类型的游戏，从冒险游戏到体育游戏和射击游戏都有。^[43]

在军事领域，虚拟现实主要为武器装备确定需求，为部队模拟训练提供虚拟战场场景，制定作战条令和作战计划等。^[44]当前，各国军队都正努力将军事仿真与虚拟现实训练作为军事实力提高的一个显著标志。例如，美国军方以NASA为首，致力于把虚拟现实技术用于各种武器系统操纵人员，特别是飞机驾驶员和宇航员的模拟训练。^[45]澳大利亚国防部的国防科技集团发起一项探讨虚拟现实和军事防御力其潜在的应用前景的研究等。^[45]

虚拟现实技术的出现给工业领域带来深层次的技术支持，虚拟现实技术的应用使得从工业生产机械设备的运作状态，工况监测数据到产品的装配、调试环节都能实现三维立体可视化，让生产场景真实地呈现在人们眼前。^[46]例如，Ford、Chrysler和Caterillar汽车公司已经把虚拟现实应用于车辆设计。^[47]摩托罗拉公司则应用于训练装配工人，密歇根大学已成立了虚拟现实中心联盟来研究虚拟现实的工业应用，这一联盟包括通用汽车公司、福特汽车公司、克莱斯勒汽车公司等。^[47]设备方面，例如：IrisVR Prospect是一款基于VR技术的建筑设计软件，可以帮助建筑师和设计师更好地可视化和交流他们的设计想法。这个软件可以将建筑设计转换为可交互的虚拟现实场景，让用户在VR中体验和探索建筑物。^[48]

虚拟现实技术所拥有的沉浸性和交互性可以为学习者直接提供可交互的三维立体空间，并将学习者置于主动学习的中心地位，从而有利于学习者对知识的建构。^[49]例如，用虚拟环境技术构建的虚拟物理实验室、化学实验室等，在虚拟实验室中学生可以使用虚拟的仪器进行操作，教师也可以对学生给予及时的实验指导。^[2][49]以虚拟现实技术将图书馆全部信息整合在计算机中，构建虚拟图书馆，用户只需要通过移动鼠标，就可以对虚拟图书馆内的所有数字化资源进行任意浏览。^[49]设备方面，例如：HTC Vive Pro是一款高级的VR头戴式设备，为教育和培训提供了许多可能性。这个设备可以帮助用户学习新技能、研究新概念，例如学习人体解剖学或者在虚拟现实场景中练习操作技巧。^[50]

虚拟现实技术是一种新兴的心理咨询和治疗工具，它可以为客户提供更加真实、沉浸式的体验。在心理咨询方面，VR可以帮助客户更好地认知和处理他们的情绪、压力和恐惧等问题。同时，VR还可以为医生和治疗师提供更直观的数据，帮助他们更好地了解客户的状态和需求，提供更加个性化的治疗方案。^[51][52][53]

VR技术在航空航天领域的应用包括飞行模拟器、维修培训、航空设计和空间探索等方面。其中，飞行模拟器是VR技术最常见的应用之一，可以帮助飞行员在虚拟环境中进行飞行训练，提高其飞行技能和应对紧急情况的能力。同时，VR技术还可以用于航空维修培训，帮助维修人员熟悉机械设备和操作流程。^[54][55]

目前的虚拟现实设备如头戴显示器、VR眼镜等仅能在较大体积与重量下内置CPU与GPU来满足计算速度、传输速率等要求，设备显示的画面质量差、眩晕感明显，头戴设备有较大重量，由此带给用户的体验较差。^[12][13]

受通信网络传输速度影响，现行的4G网络无法满足高分辨率的VR显示要求。在90Hz刷新率情况下，即使是最低的1K分辨率的VR头显也需要21Mbps码率，而4G仅能提供10Mbps的码率，难以满足最低的VR显示要求，用户很难以流畅的速度体验VR视频。^[14][56]

虚拟现实设备的价格相对较高，使得普通消费者难以承受。一些高端VR头显的价格可以达到数千美元，而且使用这些设备还需要一台强大的电脑或游戏主机来支持。因此，VR技术目前仍然主要面向游戏玩家和专业用户等小众市场。^[57][58]

虚拟现实应用程序的数量和质量也存在一定的限制。虽然VR游戏日益增多，但是很多内容质量不高，且缺乏长期的支持和更新。此外，许多VR应用程序还只能提供有限的交互和体验，无法真正实现完整的虚拟现实体验。^[57][58]