Top
首页 > 正文

全球XR技术分论坛:虚实融合推动VR普及

编者按:10月20日上午,2019世界VR产业大会“全球XR技术分论坛”在江西南昌举办。论坛由南昌工学院承办,江西以太科技园有限公司、优美缔软件(上海)有限公司协办,以“虚实融合发展 引领产业变革”为主题。
发布时间:2019-11-20 09:53        来源:中国电子报        作者:诸玲珍

编者按:10月20日上午,2019世界VR产业大会“全球XR技术分论坛”在江西南昌举办。论坛由南昌工学院承办,江西以太科技园有限公司、优美缔软件(上海)有限公司协办,以“虚实融合发展 引领产业变革”为主题。与会专家学者、业界代表围绕XR技术热点、典型应用等话题进行交流与探讨,共同推进VR行业建设与发展。本报特编发论坛演讲嘉宾的主要观点,以飨读者。

周祖德:

数字孪生是VR和XR典型创新应用

数字孪生是充分利用物理模型、传感器感知、运行历史等数据,集成多学科、多物理量、多尺度、多概率的虚拟仿真过程,完成实体空间在虚拟空间中的精准映射,通过虚实信息交互实现实体生产与装备运行全生命周期过程状态的追溯与跟踪。利用数据馈送来映射物理实体的数字孪生技术,正在对工业众多领域产生颠覆性影响。德国信息技术与新媒体协会BITKOM预测,数字孪生在制造业市场潜力巨大,到2025年将超过780亿欧元。

当前,智能制造在全世界范围内都已奏响春日序曲,数字孪生将有望成为新一轮工业革命的标配技术之一。数字孪生是VR和XR典型创新应用,它包括三个主要部分:物理空间的实体产品、虚拟空间的虚拟产品、物理空间和虚拟空间之间的数据和信息交互接口。数字孪生是通过与产品物理实体之间不断进行数据和信息交互而完善的,它的最终表现形式是产品物理实体的完整和精确数字化描述。数字孪生还可用来模拟、监控、诊断、预测和控制产品物理实体在现实物理环境中的形成过程和状态。对于制造企业来说,数字孪生有时候也用于工厂的厂房及产线在没有建造之前,就完成数字化模型。

许多公司已经将数字孪生从高端领域拉到民众的眼前。例如,工业巨头GE和西门子都不约而同地在工业数字化领域引入了数字孪生的概念。西门子引用数字孪生来形容贯穿于产品生命周期各环节间一致的数据模型;而GE则借助数字孪生这一概念,实现物理机械和分析技术的融合。

未来,数字孪生的理念将不断深化和完善,它将从根本上颠覆制造业体系,数字世界与物理世界的融合将推进到制造领域、自动控制领域,以及其他如生命科学、医疗安保等领域,基于数字孪生的智能制造平台和系统也将不断推出。

杨栋:

软件开发工具促进AR普及

目前,市面上主流的AR软件主要有苹果针对iOS的增强现实SDK(软件开发工具)——ARkit,谷歌针对安卓的增强现实SDK——ARCore。

ARKit和ARCore问世后,促进了AR在移动端的普及。ARKit具有的功能包括:世界地图功能——通过扫描环境,并将每个用户重新定位到相同的坐标空间来创建多用户体验;对象检测功能——扫描并检测现实世界中的3D对象,然后相对于扫描对象,放置虚拟内容;环境探针功能——使用找到的平面和特征点,基于环境创建立方体贴图,立方体贴图可用于反射探针来创建反射现实世界的数字对象;面部追踪功能——使用深度相机跟踪用户脸部,在运行时生成网格以及混合形状系数的值;图像追踪功能——检测并跟踪已编译到应用程序中的已知2D图像,在检测到图像的位置创建一个锚点,并在图像移动时更新。ARKit 3.0还具有如下独特功能:人体遮挡功能——使用基于机器学习的身体检测来呈现人体、手和脚遮挡虚拟物体的情况;动作捕捉功能——通过追踪多达91个独特关节来捕捉人体的身体动作;同时使用前后摄像头——在捕捉面部动作或眼睛注视的同时,将虚拟内容放置在后置摄像头的世界中。

谷歌的ARCore具有的功能包括:云锚点——在现实世界中放置AR锚点并将其同步到云端,在另一台设备上解析此锚点,以创建多用户体验(适用于iOS和安卓);有朝向的特征点——特征点可以具有与之关联的方向矢量,帮助将虚拟内容放置在非平坦和非垂直或水平表面上;面部追踪——基于相机的面部跟踪,生成网格,并在左前额、右前额和鼻尖处生成锚点,可放置虚拟内容;全新环境光估计模式——360°高动态范围照明,可获取光的数据并将其扩展到场景中,呈现精确的阴影、高光、反射等元素;即时预览——将客户的移动设备连接到Unity编辑器并测试ARCore功能,而无需构建设备;增强图像——基于内部数据库检测和识别2D图像,可以在运行时更新图像数据库以创建特定图像的锚点。

Unity推出的AR Foundation软件是针对多平台的增强现实SDK,目前它支持ARKit和ARCore,但AR Foundation的目标并不局限于ARKit与ARCore,它的目标是建成一个统一、开放的AR开发平台。AR Foundation支持Unity的轻量级渲染管线,实现一些独特的视觉特效,还可访问原始相机图像,以进行自定义计算机视觉处理和其他效果。此外,AR Foundation 2.2支持ARKit 3.0的所有独特功能。

里贾纳·玛利亚·巴克:

AR在艺术教育中大有用途

现在很多人开始重视艺术教育,相比于传统教育,AR用在艺术教育中具有无与伦比的优势:三维直观,很强的互动性,AR技术仿真和交互的特性,能让学生看见虚拟3D内容及周围真实环境,体验开放式互动艺术的空间纬度,能如身临其境般体验艺术品带给人的震撼。

我们在艺术哲学与实践这门课程中采用了AR技术,利用增强现实设计工具,开发AR组件及相关模型。在开设课程前,我们必须弄清楚以下问题:艺术教育中混合现实的具体性质是什么?AR设计工具(美学/体验/设计)的表达方法有哪些?我们将课程分成六个阶段:第一个阶段是设计艺术教育混合现实软件,其间会不断增添新功能及新应用;第二个阶段是经验积累阶段一,关注学生、教师、大学工作人员感兴趣的主题;第三个阶段是数据分析阶段,采用混合方法和扎根理论分析方法;第四个阶段是重新设计艺术教育项目阶段;第五个阶段是经验积累阶段二,即以从业者的视角进行开发;第六个阶段仍旧是数据分析阶段。

这个课程对AR技术的启发性和多样性重新进行了定义,它对学生的艺术教育起到了积极的促进作用。

科迪亚·卡瓦延科:

VR正在改变高等教育的学习方式

教育是社会繁荣的基础。从一开始,人们就在不断探索更快、更容易、更高效地掌握知识的方法。新一代的孩子们(在1995—2005年出生的这一代人),正在改变高等教育的学习方式,这一代人很早就开始使用互联网,对新技术非常熟悉。

在当今数字时代出生的年轻人,不仅是虚拟现实的新兴力量,也是这个技术的未来。有了这些利用沉浸式技术的新的学习方法,年轻一代不仅会成为早期的技术使用者,而且还会利用虚拟现实作为一种强大的力量驱动他们的未来。

虚拟现实意味着学生们不再采用传统的方法学习,他们不再被限制在房间里,这给他们带来更多认知上的改变。有了VR技术,可以让学生更有兴趣、更有动力地学习,而且这项技术能够帮助他们更好地记住这些知识、更好地参与学习活动,这也意味着他们可以在任何地方进行互动性学习。同时,实时的互动可以使得他们能够将知识即时分享,改善他们学习的绩效,从而获得更多的技能。

VR打开了教育的大门,毫无疑问,它将改变我们所知道的世界,教师的作用将会从传授者转变为知识的传播者、促进者。

陶飞:

让数字孪生技术服务更多行业

数字孪生概念在2003年首次出现,2011年左右逐渐进入人们的视野。数字孪生是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真,从而反映相对应的实体的全生命周期过程。数字孪生由三部分构成:物理空间的实体产品、虚拟空间的虚拟产品、虚实之间的连接数据和信息。目前,美国、中国、德国这三个国家开展数字孪生研究最多。从产品的维度讲,数字孪生在产品的中期和后期应用最多,在前期即设计阶段目前才刚刚起步。

数字孪生在11个领域的45个细分类里都有应用,这11个领域包括航空航天、建筑建设、电力、健康医疗、汽车、油气、船舶船运、城市管理、智慧农业、安全急救、环境保护。

我们团队在思考如何让数字孪生的先进技术服务于更多的行业,如何和IT进行融合。基于这样的思考,我们主要对扩展数据和服务提出数字孪生的模型。我们把这个模型也用到了车间里,提出了数字车间的概念。车间物理空间与信息空间的实时交互和进一步融合,是实现智能生产和智能制造的迫切需要,是车间未来发展和演变的趋势。数字孪生车间实现虚实融合,数据驱动,全要素、全流程、全业务数据的集成与融合以及迭代运行与优化。有了这样一个模型之后,我们就可以对车间单个设备建立它的单个数据孪生来进行数据智能管控,对单个或多个设备实现智能制造,并实现生产要素配置、生产计划,以及生产过程的最优。

刘应机:

构建虚拟环境增强互动

XR是虚拟现实(VR)、增强现实(AR)以及虚拟世界(Virtual Environment)的总称。它是一个交叉平台,是跨领域、跨虚拟和现实的。

香港大学从1998年开始进行VR的研究,我们开发了很多系统,也和其他机构共同合作了很多项目,不断推动VR、AR技术的发展。

我们结合顶尖的工程设计和创新的虚拟技术研发出imseCAVE VR系统。它结合感应器、分布式计算、大数据处理和管理等技术,能提供高保真度和极其生动的立体视觉效果,构建互动虚拟环境,令使用者如置身现场,通过连接数据手套、跟踪器、操纵杆以及运动平台等来增强在虚拟环境中的互动。

香港大学工程学院工业及制造系统工程系和清华大学现代物流研究中心建立了一个imseCAVE系统研究团队,可随时在虚拟实境系统中做实验,并在一个相对安全的环境中对操作系统的参数进行研究。imseCAVE系统不受时间和空间限制,可以快速地构建虚拟环境。通过这样的方式,我们可以使用共同的平台,分享我们的想法,把相关领域的内容快速地结合在一起。

林华:

720°银幕改变观影方式

我个人认为虚拟现实可分为艺术的虚拟现实、艺术设计的虚拟现实、艺术的虚拟不现实、科学的虚拟现实和科学与艺术结合的虚拟现实。科学与艺术结合的虚拟现实介于艺术的虚拟现实与科学的仿真之间,虚拟现实的硬件和内容是相辅相成的关系。没有硬件,内容就没有可视化的载体;没有内容,硬件就是一堆废铁,而内容主要由视觉艺术制作结合计算机科学和其他科学技术来实现。

虚拟现实的载体与形态显示载体包括电视、LED、VR头盔、VR头显、VR眼镜,幕的形态有平幕、折幕(三折幕、四折幕、五折幕)、180°弧幕、360°环幕、球幕(外投球幕、内投球幕)、异形屏幕以及720°银幕,幕的材质有布幕、网孔幕、涂料幕、水幕、纱幕、全息膜幕等。

VR电影可用于艺术娱乐,如3D、4D、5D动感影院、飞行影院、球幕影院、演出、黑暗骑乘、光影展示、游戏等;或是其他领域,如科技、军事、医学、建筑、教育、考古、旅游等方面。

目前,VR影片存在不少问题,比如VR片源、VR影片拍摄设备和播放设备、VR影片拍摄人员、VR影片导演经验、VR影片的制作、VR影片与全景声、VR影片的观看、虚拟现实超高清片的美学等。

720全景沉浸式动感体验影院属于异形屏幕,可将5D动感影院、飞行影院、球幕影院和黑暗骑乘的优点结合起来,它将是21世纪具有中国知识产权的独特的观影方式。

刘洋:

人工智能对XR有很大促进作用

我们认为,VR的终极形态是经由NG网络通过大脑中的芯片,无线连接到云端,进行虚拟世界的云渲染和云计算。现阶段5G网络已经逐渐普及,未来,网络将逐渐升级到NG网络,通过大脑中的芯片跟云端无线连接,实现终极的虚拟状态,实现虚拟和现实的随时切换。

XR包含VR、AR、MR,它是一个综合的状态。VR可以在云端进行渲染,不需要进行本地计算,通过人工智能分析,在云端进行预判,将你看到的景象传到AR和VR头显。人工智能会搜集大量AR、VR的数据,也就是说,它能为未来的虚拟世界提供大数据保障。

在教育领域,人工智能通过对学生的分析,生成学生最喜爱的教师形象,并根据学生的智力水平和身体状态、情绪来调整课程的进度和难易度。这样,在虚拟世界中的教学会让学生产生更大乐趣,而且更直观。在健康和医疗领域,通过AI加XR,我们可以创建虚拟医生,它可随时分析你的身体状态和情绪状态,并能提供三维可视化的形象。也就是说,人工智能医生会提供一个你身体的360°全息影像,让你实时了解你的身体状态,并为你提供餐饮和运动的建议。

肖蓓蓓:

XR助力高校人才培养

经过十几年的沉淀,在虚拟现实领域有很多引擎平台,Unity是目前全球应用最广泛的实时内容交互平台。它有极强的跨平台能力,可以通过一份代码同时部署到多个平台,因此用户在做VR、AR应用内容的时候,可以发布到Unity所有的应用平台。截至2019年8月,全球Unity的开发者已经达到1330万人,其中60%的XR作品是使用Unity制作的。截至2018年年底,Unity共覆盖了192个国家,并以每年140万新增学生开发者的速度增长,一共覆盖了30亿台设备,共实现280亿次的安装量。

XR技术对中国高校教育体制改革起到了很大帮助,教育成果已经得到K12和高校的普遍认可。如何让学生会使用Unity工具做开发和如何将Unity开发的内容应用到各类专业学科的教育中去,是两个维度的问题。

Unity首先要解决的是让更多学生、老师使用软件。因此,在过去的几年中,我们已经将Unity植入到了非常多的高校的计算机、数字媒体、汽车与建筑专业中。

我们与高校合作,从技术支持、课程体系建设、人才培养、作品扶持、工作就业等几大方面落地Unity全球教育合作伙伴计划,为成为Unity全球教育合作伙伴的院校提供教师培训、在线课程学习账号、上课使用的教育版软件、Training Workshop课程资料,以及认证考试等全配套材料。

李宇飞:

新兴技术推动AR落地

商汤科技是计算机视觉和AI领域的独角兽,所以我们对计算机视觉领域,包括AR、VR投入了相当大的精力进行研究和产业落地。我们认为AR时代一定会到来,一方面是因为AR已经发展了几十年,很多技术已经成熟,包括微软、谷歌、苹果、华为、商汤这样的大公司或创新公司也都在持续进行技术研发。另一方面,AI、5G、大数据、云计算等新兴技术的成熟,也在推动AR的落地。而人类对信息获取的贪婪性,从语音、文字,到图片、视频,再到更高频、高密度维度的信息获取,更促进了AR的快速发展。

人类对单位时间所能获取的信息数据量的追求是无止境的,而AR是虚实融合的单位时间里更高密度的信息展现方式,所以一定是未来的方向。

商汤SenseAR就是针对不同硬件的AR功能和服务的解决方案,其底层是支持手机平台和眼镜平台的硬件,中间层是提供环境和人能够理解的算法和AR云的算法,再向上能够支持行业客户和开发者。

SenseAR的发展肯定不是一家公司就能完成的,所以我们要拥抱开发者,首先肯定要和Unity合作。目前全球超过2000个以上的APP都是在Unity上完成的,拥抱Unity就是拥抱最大的开发者生态,所以商汤也主要与Unity合作,这样可以方便开发者更便捷地进行开发。目前,商汤和Unity开展了战略合作,我们的senseAR会集成到Unity的Arfundation里,这才是拥抱的实质性操作。

鲍健运:

利用面部动作捕捉技术创造更多动画角色

面部动作捕捉技术是通过摄像机、激光扫描技术,将人脸主要特征点的数据保存下来,并将这些数据用到游戏及动画中。面部动作捕捉技术流程如下:立体标注工具采集阶段,通过摄像机经过扫描仪去获取人面部的数据,然后转换到2D到3D的AAM(动态外观模型)统计模型构建阶段,接着是2D到3D的AAM几何合成阶段、3D面部动画前端阶段,最后形成3D角色面部动画。

Unity开发的面部动作捕捉解决方案Facial AR Remote以一种低成本方法,通过已连接设备,直接将画面捕获到Unity编辑器中。

Facial AR Remote由客户端手机应用程序组成,在获取面部数据后,发送至Unity编辑器中。接下来,编辑器对数据流进行解码,并实时更新角色。利用Facial AR Remote和Unity的其他工具,人们可以创建出更多优秀的动画角色,比如虚拟主播(Vtuber)的直播或录制节目、游戏中角色动画录制、影视中3D动画片制作等。

合作站点
stat