突破幻象元宇宙！西湖大学团队开发虚拟现实触感交互系统浙江日报2023-06-09 09:05浙江日报2023-06-09 09:05
潮新闻 见习记者 涂佳煜 通讯员 徐珊
交互系统中的手持装置实物。西湖大学供图
6月6日凌晨，苹果公司全球开发者大会后，元宇宙再一次成为热词。苹果公司推出了它第一款混合现实头戴式显示设备Apple Vision Pro，标志着又一科技巨头向虚拟现实产业进军。
时间倒回1992年，美国作家尼尔·斯蒂芬森在科幻小说《雪崩》中，第一次向世人展示了接入元宇宙的方式：戴上耳机和目镜，找到连接终端，就能够以虚拟分身的方式进入由计算机模拟、与真实世界平行的虚拟空间。
从耳机、目镜，到虚拟现实、增强现实，高科技设备为我们打开了元宇宙的入口。当头显里的LED屏幕亮起，使用者便产生了置身于数字世界的实感——即便，眼前的事物都只是视听效果制造的幻象。
近日，西湖大学姜汉卿团队发表在《自然》杂志子刊《自然-机器智能》上的一项研究成果却告诉我们，元宇宙可以不只是幻象。他们在国际上首次提出并开发了“高保真主动机械触感交互系统”，为元宇宙带来了全新的触觉感知维度。西湖大学工学院博士后张壮为本文第一作者，西湖大学工学院讲席教授姜汉卿为该文通讯作者。
而这项突破，竟然还与中国传统手工艺“折纸”有着奇妙的联系。
高保真主动机械触感交互系统的局部结构。西湖大学供图
捉摸不透的触觉
比起视觉与听觉，人类的触觉一直更加令人捉摸不透。
在感官机制的研究上，科学家揭开触觉奥秘的过程比听觉与视觉要艰难得多。2021年，美国科学家大卫·朱利叶斯和阿登·帕塔普蒂安因发现温度和触觉受体获得诺贝尔生理学或医学奖。而早在上世纪60年代，科学家就分别因为“发现耳蜗内刺激的物理机理”和“发现眼内视觉的初级生理和化学过程” 获得了两届诺贝尔奖。
触觉很神秘。在人类的五感中扮演着极为重要的角色——视、听觉在信息接收方面居于主导地位，味、嗅觉处于辅助地位，触觉则居于根本地位。已有研究表明，人可以仅依靠“察知触觉”来识别物体及其属性特征，伴随着触碰的过程，情绪、情感在一定程度上也会被唤醒。我们据此获得对外部世界的体验与认知。
触觉如此不可替代。研究者们也很快意识到，它是元宇宙世界缺失的一块重要拼图。
媒介理论家麦克卢汉有一句著名的论断：媒介是人体的延伸。问题在于，如何才能找到延伸触感的媒介？
震动是最初级的形式。早期出现的一些游戏手柄，能够根据游戏内容配合不同的震动方式，让使用者感受到引擎启动、子弹发射的瞬间。
2019年，柔性电子之父、美国西北大学约翰·罗杰斯院士联合黄永刚院士开发了一种无线、无电池的触觉制动器，它类似一种覆盖在皮肤上的“贴片”，使用的原理仍然是机械震动。震动模式可以通过编程操控，从而模拟VR/AR情境下人的触摸、物品的性状、身体的碰撞等。
2021年，科技巨头Meta发布触觉感知手套，用压力大小调控触觉。从外观上看，这款手套上布满了可伸缩、活动的黑色充气塑料垫。握住一个虚拟物品，手指上的气阀会充气压迫来模拟阻力；塑料垫轻轻拉动皮肤，还能模拟重力牵引的效果，让人感受到物体的重量。
然而，密切关注这些研究进展的姜汉卿告诉记者，如果把这些模拟触觉的方法归归类，会发现，它们本质上都是在用设备将触感“灌输”给你：当你拿到一个虚拟的物品，你获得的触感来自于马达的振动、气囊的膨胀，就像坐在4D电影院里突然感受到座椅的晃动，实际上，是机器在碰你，而不是你在碰机器。
姜汉卿将此类触觉称为“被动触觉”，在日常生活中，接收被动触觉的部位大多是肩、胸、腰、背。而人的手和脚，应当是“主动触觉”的主要器官。“简单理解，主动触觉来自我们主动发起的行为，需要我们有意识地控制肌肉发力，去触碰眼前的物体。”姜汉卿解释说。
能否将“主动触觉”也引入元宇宙中？姜汉卿团队摆脱当前虚拟现实交互的思维定式，开始了新的探索。
姜汉卿。西湖大学供图
“折”出真实的体验
传统折纸艺术的魅力，在于以平面塑造空间，以简单塑造繁复。
运用最基本的几何原理，薄薄的纸张能被折叠成多样的立体造型。反过来，一块极小的折叠起来的纸块，展开后也能形成很大的面积。
这和触觉交互有什么关系？
让我们从姜汉卿对折纸力学特性的兴趣说起。
2020年，姜汉卿曾发表过一篇学术文章，通过“曲线折纸”的折痕切换实现材料正刚度、零刚度，直到负刚度的原位调节。这是一次纯粹的力学原理探索。对于姜汉卿来说，他非常享受用纸张这样简单的物品设计复杂解决方案的过程。
科研上，姜汉卿是一位“跨界达人”。后来，他想到把这种折纸与机器人研究结合起来。“折纸材料可能很软，但是依赖于不同的折叠方式，折纸结构又会变得很硬，基于折纸结构的机器人，就可以随时调节软硬程度。”
再跳跃到虚拟现实的应用中，一款能够任意调节软硬度的设备，不恰好能够模拟不同类型的物体特征，供使用者去体验吗？
姜汉卿团队设计了两款交互装置：一种可引发局部触感的手持式装置, 用户可通过主动抓握，体验不同物品的软硬程度；还有一种可以产生全身体感的脚踏式装置，用户可通过主动踩踏，以全身运动的形式体验其所处的环境地面的特性。
手持装置的外观是一个球体，上面的5个位点对应人的5根手指。仔细观察装置内部的结构，每一个位点下面是呈现“X”形状交叉的两片成组的曲线折纸塑料片。电机带动10个塑料片扭转成各种不同角度，就形成了对应不同物体材质的不同“软硬度”。
与之配套的脚踏式装置原理一样，差别在于踏板下是钢片而非塑料片，而且数量更多、矩阵排布，通过拉绳的方式改变曲线折纸的角度，从而改变刚度。
当使用者按压位点时，曲线折纸会弯曲成不同的角度，产生不同大小的反力，给予用户不同的“弹性”反馈。这种触觉的变化传递给大脑，大脑就会根据“软硬”做出判断：抓到的是棉花，是木板，还是钢球。如果把手换成脚，大脑同样会根据脚所传递的刚度反馈，来判定人是走在马路上、草地上，还是踩在冰上。
最后，团队还通过用户调查、肌电图、心率测量等手段检验了用户使用设备的真实感受。
体验者站在虚拟的冰面上，随着踩踏力度的加大，折纸材料会在某个瞬间产生结构塌陷，突破负刚度，与之对应的是VR眼镜中冰面突然出现破裂。踏空坠落的失重感使体验者的心率曲线瞬间达到高峰。
虚拟世界，就这样拥有了真实世界的触感。
参观者在2023世界移动通信大会上体验虚拟现实技术。 新华社发
应用空间无限大
姜汉卿给类似的折纸装置起了个名字，叫做“折纸机械超材料”。
“折纸”折的不一定是纸，所谓“超材料”，也并非某种特定材质的物质——超材料的性能不依赖于材料本身的分子结构或者晶体结构，而是依赖于其精巧的构型。
结构决定材料性能，这带来了一大优势。无论是“手球”里的塑料片，还是“踏板”中的钢片，都是团队网购取得的，可以被替换为任何有弹性、低成本的材料。姜汉卿说，实验室里最多的就是美工纸，探索结构的力学性能，简简单单的纸张就足够了。
当然，用于折叠的平面材料也可以变得很“豪华”。
姜汉卿最早接触折纸时，研究的是“折叠电池”。他们将构造锂电池需要的各种材料切割后堆叠在一起进行整体封装，再通过“折纸”制作成型。如此一来，便可以实现十几倍的反复拉伸、弯曲和扭转，同时保持着电池容量和输出功率不变。
在本次研究里，他们选择从“机械触感”，也就是材料的刚度、物品的软硬度入手，模拟手和脚主动触摸物体时的感觉。而除了刚度之外，对物体表面纹理、温度、湿度等的感知也是触觉的组成部分。借鉴“折叠电池”的原理，这些触觉体验同样可以通过在折纸材料中使用柔性电子工艺集成大量的传感器件来实现。
此外，团队还希望在未来用折纸打造更大尺度的虚拟体验，在更大的场景中实现交互。
姜汉卿大胆展开设想：“想象一个房间的地面上布满了折纸装置，如果虚拟世界中的我想要坐下，地上就能‘生长’出一张椅子，想划船、想骑摩托车，装置就能模拟出船和摩托车的形状来……”
除了更真实的娱乐体验外，这项研究在虚拟现实技术支撑的其他人机交互领域，也有着非常广阔的应用空间。
论文中列举了一些可能的应用场景：主动触觉技术可以用于医疗诊治和康复训练，帮助肢体受伤或者中风患者重建触觉感知力；VR场景配合能够模拟跌倒感的脚踏装置，可以用于恐高症患者的治疗；在使用VR模拟深海、太空等极端环境，辅助特殊人员训练时，引入主动触觉能帮助他们更全面地认知环境，从而做出更加理性的选择……
从折纸到元宇宙，姜汉卿对新事物的探索一直乐此不疲，但他同时相信，“科研需要创新，要有societal impact（社会影响力），要对这个社会真正有贡献，所以我的实验室叫做Beyond mechanics with societal impact（有社会影响力的跨力学实验室）。”
从这项研究中，我们正看见了想象力创造社会价值的力量。
日前，苹果公司推出的它的第一款混合现实头戴式显示设备Apple Vision Pro。（图源为苹果公司官网）
延伸阅读
虚拟现实技术赋能千行百业
据新华社消息整理
游戏无疑是当下虚拟现实成熟、普及的应用场景。不过，令人关注的是，随着大公司陆续进场、企业投入不断加大，虚拟现实产业正逐渐褪去单一的游戏娱乐色彩，向更多应用场景拓展，加速与千行百业的融合。
工业生产
当前，虚拟现实技术在工业设计、制造装配、操作维护、产品展示等方面应用较多，对生产数据进行可视化改造，以实现智能化生产、可视化管理、数字化决策。以工业互联网为主业的宝通科技公司2022年7月发布了数字孪生智慧矿山系统，基于AR和VR智能设备、裸眼3D混合现实空间等数字化产品，构建了矿山应用场景的数字画像，加速矿山各个生产环节的智能协同。
医疗诊断
虚拟现实技术正在成为传统医学手段的有效补充，有效提升了病例讨论、教学查房、远程医疗、医患沟通的效率。借助一种基于三维智能影像技术的智能医疗影像系统，医生可以直观、精准地定位病灶，还能实现远程会诊、双向实时互动等。
文化旅游
深圳市文化广电旅游体育研究中心研究显示，文旅产业在虚实融合中走出了一条新路径，虚拟现实设备成为文旅产业生态的新入口。在杭州西湖，游客只需要一部手机，对着实景扫一扫，就可以开启AR导航导览模式，体验沉浸式实景导航以及虚实融合导览体验。在重庆三峡文物科技保护基地，虚拟现实技术越来越多地被引入到文物科技保护领域，观众戴上特制的头盔，就可以身临其境体验文物修复的过程。
智慧生活
以虚拟现实、数字人、数字孪生等元素为特点的虚实共生新型社会形态正在从科幻走向现实。南昌等城市推出了数字孪生城市平台，助力城市智慧综治、智慧平安社区、智慧政务等多重领域的数字化升级；OPPO公司最新发布的单目智能眼镜，支持触控、语音、手势、头动操控四种交互方式，可以实现导航、天气预报、健康信息推送等功能，未来有望在健身、办公等场景中发挥作用。
教育培训
在虚拟现实、5G、人工智能等前沿技术的融合发展下，虚拟学习资源、全息互动教学、VR/AR教育科普应用等新型教育方式应运而生。在广州，一些中小学在科学课堂上引入虚拟现实技术，以更直观更生动的方式引导学生探索地球、生物、人体的奥秘；借助VR眼镜的超高清视觉体验，北京等地的驾校开始尝试“VR+驾驶培训”，坐进VR智能驾驶培训模拟器，学员眼前就会出现真实还原的道路，各种天气、路况都可以进行模拟。
“转载请注明出处”
举报/反馈
发表回复