什么是数字人?数字人普及化会是未来生活的趋势吗?

  近几年来,数字人其实早就以虚拟偶像、主播、员工等方式进入大众视野,而在今年大量的虚拟偶像开始涌入市场,代言,客服等等使得数字虚拟人产业渐入佳境,新华社的数字记者小诤更是让数字人技术成功地走进了航天领域,不久的将来,数字人技术和相关的软硬件设施是否能够逐渐普及,应用在普通人的生活中?全球首位数字航天员:你的好奇心带给我动力

  数字人与虚拟人两个概念多数时候可以通用,相比之下,虚拟人更侧重其在外观、智能等方面与人的相似性,在难辨真假的同时可以进行交互。

  笼统地说,通过3D图像软件或其它模拟仿真工具制作,以数据形式存在的人与类人角色,都可以算作数字人(digital humans),游戏和影视中也可叫做数字角色(digitalcharacter)。

  虚拟偶像,则是从应用场景出发的一种称谓,无论2D、3D或怎样的表现形式,只要以满足用户对成长、美好的向往为出发点进行公开活动,都可划分到偶像范畴。虚拟人可以被打造为虚拟偶像,同样也可以成为虚拟演员、虚拟作家等等。

  按照美术风格,可以大体划分为高保真风格、写实风格与卡通渲染。其中写实-卡通是一种谱系而非存在泾渭分明的界线,而卡通风格也可进一步细分,比如美式卡通、韩系风格、二次元风格等。

  除风格及场景外,虚拟角色还可以按照制作主体、方式、驱动方式进行分类。艺术家从创意想象出发,经过2D原画-3D建模-绑定-动画等流程制作出的,属于PGC类型;一般用户基于平台工具,将自己的照片、视频上传后自动化生成,或组合已有的面部特征、修改参数进行“捏人”的,属于UGC类型。

  让角色动起来的方式也很多样,可以手动调整动画的关键帧,再平滑模拟出过渡帧,实现角色动画;或像MMD那样,导入预先制作好的动画方案,让角色模型舞动起来;还可以通过面部、身体动作捕捉,将真实运动映射到虚拟角色的身体,部分虚拟主播、虚拟偶像就采用这种方案。

  答案是肯定的!

  早在20世纪70年代,对虚拟人的研究就已经在学术界起步。虚拟人(virtual human或computersynthesized characters)指人在计算机生成空间(虚拟环境)中的几何特性与行为特性的表示。

  人是一个复杂体,不同的学科领域,对抽象和模拟人类的侧重点也不同。

  比如体育、军事等,关注虚拟人运动和行为的模拟仿真;医疗领域着重对数字化的人体结构进行重建和分析;图形学、影视的课题则是如何让虚拟人的外形达到真实人类的高度还原。

  因此,数字人已逐步发展为涉及计算机图形学、运动学和动力学、多功能感知、人工智能和虚拟现实等多个学科的前沿交叉领域。随着人工智能研究深入,如何让虚拟人具有一定程度的自主感知能力、逻辑推理、语言甚至情感,成为了学界和产业界共同关心的前沿阵地。医学意义的虚拟人,显然不是我们要讨论的……aa

  现下虚拟偶像和各类虚拟主播的风靡,证明风格化的虚拟角色在商业层面充满可能性。那这些高保真风格的数字人又有可能在哪些场景中被普及呢?

  尽管当下二次元风格的虚拟主播更为主流,但真实系偶像的潜力同样不可小觑。

  当虚拟人的制作精度、动作自然度跨越恐怖谷,自然也有望跨入优质偶像的行列,并有更广的应用场景。

  韩国艺术家金贤日(Hyeong-il Kim)创立的SUA项目正是以打造真实人类形象的虚拟偶像为目标。SUA由CG技术制作,在Unity引擎中实时渲染。

  虽然外形精度不及扫描真人模型后制作的效果,但也足够拟真。如果使用最新款支持面部捕捉的iPhone,小姐姐会模仿你做出扭头、撅嘴、转动眼睛的动作,十分流畅。SUA拥有自己的Twitter,不定期更新自己的日常活动。金贤日正在“培养”SUA的各种才艺技能,让她“出道”后可以应对各种各样的场景任务,如模特、演员、歌手等。虚拟人SUA用iPhone 12 mini实时跟踪的效果

  使用游戏引擎制作写实风格的影像短片已并非难事,但“虚拟演员”,也就是高质量的人形美术资产,在数量和质量上都不易达到影视制作的需求。在虚拟人制作逐步成熟后,这一问题得到了初步解决。

  在2021年Epic官方及合作伙伴发起的短片竞赛中,科幻题材实时渲染短片《K.I.T》就使用了多个虚拟人作为主要演员,以精良制作斩获多个传统电影奖项。

  短片中“出演”的角色包括Renderpeople、3DPeople中的数字人物角色,及从Eisko官网下载的免费高保真虚拟人Demo——露易丝(Louise)。作者布兰登·希尔(BrandonHill)是一位并就读于查普曼大学道奇电影与媒体艺术学院的学生。短片《K.I.T》中的露易丝露易丝照片(左)及渲染后的虚拟形象(右)

  还原已故的名人、亲人形象,虽存在一定伦理挑战,但也是很多人的真实需求。

  韩国MBC电视台纪录片频道在2020年2月曾利用VR与虚拟人技术,让一位母亲与三年前因白血病去世的女儿实现“重逢”。

  母亲戴上VR眼镜后,可以通过触觉手套感知孩子的头发、握住女儿的手,在虚拟空间中与女儿共度生日。

  她在“重新见到”女儿Nayeon时泣不成声,接受采访时表示,“可能这就是真实的天堂”。

  技术人员通过Nayeon生前的影像和对同龄孩子进行动作捕捉,合成了Nayeon的声音、动作和面部表情。另外,台湾电视剧《想见你》中也设计了类似剧情。三寸天堂

  电影《速度与激情7》拍摄中,主要演员之一保罗沃克意外去世。

  虚拟人特效技术复原了他本人形象,以特效完成了剩余镜头拍摄,并特意在片尾设计一段他驶上分岔路、与主角团及观众挥手道别的场景,让影迷们积郁的悲伤得以释放。再见,保罗

  使虚拟人表现更自然,驱动方式更多样。

  特别是面部表情、眼神、肌肉运动的细腻流畅,既需要更多的真实数据、更优质的算法,也需要生物学、图形学、影视业的跨界支持。

  躯体动作的加强也是未来方向,个性化的动作组合能彰显虚拟人迥异的性格,增加亲和力和可信度,这对虚拟主持、主播、客服等需要和直面用户的领域十分重要。

  此外,从用遥感和按键来“操作”角色,到用实时动补、语音和文字带动角色,未来还需要更直观、适合每个人的驱动方式。

  推动产学研多方合作,推进行业联盟建设。

  如数字人类联盟Digital Human League (DHL for short)就是由多个高校、产业、行业专家共同成立,并建立了Wikihuman网络项目,提供来自 DHL 成员的博客文章、图文视频资料及联盟成员可以公开的虚拟人项目文件。

  例如南加州大学ICT视觉与图形实验室就在项目中分享了2015年成果——虚拟人Emily的原始数据、shader步骤、参考图像和模型,使研究者能够跟进与实践。

  加强对人脸数据、AI技术的合理使用,倡导“科技向善”。

  尽管技术上已初步支持通过照片、视频快速生成虚拟人,同时3D虚拟人因为与周围环境融合效果差,较难伪造人脸识别结果。但我们也要在未来发展中,重视加强合理使用和风险防范。

  例如,人脸合成应用初期发布时出现了一些滥用案例,包括合成恶意影像、伪造虚假录像等。业界正在积极开发活体识别等技术,以便能尽早发现和清除网站中的伪造内容。腾讯研究院也在持续跟踪“深度合成”方面的政策进展与技术应对方案。将相关技术部署到虚拟人应用中后,被合成虚拟人冒用身份的风险会显著降低,视频网站和社交网络等内容平台也能快速高效地清理恶意合成的影像。

  更多技术细节和案例,欢迎参看专栏文章腾讯研究院:一文读懂虚拟人:她会梦见电子羊吗?

  答案整理改编自 腾讯研究院 文章:《一文读懂虚拟人:她会梦见电子羊吗?》作者:胡璇