手机就能弄个3数字人！中国团队一套“乾坤大挪移”搞定

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

想给自己搞个数字人，还得是3的那种？

现在，这个可以有。

而且只要一部手机，几分钟就能搞定！

瞧，只需要先在手机上挑选一个人物模型：

然后对人物模型的细节做调整，例如眉毛的样式、鼻子的大小高度等等：

就这样简单的点点、划划，一张数十万面建模的高精度虚拟形象就创建出来了！

当然，若是花上更多时间，从面部的其它细节，到身材的比例，再到发型着装等等，都可以一一调成你想要的样子。

但若是光创建出来却不能用，那这个数字分身也仅仅是个摆设罢了。

别急，那就打开手机的前置摄像头，把你的表情和动作show出来，分分钟就可以让这个3数字人跟着你同步动起来。

（女装大佬的福音啊）

这便是来自中国团队的最新研发成果。

但有一说一，以前要是想搞个3数字人，那可真的是费时费力。

不仅打造的周期比较长，对设备的要求也是较为苛刻（主要价格还挺不菲）。

所以现在，打造3数字人，为什么会变得如此easy？

咋就变得人人都可用了？

一部手机就能搞的3数字人，怎么来的？

我们先来浅聊一下这套人手3数字人的“表面功夫”——数字人形象。

在渲染和运行引擎方面，它主要基于的是Epic Games家的虚幻引擎（Unreal Engine，UE）。

目前许多做数字人的厂商，在底层引擎方面也都会选择UE。

但这套3数字人的不同之处在于，它所运行的环境得是每个人都在用的手机。

因此，为了不仅要适配这种情况，还得达到3别的画质，团队在UE材质模块的基础上，自研了逼真的材质效果shader。

例如对毛发的各项异性、皮肤的3S（CG级别材质）表面散射、眼睛瞳孔的深度变化、毛孔细节的强弱变化等等，都做相应的深度优化。

而且为了让捏脸在手机上变得“且快且方便”，团队还开发了特别灵活且高自由度的编辑工具。

就像我们刚才展示的那样，“傻瓜式”点点、划划，就能捏出来想要的效果了：

这套3数字人好上手之处，还在于它支持消费级单目RGB摄像头的AI驱动。

简单来说，就是用你手机的前置摄像头便可以搞定数字人的表情和动作驱动，而且还是实时的那种。

例如在人脸表情驱动方面，团队便通过人脸检测、3D人脸重构、AI等技术，精准地反馈人脸形状、纹理、反射和表情权值等参数。

让数字人在面部表情的驱动能够达到实时且逼真。

同样的，在动作驱动方面，也是可以对捕捉到的视频进行实时处理，并且得到连续稳定的骨骼参数。

哪怕是快速、复杂的动作，也是可以精准hold住。

……

但有一说一，若仅仅是这些形象上的“表面功夫”，要想让3的数字人在手机上实时渲染和驱动起来，那可还真是有点天方夜谭了。

毕竟这要是“换算”到本地来实现，对硬件设备要求的“打开方式”都得是这样的：

高端PC机性能，CPU（2.6GHZ主频、16线程），内存64G，RTX3080显卡，TB级存储……

而且团队还说了，不仅要渲染一个3数字人，要在元宇宙里渲染数十万甚至更多的数字人。

欲达此境，就不得不涉及团队的核心“杀手锏”功夫了。

一套“乾坤大挪移”，了解一下

话不多说，我们直接来揭晓答案：

云原生。

在他们看来，这是能够让所有普通用户拥有3数字分身的唯一“解法”。

因为绝大多数用户使用的消费级手机和PC，性能根本没法满足3数字人实时渲染和交互。

毕竟手机里可塞不了一张3080显卡，就算能塞下，万元起步的价格也确实让人肉疼。

于是乎，团队便把所有的这些麻烦事，一套“乾坤大挪移”统统搬到云上去解决：

唯有如此，才能把3数字人变成消费级这件事彻底打穿。

但这并不仅仅是“挪过去”那么简单。

因为数字人、元宇宙需要的云端环境，并不是传统公有云就能直接上手解决的。

例如传统公有云还是以CPU为主的计算模式和计算逻辑为核心，但面向未来的数字人和元宇宙，还需要视觉层面和图形层面上发力。

若是归拢一下来看，二者的区别便一目了然了。：

传统公有云：CPU+存储+网络数字人/元宇宙的云：CPU+GPU（+DPU）+AI+存储+网络

那么具体的“解题步骤”，又该是怎样的呢？

首先，面对复杂场景的不断迭代，云原生技术体系也在时刻演进中，例如从集中式中心场景到分布式的边缘场景拓展。

边缘计算基础设施，便成为了“解题步骤”之一。

为此，团队自建了云游戏领域最大的边缘计算网络：

在覆盖全国的三十多个边缘IDC中，放置了数万台自研服务器。并将自建的三十余个边缘IDC率先升级至100G。

如此一来，哪怕是面对千万级的实例，也能够轻松驾驭；并且边缘节点100G的升级，也可以应对高速增长的传输和存储压力。

除此之外，还需要应对大带宽超低延迟传输的实时流媒体传输技术，在传输系统层面来“解题”。

例如基于GAN的AI自适应FEC算法，可以优化FEC缓冲和编码实现机制，在延时和丢包场景下寻找最佳平衡点。

在整体带宽增加不超过5%的情况下，该算法可以让流畅度提升80%。

再如UDP+TCP双通道传输策略，在复杂弱网场景下，结合UDP低延时和TCP高可靠的特性，可以将连通率提升到99.9%。

以及智能动态分辨率算法，可以在带宽有限、网络不稳定的情况下，让画质提升1.2倍以上。

但随着基础设施等条件的优化，再上面的平台层也成了老大难的问题。

因为在如此庞大系统的实施过程中，资源如何调度，计算和存储又该如何分离等问题也会接踵而至。

为此，团队自研了分布式百万容器的管理平台来应对。

而细分数字人和元宇宙场景，团队做出的“解法”是行业内首个UEdocker的大规模分布式实施。

如此一来，在全国实时渲染边缘计算节点，以及百万级的分布式UEDocker实例的加持之下，用户就可以就近接入，而且是超低时延和超高精度的那种。

……

这便是“乾坤大挪移”打法的奥义所在。

而也唯有通过这种云原生的方式，才能够支撑在边缘端的元宇宙里，同时渲染并实时交互数十万乃至数百万3数字人的这种需求。

背后的中国团队

至此，也是时候揭晓这家中国团队的庐山真面目了。

它便是于2016年成立的实时互动内容云计算服务商——海马云。

在短短成立7年时间里，海马云已经在业内取得的成绩可谓是斐然。

就在今年3月，根据IDC和信通院联合发布的《全球云游戏产业深度观察及趋势研判研究报告（2022年）》显示：

海马云已覆盖行业90％以上头部客户，每月为超过3500万活跃用户提供云游戏计算服务。

并且在云游戏算力及解决方案中的市场份额，也已经达到了53%，稳居国内第一。

而在这份报告中的描述中，“自研”成为了海马云非常醒目的标签。

例如在2016年成立开始，海马云便自研了高密度ARM阵列服务器，后期又深度定制了基于高端显卡的X86服务器。

这使得海马云能够在大幅提高多路并行GPU渲染性的同时，实现画质上的提升。

加之刚才提到的率先将边缘IDC提升至100G，以及平台层上超大规模容器调度管理系统、实数互动流媒体传输等能力，使得海马云成为业内唯一能提供高性能云端算力的基础上又保持高性价比服务的厂商。

那么接下来的一个问题便是——为何要入局元宇宙、数字人赛道？

首先站在当下互联网的发展节点来看，毋庸置疑的一点便是元宇宙是发展的一个大趋势。

正如全球巨头Facebook直接改名为Meta，微软、谷歌以及国内科技大厂纷纷入局并发力于此。

并且元宇宙已经在开始改变着直播、游戏、开会等方式，甚至对营销、广告、艺术以及科技在产生着潜移默化的影响。

而海马云CEO党劲峰对这种虚拟世界和现实世界结合的过程，有着一个坚定的信念：

如果可以用元宇宙来描述未来的互联网，要想让全球几十亿人都进入元宇宙虚实融合的世界，那么所有实时互动的内容，都应该在云上。

而这，正是海马云多年来所深耕且熟知的领域。

至于为何选择细分的数字人赛道，党劲峰表示：

我们一直在打造面向实时互动内容的云计算核心的基础设施平台和软件能力平台，希望通过我们底层的能力和优势，可以为消费者提供在普通终端上就能享受3别的高质量体验。

不难看出，海马云所要做的依旧是产业离不开的一个话题——降本增效。

从目前结果来看，海马元已经实现了让3数字人“普惠”的目标，那么接下来的一步，有该如何前行？

海马云表示：

我们希望进一步把服务能力从数字人应用拓展到整个互动场景生态。

无论是娱乐社交、电商直播、文化旅行，还是广告营销、企业办公，都希望能够是电影级的高品质场景。

最后，正所谓好不好用还得用了再说。

海马云目前已经开放了Beta预览版PC端的体验入口（手机端也在路上啦~），快戳下方链接或点击文末“阅读原文”，在电脑上去试试吧：

/d/file/gt/2023-09/f0wfiwlum2c 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

《龙族幻想》预约圆满结束 海马云游戏探索手游发行新形态

腾讯旗舰级开放世界RPG手游《龙族幻想》7月15日结束玩家预约，现已开启不删档测试。为了更好的体现超一流的游戏品质，有别于传统手游发行的预约推广方式，《龙族幻想》首次尝试在预约阶段提供游戏云端试玩，以提供超出常规游戏资料片的真实游戏体验，凸显《龙族幻想》的极致拟真体验，提升预约转化。得益于云游戏技术的日趋成熟，本次尝试取得了良好效果。

云游戏技术催生游戏发行新形态

随着手游品质的不断提升，游戏包体也逐渐增大，《龙族幻想》全量包体已经超过6G。预约阶段如何让用户在无需下载安装的情况验到游戏品质，已成为手游发行工作的重点。相较于通过图片/视频等资料片方式了解游戏内容，让用户直接试玩游戏，更能让用户直观的体验到游戏效果。海马云游戏为《龙族幻想》的预约活动提供技术支持，让用户免下载即可体验部分游戏功能，在游戏发行的创新之路上做出了大胆尝试。

7月6日至15日期间，腾讯《龙族幻想》在部分预约渠道为iOS和安卓双端用户提供即点即玩的游戏预约服务，玩家不必下载即可体验捏脸、集赞、排名等丰富玩法，同时方便地预约注册成为游戏用户，还能将捏脸数据继承到18日开启的不删档测试中，有趣的玩法吸引了大量玩家“尝鲜”。

与传统的预约模式相比，云游戏技术可以将预约和正式上线两个阶段更紧密的连接在一起，也能让玩家在预约阶段即可直观的了解游戏品质的高低，再也不会出现官图美如画，实际运行效果却大打折扣的窘况。开发商将会把更多精力投入到提高游戏品质中，通过试玩拉开游戏档次，争取用户用脚投票。在竞争异常激烈的游戏发行领域，这是一种全新且有益的尝试。

海马云服务技术过硬

云游戏试玩的最大挑战是服务器的峰值并发能力，预约活动开启后大量用户同时涌入，高峰期仅2小时总云游戏访问人数就已超过4.5万人次，并发峰值近4千人。同时，《龙族幻想》是目前制作最精良的手游之一，完全安装后体积超过6GB。为了应对大包体、超高品质手游的高并发，保持游戏稳定运行，海马云游戏做了大量工作。

与目前普遍采用X86虚拟化方案不同，海马云游戏自主研发ARM阵列服务器和首创基于容器的安卓虚拟化技术，支持GPU共享，拥有更好的并发性能、更好的兼容性，同时单路并发成本仅为X86架构的四分之一到五分之一。高性能低成本，让海马云游戏能够做到在全国部署超过7000台服务器，通过智能路由分配IDC节点，最高可支撑近万人同时在线，目前国内能够支持如此量级的云游戏服务提供商有且仅有海马云游戏一家。

在《龙族幻想》预约活动期间，海马云游戏用高效稳定的云游戏服务全程为活动提供强力支撑，服务器CPU占用始终维持在80%以下，FPS长时间稳定无下降，活动流程、数据反馈等各项技术指标全部达到要求，体现了海马云游戏专业的技术、稳定的服务和成熟的商业部署。

成熟的SaaS和商用部署 海马云游戏技术领先业界

其实海马云游戏与互联网巨头合作早有先例，2017年海马云游戏与360游戏、阅文集团等达成合作，率先在PC端推出云游戏服务，帮助合作伙伴将优质安卓游戏发行到PC桌面。中国移动旗下的咪咕互娱也与海马云游戏达成紧密合作，将手机游戏跨屏布局到电视端，让普通的家庭机顶盒也能畅玩高品质的手机游戏

屡次与行业巨头达成合作并非偶然，海马云游戏针对手机、电视、电脑等不同业务场景都有完善的解决方案，易用性和性能均处于业界领先地位。海马云游戏可以为企业客户提供安卓云游戏基础设施和“一站式”SaaS服务，能够快速部署云游戏产品，提供即点即玩入口、实现各种业务场景需求。配合完善的后台管理能力和数据支撑能力，可以及时了解云游戏运行状况，方便、实时的调整运行策略。

目前海马云游戏已经实现了电脑、手机、电视、iPad的全平台覆盖，支持超过5000款手机游戏，月活用户近千万，月累计使用时长数千万小时，不断为用户带来完美的多屏互动体验。

海马云游戏助大型手游开发商突破终端性能瓶颈

《龙族幻想》精美的画面和超高的品质获得了玩家的广泛认可，不过由于UE4引擎适配和内存要求等原因，部分低端或旧机型无法进入游戏。腾讯官方列出了不删档测试期间《龙族幻想》暂无法适配的手机型号，并推荐玩家使用手游模拟器和更高配置的手机设备体验游戏。

游戏品质和终端性能的矛盾不但困扰着玩家，同时也是游戏开发商的难题。为了照顾性能和兼容性，开发商往往不会把画面做到极致，把体积开发得过大。本次《龙族幻想》一定程度上做了大胆尝试，为了提供更好的游戏品质而放弃了对低性能手机的支持。

云游戏技术的成熟为大型游戏开发商提供了另一个选择，利用云端算力解决终端性能不足的问题，同时实现最佳的画质、一流的体验和广泛的兼容性，让低性能机畅玩高品质大作，是云游戏技术带来的重大变革之一。

使用海马云游戏技术的云手游APP集游社，目前已实现数千款手游的免下载即点即玩，让大型手游对移动设备的配置要求不再苛刻，同时也帮助游戏开发者解决了跨平台的问题，让安卓、iOS、PC和电视实现互通。被手机性能或内存容量困扰的用户，都可以登陆集游社免下载体验高品质手游。