淘宝直播 3D 虚拟空间应用探索.docx

淘宝直播3D虚拟空间应用探索

罗中柱

阿里巴巴高级无线开发专家

01业务背景介绍

+

+

目录02

目录

03云渲染技术的难点与挑战

04总结与展望

D2TERMAINAL

业务背景介绍

业界情况

开发平台和社区ROBLOX社交场景3D化

开发平台和社区

ROBLOX

社交场景3D化

ZEPETYO

堡垒之夜

淘宝直播

云端实时渲染3D直播从2D到3D内容表达形式的升级

云端实时渲染

3D直播

2D直播

TaoLiveCity-未来城

基于云渲染的首次电商场景大规模应用

核心技术：

?云渲染技术

?3D制作技术

?数字人技术

?多人互动技术

什么是云渲染

云渲染

以云计算为基础的渲染方式，本质为交互式在线视频流

?流送并非播放预先录制的视频片段，而是播放云端实时生成的渲染帧和音频

?用户可以通过键盘，鼠标，触摸事件控制画面渲染

云渲染优势

轻量级

即点即用

摆脱超级APP包大小限制

迭代速度快

大场景

云端强大的GPU算力

专业级别的显卡

可规模化伸缩

游戏引擎

PC端成熟的商业游戏引擎UnrealEngine

Web/PC/移动触控渲染解码拉流WindowsPC渲染

Web/PC/移动

触控

渲染

解码

拉流

WindowsPC

渲染

UnrealEngine

采集

编码

推流

场景内容制作

模型设计

资产导入

地形编辑

灯光调整

性能优化

服务端

用户调度

多人互动服务

云主机调度运维

多媒体服务

GRTN

基于WebRTC低延时传输通道

云计算基础设施边缘｜中心｜网络

云渲染技术的难点与挑战

核心挑战

好看场景未来感如何保障高清画质？

好看

场景未来感

如何保障高清画质？

好玩

多人互动

如何支持万人在线？

单人自主漫游

如何保障百毫秒延时？

好看：高清画质

如何做到1080P30FPS渲染？

网格体的数量，视野范围，光照计算

实时渲染考验的是CPU和GPU的处理能力

渲染流水线命令缓冲区渲染模型A改变渲染状态渲染模型B改变渲染状态

渲染流水线

命令缓冲区

渲染模型A

改变渲染状态

渲染模型B

改变渲染状态

CPU

应用阶段

添加命令

读取命令

GPU

几何阶段

光栅化阶段

场景数据：?

场景数据：

?摄像机位置，视锥体，场景模型，光源

?粗粒度的剔除工作

?点，线，三角面

?顶点作色器，逐顶点像光照绘制

?片元作色器，逐像素光照绘制

?绘制到屏幕

渲染优化-模型合批

RAM

命令缓冲区

渲染合并后的模型

显存

渲染模型

渲染模型A

渲染模型

渲染模型B

渲染模型

渲染模型C

渲染模型

渲染模型A

渲染模型B

渲染模型C

CPU在RAM把多个网格体合并成一个更大的网格,在一个DrawCall中完成渲染

渲染优化-LOD

LevelofDetail

LOD

面数

保留比例

LOD0

8320

100%

LOD2

4160

50%

LOD3

2080

25%

LOD4

1040

12.5%

原始模型LOD模型

渲染优化-光照烘焙

静态光照贴图

体积光照贴图

好逛：单人漫游

如何做到百毫秒操控延时？

方向速度

网络传输

延时拆分

用户移动按钮缓冲解码渲染画面

手机端

T0T7T8T9

信令传输画面传输

网络传输

T1T6

收到操控指令渲染完成编码完成组包发送

云渲染端T2T3T4T5