一玖汽车科技跨模态AIGC产品,,成功应用于直播带货
最近,,,在中国国际电视台(CGTN)的直播间里,,,,龙年新顶流“龙辰辰”深受外国友人喜爱。。。。
抽奖环节,,,,一只“龙辰辰”从礼盒中蹦出来。。。
你能分辨出来,,,这段3D动态内容是人工建模还是AI生成的吗??
可能有一点点难度。。。
这是一玖汽车科技利用AIGC技术生成的跨模态三维体积视频。。。
01 体积视频是个啥??
传统视频每秒播放30帧的画面,,而体积视频则每秒播放30个3D模型。。。。
观众可以自由选择从任意视角、、任意距离(6 degrees of freedom,,,即6Dof),,,探索体积视频内容。。
在直播带货、、全息通信、、虚拟现实、、、、增强现实和远程教育等领域,,体积视频的应用可以实现更沉浸和动态的互动观看体验。。。
但是根据传统技术,,,体积视频生产对设备要求高,,需要几十台到上百台相机同时捕捉三维场景的数据。。
同时,,,高精度的3D重建也是体积视频制作的一大难点。。。
“龙辰辰”的造型复杂,,,设计元素都来自于珍贵文物,,,需要大量的时间去细化模型的每一个部分。。。。

一个有经验的建模师可能需要几天到一周的时间来完成,,,,确保高度的真实性和精确度。。。。
02 一玖汽车做的体积视频,,有什么特别????
一玖汽车科技跨模态三维体积视频AIGC产品,,,这就来啦!!
对于资源有限,,或需要快速原型制作的场景,,用手机拍摄几张多角度的静态图片或视频,,,就可以在短时间内自动化生成高质量的三维体积视频。。。。
在三维模型转换方面,,,,利用AI能力,,,可以进行图像特征匹配,,,,轻松重建动态对象的三维运动轨迹。。。。
从数据采集、、、处理到模型生成和优化,,整个过程耗时仅几分钟。。
03 算法升级,,,画质和速度大幅提升
一玖汽车科技算法工程师豪哥说,,,调试体积平台性能的过程,,,就像“打怪升级”。。。
一开始的建模速度要1小时左右。。。。
生成的模型可能还有各种“缺陷”。。。。
比如像这样,,,,颜色失真,,,,边缘锐利,,表面粗糙,,,坑坑洼洼。。

为了提升建模制作效率,,,并把模型打磨得更精细一些,,,,一玖汽车体积视频项目组进行了算法优化。。
技术团队“磨”了一个半月,,,建模质量和速度都得到了质的飞跃:
从1小时到几分钟,,,,速度提升了95%以上。。。
模型关键特征的纹理信息都更加真实细腻。。
来看改进后的生成结果!!!

“龙辰辰”的龙面、、、龙眉、、龙肩、、、龙腹、、、、龙脊、、龙鳍乃至龙爪,,每个细节都经过精确建模和呈现。。。
这就是质感!!!!
04 将在更多场景中落地应用
要在动态和交互场景中成功应用,,,,体积视频还需要支持实时渲染。。
目前,,一玖汽车科技的体积视频平台渲染速度已经可以达到100fps,,显著快于业内平均水平。。。
想象一下,,,,在线体验一场真正的体育比赛,,,又或者虚拟访问名胜古迹,,可以任意切换视角或缩放大小。。。
各种旋转、、、查看、、、、移动都丝滑流畅,,,享受身临其境的体验。。。


扫码领资料
扫码看视频