Luma AI UnrealEngine5 流程初测
最近看到Luma AI出了unreal engine 5的插件,下载插件可以直接使用,免费,无需申请。
https://docs.lumalabs.ai/9DdnisfQaLN1sn
初步测试结果
生成道具和场景的时间基本30分钟左右(以1~2分钟视频作为素材为例)

进入ue的nerf数据精度并不高,还原不了nerf 基于固定相机轨迹深度学习处理后的nerf视频的效果主要是解决了nerf数据的使用流程的问题。

目前是把原生的nerf 数据导出给了三维软件数据本身不是模型,也不是点云,只是视觉上像三维感觉的数据,接受灯光使用的是nerf 3d生成的景深信息用作接受光影的载体,精度会比视觉上的形体更差点。

亮点的是luma ai解决了 nerf数据三维软件应用的流程,后续提升输入数据数量和精度,生成更高精度的nerf数据,或是能用算法生成一个更好的nerf 3d数据和深度信息,这个的实用性就会高很多了。

测试时晚上拿着手机直接拍视频,没电脑,用钉钉远程转发到工作电脑上,视频质量差了点。实际测试过高质量的视频/图生成的结果会更好,但离颠覆扫描还有距离。从目前的情况已经可以遇见未来的技术发展方向和应用流程变化的可能性了。多关注多了解下新的技术动态,总没错。。探索新的技术也是乐趣之一。
三维人员离失业又近了一步。