谷歌与合作的人工智能研究人员刚刚发布了 DiffusionLight，这是一种开创性的图像光照估算方法，它采用了一种新颖的算法，将生成的铬球作为光探针。这一进步大大提高了虚拟物体和环境的逼真度，其潜在应用范围涵盖增强现实、建筑、游戏和媒体制作。
DiffusionLight 利用在数十亿幅标准图像上训练的扩散模型，在输入图像中渲染一个铬球，有效地充当光探针。这种简单而有效的技术大大改进了传统方法，为在单张图像中准确估算光照度提供了通用的解决方案。该技术有望提升增强现实和虚拟现实的各个领域，为在建筑和室内设计中更逼真地整合虚拟对象铺平了道路。
它提供了逼真的可视化效果，可近似模拟现实世界的照明。游戏行业可以从更身临其境的环境中获益，而摄影师和电影制作人则可以为拍摄获得更准确的照明预测。
DiffusionLight 利用 LoRA 进一步微调了一个 LDR 扩散模型，该模型经过大量图像的预先训练。从其训练集曝光不足和曝光过度的图像中，间接推断出高动态范围和亮度等级。
它还使用“迭代修复”（iterative inpainting）算法来克服 Stable Diffusion XL 带来的局限性，提高光线评估的质量和一致性。
项目：https://diffusionlight.github.io
用户评论