模糊图像处理：新的去噪方法可(kě)以更快(kuài)地(dì)生成更清晰的真实感图像

• 2020/06/15

蒙特卡罗计算方法是游戏和(hé)电影中许多现实图像的基础。他(tā)们将复雜(zá)的灯光(guāng)和(hé)相机物(wù)理模拟自(zì)动化，從(cóng)不同的图像特征和(hé)场景的样本中生成高质量的效果图。但(dàn)是蒙特卡罗渲染的过程是缓慢(màn)的，可(kě)能(néng)需要(yào)數(shù)小時(shí)甚至數(shù)天的時(shí)間(jiān)才能(néng)生成一(yī)幅图像，而且通(tōng)常结果仍然是像素化的，或者是“有噪声的”。

一(yī)个由麻省理工(gōng)学院、Adobe和(hé)阿尔托大学的计算机科学家组成的全球团队已经開(kāi)发出一(yī)种创新的方法，通(tōng)过使用一(yī)种基于深度学习的方法，可(kě)以在更短的時(shí)間(jiān)內(nèi)生成更高质量的图像和(hé)场景设计，這(zhè)种方法大大降低(dī)了(le)图像中的噪音。他(tā)们的方法产生了(le)更清晰的图像，有效地(dì)從(cóng)样本特征中捕捉复雜(zá)的细节，包括复雜(zá)的照明(míng)组件，如(rú)阴影、間(jiān)接照明(míng)、运动模糊和(hé)景深。

研究人(rén)員(yuán)将于7月28日至8月1日在洛杉矶举行(xíng)的SIGGRAPH 2019大会上(shàng)展示他(tā)们的研究成果。這(zhè)个一(yī)年(nián)一(yī)度的聚会展示了(le)世界领先的专业人(rén)士、学者和(hé)计算机图形学和(hé)交互技術(shù)前沿的创造性思维。

“我们的算法可(kě)以用很(hěn)少(shǎo)的样本從(cóng)嘈雜(zá)的输入图像中生成干净的图像，并且可(kě)以在场景设计迭代的同時(shí)生成快(kuài)速渲染的预览，”该研究的主要(yào)作(zuò)者、Adobe的研究科学家Michael Gharbi说。Gharbi是在麻省理工(gōng)学院Fredo Durand实验室读博士時(shí)開(kāi)始這(zhè)项研究的，Fredo Durand也是该研究的作(zuò)者之一(yī)。

该团队的工(gōng)作(zuò)重点是所谓的“去噪”，一(yī)种在蒙特卡罗渲染中减少(shǎo)图像噪声的后处理技術(shù)。它本质上(shàng)保留了(le)图像的细节，并删除任何影响其清晰度的东西(xī)。在以前的工(gōng)作(zuò)中，计算机科学家已经開(kāi)发出一(yī)种方法，通(tōng)过提取样本图像和(hé)相邻像素的平均值来消除噪声。

“這(zhè)种方法相当有效，已经有几部电影在制作(zuò)中使用了(le)這(zhè)种方法，”合著者李子茂(音)说。他(tā)刚從(cóng)麻省理工(gōng)学院获得博士学位，也曾在杜兰特手下(xià)学习。然而，如(rú)果图像太过嘈雜(zá)，后处理方法往往无法恢复干净和(hé)清晰的图像。通(tōng)常情况下(xià)，对于一(yī)幅质量合理的图像，用户平均每像素仍需要(yào)數(shù)百个样本——這(zhè)是一(yī)个乏味、耗時(shí)的过程。”

有些类似的是在图形软件程序中编辑照片的过程。如(rú)果用户没有使用原始的原始文件，修改后的照片可(kě)能(néng)不会产生清晰、清晰、高分辨率的最终图像。一(yī)个类似但(dàn)更复雜(zá)的問(wèn)题是图像去噪。

為(wèi)此，研究人(rén)員(yuán)的新计算方法涉及直接处理蒙特卡罗样本，而不是大多數(shù)信息已经丢失的平均的、有噪声的图像。与典型的处理图像或視(shì)頻(pín)的深度学习方法不同，研究人(rén)員(yuán)展示了(le)一(yī)种新型的卷积网络，這(zhè)种网络可(kě)以学习直接從(cóng)蒙特卡罗原始样本集(而不是基于像素的简化表示)对呈现进行(xíng)降噪。

他(tā)们工(gōng)作(zuò)的一(yī)个关键部分是一(yī)个新颖的內(nèi)核预测计算框架，该框架将单个样本(颜色和(hé)纹理)“拼接”到附近的像素上(shàng)，以锐化图像的整体构成。在传统的图像处理中，內(nèi)核用于模糊或锐化。飞溅是一(yī)种技術(shù)，解决运动模糊或景深問(wèn)题，使它更容易均匀的像素化區(qū)域的样本。

在這(zhè)项工(gōng)作(zuò)中，团队的溅射算法為(wèi)每个样本生成一(yī)个二维內(nèi)核，并将样本“溅射”到图像上(shàng)。“我们认為(wèi)這(zhè)是一(yī)种更自(zì)然的后处理方式，”李说。该团队使用一(yī)个随机场景生成器训练他(tā)们的网络，并在各种现实场景中广泛测试了(le)他(tā)们的方法，包括各种照明(míng)场景，如(rú)間(jiān)接照明(míng)和(hé)直接照明(míng)。

“我们的方法在样本數(shù)量非常少(shǎo)的情况下(xià)提供更清晰的输出，而以前的方法通(tōng)常很(hěn)难做(zuò)到這(zhè)一(yī)点，”Gharbi补充说。

在未来的工(gōng)作(zuò)中，研究人(rén)員(yuán)打算利用他(tā)们的方法来解决可(kě)伸缩性，以扩展到更多的样本特性，并探索技術(shù)来增强去噪图像的帧与帧之間(jiān)的平滑度。

這(zhè)篇论文，“基于样本的蒙特卡罗去噪使用核喷溅网络，”也是由Miika Aittala在麻省理工(gōng)学院和(hé)Jaakko Lehtinen在阿尔托大学和(hé)Nvidia共同撰写。有关更多细节和(hé)視(shì)頻(pín)，請(qǐng)访問(wèn)团队的项目页面。

【文章(zhāng)来源：AI工(gōng)程学习百家号】