谁能驾驭马赛克 微软AI打码手艺 VS 谷歌AI解码绝活儿.docxVIP

谁能驾驭马赛克 微软AI打码手艺 VS 谷歌AI解码绝活儿 谁能驾驭马赛克quest;微软AI打码手艺 VS 谷歌AI解码绝活儿 雷锋网按：上个月底，微软研究院推出一套基于AI 技术的视频人脸模糊解决方案，通俗讲就是为人脸自动打码。而在今日，谷歌发布了模糊图片转高清图片的解决方案，说白了就是去除马赛克的技术。 你说谷歌，人家微软刚整出一套自动打码手艺，你就来个自动解码绝活，还能不能一起愉快的玩耍。 不少人有个疑问，那么谷歌是否能解除微软打的马赛克，上演一番科技版“用我的矛戳你的洞”？我们先来看下双方的技术原理是怎么样。 微软自动打码手艺 根据微软亚洲研究院副研究员谢文轩介绍，操作这套解决方案，用户只需在后台用鼠标选择想要打码的人物，相应人物在视频中的所有露脸区域都将被打上马赛克。 大致流程如下： 技术解决方案背后的逻辑是先找出视频中全部人脸所在的位置，第二步是把同一个人的所有人脸连接起来。 这背后涉及到人脸检测、追踪和识别。 人脸检测的作用是定位人脸出现的位置。为了保证人脸尽量不被漏掉，微软采用了一套基于深度网络的、具有高召回率的人脸检测器。该检测器对视频的每一帧都进行检测，记录每个人脸对应的矩形框位置。 在某一帧中给出一个人脸框，在其前几帧和后几帧都找到与之最相似的框。人脸跟踪的作用体现在这两大方面：一是连接相邻帧的检测框，因为人脸检测只负责每一帧的人脸定位，不负责帧间的连接；二是将当前帧的人脸检测框延续到前后几帧，这样即可定位到那些检测不到的侧脸。 当然，该方案仅仅靠人脸检测与追踪还是不够的。假设一个场景，如果视频中存在镜头切换以及人物遮挡等问题，就需要利用人脸识别。微软训练了一套基于深度网络的人脸识别模型，对于不同镜头里的两张人脸，根据相似度对它们进行连接。最后系统将整个视频中不同人物的人脸都各自连接起来，提供给用户进行挑选。 时间复杂度方面，系统在 Azure 的 CPU 服务器上能够实时处理 720p 的视频，并且能够以 2 倍时长处理 1080p 的高清视频。 在讲谷歌的自动解除马赛克绝活前，我们先来了解下马赛克还原问题。 马赛克还原之殇 通常来讲，马赛克是不可逆损失信息的，很难还原。 为何难以还原？ 打码是一个减少信息量的过程，这些减少的信息已经丢失。马赛克处理相当于对图像信号的进行比原始数据更低频率的采样。根据奈奎斯特采样定理，如果这个采样频率比原始数据的频率的 2 倍还要低，那么必然产生不可逆的数据损失。大部分情况下，“马赛克”处理都会产生不可逆的数据损失。 打马赛克的方式有多种，最常见的就是取平均。我们可以把一张图片想象成一个方格矩阵，里面不同的数值（RGB、CMYK数值）表示不同的颜色。打马赛克的本质就是把那个区域的数字都取周围数字的平均数。 举个简单的例子，一张 16 个像素的图像，用一个很简单的算法打码，每四个像素取左上角的像素的值。 广义的马赛克可为两大类：大块马赛克模糊和小块马赛克模糊。 大块马赛克模糊往往更难处理。 而小块马赛克模糊相比而言容易一些。 为何小块的马赛克容易还原？ 马赛克是一个抽样信号，抽样信号能否还原取决于采样间距，也就是每个色块的大小。如果采样间距不是很大的话，将抽样信号通过一个低通滤波器是可以基本还原原始信号的。上面黑白照片上的马赛克色块大小基本上都超过了允许采样间距。这种信号通过低通滤波器的话会导致高频信号失真，也就是图片的细节。 近视眼可以看做是一种低通滤波器，你可以试着摘下眼镜看看上述黑白照片的马赛克酒壶，比戴眼镜更能看出轮廓。所以我们在远看马赛克的时候反而能看出轮廓，近了就什么都看不出了。 还原马赛克的方式 在面对模糊不是特别严重的情况下，传统的方式可以用插值进行还原。插值通俗讲就是把原来一个像素的地方用多个像素代替。 插值算法在 MATLAB 图像处理工具箱中提供了四种插值的方法：插值最接近原则插值、双线性插值、双三次插值、不规则碎片形插值。 下面的例子是一幅 106*40 的图像放大成 450% 的效果： 最接近原则插值 最接近原则插值是最简单的插值方法，它的本质就是放大象素。 新图像的像素颜色是原图像中与创造的象素位置最接近象素的颜色。如果把原图像放大200%，1个象素就会被放大成（2*2）4个与原象素颜色相同的象素。多数的图像浏览和编辑软件都会使用这种插值方法放大数码图像，因为这不会改变原图像的颜色信息，并且不会产生防锯齿效果。同理，在实际放大照片中这种方法并不合适，因为这种插值会增加图像的可见锯齿。