微信号:aitechtalk

介绍:关注国内外人工智能与机器科学领域的前沿技术.

独家 | 腾讯优图高级研究员沈小勇:ICCV 2017 一键卸妆 &a

2017-12-06 14:28 Non

AI 科技评论按:ICCV(The International Conferenceon Computer Vision)是计算机视觉领域的三大顶级会议之一,腾讯优图实验室在 ICCV 2017 中共投稿 15 篇论文,其中 12 篇被大会录用。录用论文中,被誉为「一键卸妆」的论文 Makeup-Go: Blind Reversion of Portrait Edit 在社会各界引起了强烈反响,引爆社交媒体。另一篇超分辨率的论文 Detail-revealing Deep Video Super- resolution(细节还原深度视频超分辨率)相关技术也已经在 QQ 空间成功落地,各项性能指标均超过谷歌的同类技术。

近日,AI 科技评论邀请到腾讯优图实验室高级研究员沈小勇,他为我们详细介绍了腾讯优图实验室和前面提到的两篇论文:「一键卸妆」(Makeup-Go: Blind Reversion of Portrait Edit)和视频超分辨率(Detail-revealing Deep Video Super- resolution)。

嘉宾简介:沈小勇,腾讯优图实验室高级研究员,浙江大学本科、硕士,香港中文大学博士、博士后。主要研究深度学习在图像视频处理理解中的应用,包括图像增强、分割、物体检测识别、运动与深度估计等,在 CVPR、ICCV、ECCV 等顶级会议和 TPAMI、TOG 等顶级 Journal 上发表论文超过 15 篇。

以下为他的分享内容:

AI 科技评论的网友们,大家晚上好,非常高兴能在这里进行直播,我今天分享的题目是《视觉 AI IP 输出者:腾讯优图 ICCV 2017 论文》,我是沈小勇,腾讯优图高级研究员,目前在优图主要进行人工智能的技术研究及开发工作。

这是我的个人主页,我本科和研究生就读于浙江大学,博士就读于香港中文大学。

下面是对腾讯优图的简介,我们主要立足于人脸识别、图像识别、音频识别三个方面的研究。

下面是优图在基础研究、平台数据以及业务场景三方面融合的生态。

这是优图实验室2017年最新的技术突破。

今天我重点要跟大家分享的是腾讯优图在 ICCV 2017 上发表的其中 2 篇论文。

Makeup-Go: Blind Reversion of Portrait Edit

我分享的第一篇论文是 Makeup-Go: Blind Reversion of Portrait Edit,即一键卸妆,给你一张处理过的图片(比如经过美图秀秀把人变白、变美之后的图片),把软件处理之前的样子恢复出来。一般情况下,现在有很多图片处理 APP,我们想知道在美颜处理之前是照片是什么样。

下面是未经过美化的图片。

美化之后脸上的痘痘消失了,皮肤变得非常光滑。

想要把图片恢复成处理之前的状态,难点在哪里?

简单暴力的方法是既然有输入图片和输出图片,能不能训练出一个神经网络自动学会处理图片。在这里我们做了一个简单实验,是2016年 CVPR 的一篇文章,一个非常深的网络。

下面是输入和输出。从这里可以发现,即使用了一个那么深、学习能力那么强的网络,还是和最初的图像有很大差别,比如说皱纹和雀斑,都恢复得不是那么完美。

为什么现在的 CNN 网络不能恢复原来的图片?图像里包含很多东西,如果只是简单用 CNN 去回归,只能回归出非常少的 component,我们在图像恢复时发现了一个非常重要的信息,叫 component domination effect,这篇文章重点针对 component domination effect 来改变一键卸妆效果。

首先我们对 L2 loss 进行分析,可以对其进行分解,F 是神经网络的输出结果,y 是 ground truth。

我们在这里发现,实际上可以对 L2 loss 进行分解,分解成 PCA 不同 component 的线性组合。

可以继续对其进行展开。

怎么理解 component,我们从大到小分解出来。

这里是我们所做的网络,称为 component regression network。相当于把图经过 PCA 分解为不同的成分,接下来我们希望通过不同的 subnetwork 把每一个 component 都能回归得很好,最后把各个 component 综合在一起,得到最终的结果。

接下来是我们的实验结果,可以证明这个网络对于一键卸妆是非常有效的。绿色线条是我们的结果,在 component 为 40 时就能达到比较好的效果。大家可以看到与 Euclidean loss 和 Perception loss 的比较。

下面的这张图经过美图秀秀处理,把雀斑、皱纹都去除了,可以看到我们复原的结果与 ground truth 修饰的结果的比较。

下面是一张 overly touched 图片,图像过度平滑,颜色都改变了,我们恢复的结果能把丢失的细节很好地复原出来。

下面是更多的结果,我们在网上随便找的照片,可以很好地把图中雀斑和皱纹恢复出来。

这个网络并不对所有案例都有效,下面是对 Trump 的图片的处理,虽然能把图片恢复出来,但和 ground truth 比还是有差别。

这个工作的总结如下:一、我们在做图像修复时发现了非常重要的性质 component domination effect;二,提出 component regression network,在很多领域有非常强的应用。

Detail-revealing Deep Video Super- resolution

第二篇论文是 Detail-revealing Deep Video Super-resolution,目前做出来的效果在业界非常好。

首先讲一下我们做视频超分辨率的 motivation。一,这是一个非常传统和基础的问题;二,应用非常非常多,比如说在监控场景下分辨车牌号。

对于视频超分辨率之前的工作,可以分为两类,一类是 image SR,一类是 video SR,具体的研究工作如 PPT 所示。我们这篇文章在别人的基础上把研究向前推进了一步。

下面是这个问题的难点。一是怎么去得到非常 effective 的网络,二是模型的问题。

首先介绍我们方法的优势:一是 sub-pixel motion 更好的运用,二是在视觉和数量上我们的结果比之前好很多。另外这个模型是 fully scalable 的,可以是任何输入大小,实现任何倍数放大。

下面是我们方法的网络。怎么解决刚才提到的那些问题呢?一是设置 Fully convolutional,二是 SPMC 层没有任何参数,三是 Conv LSTM。

下面是我们的分析。对这个网络,我们输入三个相同的帧,效果不是很好,而输入三个连续的帧可以得到比较好的效果。

第二个分析是将 SPMC Layer 和 Baseline 进行比较,SPMC 在此处效果更好。

通过对比可以看到我们的方法比之前的 Bicubic、BayesSR、DESR、VSRNet 都要好。

最后分析下运行时间,我们的方法优于 BayesSR、MFSR、DESR、VSRNet。

最后总结:一是这个工作是端到端的,有很好的适应性,二是提出了 SPMC layer,三是我们的方法质量很高,速度上有较大提升。

下面是对我们腾讯优图 X-Lab 的简介。

这是我们的团队照片,目前我们团队大概有 30 多个人。

最后我还想在这里来个简单的广告,目前我们团队处于飞速发展中,如果大家对我们团队有兴趣,欢迎加我微信。

视频:

 推荐阅读 

—————  给爱学习的你的福利  —————

上海交通大学博士讲师团队

从算法到实战应用,涵盖CV领域主要知识点

手把手项目演示

全程提供代码

深度剖析CV研究体系

轻松实战深度学习应用领域!

详细了解点击文末阅读原文

————————————————————

 
AI科技评论 更多文章 “清华大学计算机全球排名第一”这事儿,除了“笑笑”还能如何理性看待? 奇点后人工智能会迎来大爆发? François Chollet发文阐释:你们想多了,不会的 首发 | 阿里 iDST 新人「物理学家」冯津伟:声学设计与语音信号处理,是 UC Berkeley 讲座教授王强:Deep Learning 及 Alph UC Berkeley 讲座教授王强:Deep Learning 及 Alph
猜您喜欢 制造业ERP怎么创新与转型(阿朱说) BloomFilter的原理,实现及优化 这个错误,每个ScrumMaster都犯过 使用Fabric部署网站应用 携程Android App插件化和动态加载实践