申请专栏作者 参展
投稿发布
您的当前位置:主页 > yabo体育平台注册页 > 正文

深度学习自动构图研究报告

来源:可思yabo88滚球 时间:2019-09-12
请支持本站,点击下面的广告后浏览!

深度学习自动构图研究报告

可思yabo88滚球-人工智能资讯平台sykv.com

今天带来基于深度学习的图像构图的研究报告,主要涉及了基于 CNN 的图像剪裁方法的研究现状、yabo88滚球集的发展、以及现有应用。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

什么是自动切图

我们在拍摄照片后,第一步要做的就是图像裁剪,也称为后期构图。构图,用于合理安排画面中的元素分布,提升照片的美感。

可思yabo88滚球-人工智能资讯平台sykv.com

构图的自动化【1】既可以用于拍摄之前的构图推荐,也可以用于拍摄之后的自动调整,在许多的缩略图自动裁剪中也有用处,甚至用于自动拍照。 可思yabo88滚球sykv.com,sykv.cn

我在公众号和知乎的专栏中已经多次讲过计算机美学了,也介绍过现有的产品,所以这里不再过多赘述。下面我们说说计算机构图的原理。 可思yabo88滚球-www.sykv.cn,sykv.com

计算机构图的研究方法

接下来我们从这 2 个方面来讲讲计算机构图算法的原理。 内容来自可思yabo88滚球sykv.com

1.1 显着目标方法

【2-3】也称之为 Attention-Based 的方法,它基于一个假设,图像中最显着的区域即照片中最相关的部分,因此我们应该保留最相关的部分,而裁剪其他部分。 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

深度学习自动构图研究报告

可思yabo88滚球-人工智能资讯平台sykv.com

如上面左图 1,2 是显着目标概率图,裁剪的时候就在保留显着目标的同时,裁剪掉了其他部分。 可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

这类方法的目标就是研究如何用最小的剪裁窗口使得注意力(图像显着特性)总和最大化,它缺少对图像构图准则以及美学质量的考量,可能会导致剪裁出来的图像不美观。因为已经不是主流研究方法,就不细细说明了。

可思yabo88滚球sykv.com

1.2 美学方法

基于显着目标的方法不是现在的主流,而基于美学的方法更加符合摄影师构图的原理,它要求裁剪出美学质量分数更高的区域。 可思yabo88滚球sykv.com,sykv.cn

深度学习自动构图研究报告

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

上图文【4】是比较早的研究思路,它通过滑动窗口的方法获取一系列的候选裁剪框,然后从中选择美学分数最高的。这一类方法的问题就是效率太低,计算量太高,根本无法实用。 内容来自可思yabo88滚球sykv.com

深度学习自动构图研究报告

可思yabo88滚球-www.sykv.cn,sykv.com

文【5】提供了不同的思路,如上图。它训练了一个显着目标检测网络,可以得到显着目标区域的初始化框,在它的附近,就可以采用不同的大小和比例,获取一系列候选的裁剪框,网络如下。

可思yabo88滚球sykv.com,sykv.cn

深度学习自动构图研究报告

可思yabo88滚球sykv.com,sykv.cn

训练了另一个美学评估网络,用于选取美学分数更高的裁剪框。由于这个方法,只需要 1 次特征提取,且两个网络共享了若干神经网络卷积层,大大提高了剪裁窗口获取的效率,网络如下。 可思yabo88滚球sykv.com,sykv.cn

深度学习自动构图研究报告 内容来自可思yabo88滚球sykv.com

文【6】使用增强学习来更高效地搜索裁剪框,网络结构如下。

可思yabo88滚球-人工智能资讯平台sykv.com

深度学习自动构图研究报告 可思yabo88滚球-人工智能资讯平台sykv.com

相比上面的两种方法,它需要更少的候选窗口与更少的运行时间,可以获得任意尺度位置更精确的剪裁窗口。 内容来自可思yabo88滚球sykv.com

最新的研究来自于 adode 2018 年 [7] 的文章。该文章包含了两个网络,一个是 view proposal network,用于提取候选框。另一个是 view evaluation net,用于从候选框中选择美学价值最高的,网络如下。 可思yabo88滚球sykv.com,sykv.cn

深度学习自动构图研究报告 可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

该文另一个贡献是整理了一个大型高质量的yabo88滚球集,因为现有的yabo88滚球集太小是限制研究的最主要原因。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

yabo88滚球集

下面介绍两个主要的yabo88滚球集。 内容来自可思yabo88滚球sykv.com

1.1 FCDB

FCDB【1】yabo88滚球集是一个专门为图像剪裁而设计构建的yabo88滚球集。这个yabo88滚球集一共包含 1743 张经过人工标记剪裁窗口的图片与 34130 张与原始图像相匹配的剪裁图像对。yabo88滚球集里的每张照片都从专业摄影照片分享社区 Flickr 上下载后经人工筛选得到,具有较高的美学特征与较好的构图。 可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

1.2 CPC[7]

这是 adobe 整理的,包含 10800 张图,超过 1 million 的图像对,每一个图像对就是原图和它的裁剪图,他们会有相对美学的标注。为了保证分布的广泛性,不仅选择了专业的图片,也选择了日常生活中的图片。

可思yabo88滚球-AI,sykv.com智能驾驶,人脸识别,区块链,大yabo88滚球

另外还有一些小的yabo88滚球集,不一一列举。

可思yabo88滚球-yabo88滚球挖掘,智慧医疗,机器视觉,机器人sykv.com

优化目标

怎么评估一个自动裁剪算法的好坏呢?下面介绍两个。 可思yabo88滚球sykv.com,sykv.cn

3.1 IoU

深度学习自动构图研究报告 可思yabo88滚球sykv.com,sykv.cn

平均交叉区域 average intersection-over-union,这也是目标检测中使用的优化目标。上式中 N 为输入图片的总数,wig 为第 i 幅输入图像 ground truth 的窗口,wic 为不同方法剪裁出的第 i 幅输入图像的最优窗口,IoU 的值越大说明剪裁的最优窗口与 ground truth 的窗口越接近,即剪裁的效果越好。 可思yabo88滚球sykv.com,sykv.cn

3.2 平均边界位移

深度学习自动构图研究报告

可思yabo88滚球-AI,sykv.com人工智能,深度学习,机器学习,神经网络

平均边界位移 average boundary displacement。上式中 N 为输入图片的总数,
big(l,r,u,d) 为第 i 幅输入图像 ground truth 的窗口 4 条边与原图像对应边的距离,bic(l,r,u,d) 为不同方法剪裁出的第 i 幅输入图像的最优窗口 4 条边与原图像对应边的距离,Disp 的值越小说明剪裁的最优窗口与 ground truth 的窗口越接近,即剪裁的效果越好。

内容来自可思yabo88滚球sykv.com

总结

随着研究人员的活跃和yabo88滚球集的增长,自动构图算法一定会在这几年得到快速的发展。

可思yabo88滚球-人工智能资讯平台sykv.com


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思yabo88滚球 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭