对当下许多年青东说念主来说，已毕一天的责任后，躺在沙发上，掀开电视望望艳羡的电视剧和电影等于一天中最佳的消遣。那么今天全球所看到的电影和电视剧的各样殊效又是怎么制作出来的呢，一切皆要从一块绿色的幕布讲起……

影视行业的殊效期间一直与图像合成期间息息有筹商，1984年Thomas Porter等东说念主提议了基于alpha透明度通说念的图像合成步调[1]，该步调凭据待合成图像的每一个像素点所对应的透明度遮罩进行图像合成。将一张图像中的长进部分合成到新的布景图像中的时势如图1所示。

图1 图像合成时势 

殊效制作时，常常需要将东说念主物当作长进索要出来，然后使用图像合成期间将东说念主物放入新的殊效布景中。然则，进行图像合成前又该怎么细现在景呢，底下就来先容今天的主角：抠图期间。

抠图期间与图像合成相背，是一种凭据合成图像求取长进透明度遮罩，从而索要长进的期间。在影视行业中，最先出现了绿幕、蓝幕期间，大要在布景已知况兼单一的情况下进行抠图，由于东说念主类的皮肤很少有绿色和蓝色的因素，是以殊效制作中常使用绿色或者蓝色的幕布，如图2所示。

图2 天气预告中使用绿幕期间

拍摄电影和电视剧时，不错提前准备绿幕或者蓝幕进行拍摄，之后再进行后期的抠图与图像合成。然则平素生涯中，东说念主们不成能一直拿着绿色幕布进行拍照，淌若要使抠图期间大要在更多的范畴得到应用，那么一定需要一种愈加解放的抠图期间。因此，在绿幕、蓝幕抠图期间出现之后，盘考东说念主员又提议了拍摄条目愈加解放的天然抠图期间。

Mark Ruzon与Carlo Tomasi等东说念主提议的Ruzon-Tomasi抠图与Berman Arie等东说念主提议的Knockout抠图是最早的天然抠图期间，该类期间针对平素生涯中的等闲图片，无谓要求布景已知且固定，只需要原图和一张名为三分图的赞助图就能进行完竣的抠图。天然抠图的历程如图3所示。

图3 天然抠图

天然看上去很浅易，但事实上天然抠图是一个十分复杂的难题。抠图问题的中枢在于求解图像合成方程，RGB热诚空间中合成方程的方程组体式如图4所示。

图4 合成方程的方程组

在这个方程组中，独一待处理图像的像素热诚I已知，而长进F、布景B以及透明度遮罩皆是未知量，是以抠图问题需要求解一个领有3个方程、7个未知量的方程组。

绿幕、蓝幕抠图期间通过固定布景热诚的时势，将未知量减少到4个，进行方程的类似求解。然则天然抠图中无法细目布景热诚，是以天然抠图必须直面这一个领有3个方程、7个未知量的方程组。

要求解这个未知量极多的欠定问题，需要对这个问题进行管制，三分图就领有着这么的作用。关于用户来说，苟简地识别待处理图像的长进与布景并不穷苦，抠图之前不错东说念主为地标注出透明度遮罩为1的长进区域以及透明度遮罩为0的布景区域，再将长进区域与布景区域的交壤处当作透明度遮罩未知区域标注出来，生成一张分为三个区域的三分图。因此，天然抠图期间的重要在于：如安在三分图的管制下，利用已知长进与已知布景区域的信息去求解未知区域的透明度遮罩。

关于未知区域的一个像素，淌若大要估算出其所对应的长进和布景，那么合成方程中的未知量将会减少到独一透明度遮罩一个，从而类似地求解透明度遮罩，处理抠图问题。基于采样的抠图期间便取舍这个想想，通过鸠合与未知区域相邻的长进和布景区域的像素，进行长进像素和布景像素的预计，再进一步求解出透明度遮罩值。

当先的天然抠图算法大皆是基于采样的想想，包括Ruzon-Tomasi抠图算法以及Yung-Yu Chuang等东说念主提议的Bayesian抠图算法等，这些抠图算法针对未知区域的像素，最先鸠合距离未知区域较近的长进与布景区域的像素当作样本点，然后利用统计散布模子进行求解，此类抠图算法是一种有参的步调。

然则如毛发，复杂纹理等特征无法用浅易的散布进行刻画，早期的基于采样的抠图期间无法很好地索要散布复杂的特征。

此外，早期的基于采样的抠图期间一般有着这么的前提假定：只需要通过距离未知区域较近的长进与布景区域的像素，就大要凭据统计散布估算出未知区域的透明度遮罩。是以此类抠图算法在样本鸠合时只探究距离未知区域较近的像素，对采样步调并莫得过多的盘考。淌若待处理图像中出现孔洞特征，位于孔洞内的像素点所对应的最优布景像素点可能距离较远，无法进行正确处理。孔洞特征如图5所示。

图5 具有孔洞的图像

在Ruzon-Tomasi与Bayesian等算法被提议之后，出现了一种不依赖于统计散布的抠图期间，亦然一种无参的抠图期间，这种期间不再饱和依赖于长进、布景以及未知区域的统计散布，而是针对未知区域的每一个像素，径直从鸠合到的样本中选取一对或者多对较优的长进布景像素对，以此进行透明度遮罩的预计。与此同期，无参的抠图期间驱动探索不同的采样战术，不再得志于局部采样。

2007年Jue Wang等东说念主提议了Robust抠图算法，关于一个未知区域的像素，最先使用Bayesian抠图中的采样步调，鸠合左近的长进与布景像素当作样本，然后在此基础上突破地对左近长进畛域与布景畛域的区域进行采样。采样完成后通过热诚失真，空间距离相近等评价圭臬选出数个较优的像素，连合基于传播的步调进行透明度遮罩的预计。之后Eduardo Gastal等东说念主提议的shared抠图取舍了一种更浅易的采样步调，况兼通过将未知区域辞别为小窗口的时势进行快速处理，大要达到及时抠图的要求。

然则在图像较为复杂的情况下，shared等抠图算法可能在采样阶段无法鸠合到较优的像素，为了缩短采样历程中丢失最优像素对的概率，global抠图被Kaiming He等东说念主提议，该步调针对所有长进旯旮和布景旯旮进行采样，不再仅限于鸠合距离未知区域像素较近的长进布景像素当作样本。之后Ehsan Shahrian等东说念主又提议了Comprehensive抠图，驱动在长进旯旮和布景旯旮除外的区域进行采样，进一步缓解最优像素对丢失问题。不同算法的采样区域如图6所示。

图6 不同算法的采样区域

基于采样的抠图算法利用从长进区域与布景区域鸠合到的样本对合成方程中的长进像素与布景像素进行预计，男性同交在已知长进与布景区域较小的情况下，很难精准地鸠合样本。现实情况中，用户天然不肯意消耗大皆元气心灵制作三分图，淌若要在未知区域较大的情况下进行抠图，那么需要从另一个角度去处理抠图问题。

基于传播的抠图期间不再对长进与布景进行动直预计，而是对图像空间进行某些假定并以此设备模子，径直对透明度遮罩值进行求解。因此，基于传播的抠图期间对精准三分图的依赖性一般低于基于采样的抠图期间，在未知区域较大的情况下其抠图精度高于基于采样的抠图期间。

2004年Jian Sun等东说念主提议了Poisson抠图，该步调通过Poisson方程进行透明度遮罩的传播，在此之后Anat Levin等东说念主提议Closed-Form抠图，设备了长进与布景局部color-line模子，推导出透明度遮罩的闭合解。这些算法的假定前提皆是图像局部平滑，然则图像中某些复杂特征并不得志这一特质，如毛发，透明袋等。于是盘考东说念主员又提议了非局部的基于传播的抠图期间，2011年由Philip Lee等东说念主提议的Nonlocal抠图算法在Closed-Form的基础上头引入非局部原则，之后又出现了由Qifeng Chen等东说念主提议的Knn抠图以过头他非局部的抠图期间，比较于局部的基于传播的抠图期间，非局部的基于传播的抠图期间大要处理更复杂的特征，领有更高的精度。

然则，不论是基于传播的抠图期间如故基于采样的抠图期间，皆仅仅凭据图像中的初级特征信息进行假定，很难处理不适合一般规定的复杂特征。如今，深度学习驱动在越来越多的范畴得到应用，于是盘考东说念主员驱动探索怎么利用深度学习处理抠图问题。

Donghyeon Cho等东说念主最先在基于传播的抠图期间的基础上，通过深度学习的时势将局部与非局部的抠图期间连合起来[2]。与此同期，基于深度学习的步调势必需要大皆数据集，抠图算法一般使用的基准数据集独一27组用于锻练的图片，即使使用数据增强的步调，依然无法达到精准锻练所需要的数据量。于是Ning Xu 等东说念主设备了更大的数据集，况兼提议了一种径直行使深度学习想想的抠图步调[3]，设备encoder-decoder汇集，将原图像以及三分图当作输入，透明度遮罩当作输出，之后再设备一个refinement汇集对透明度遮罩进一步优化。

比较于传统的抠图期间，基于深度学习的抠图期间大要利用更深眉目的特征信息，领有更高的精度。然则，用于锻练的数据依然有限，因此深度学习的锻练废除不一定领有较高的泛化智商。

前边照旧说起到无参的基于采样的抠图算法，最先对已知长进区域和已知布景区域进行采样，然后在样本中选出最优的像素对，通过最优像素对进行透明度遮罩的预计。其中采样设施是这类算法的一个重心，一般来说，采样区域越大，最优像素对丢失的可能性就越小。因此，淌若将所有已知长进区域和已知布景区域皆当作采样空间，在所有区域中搜索最优像素对，那么一定不会出现最优像素对丢失的问题。然则，这势必是一个极大的搜索空间，关于一个常见的800*600像素的图片，假定长进区域像素，布景区域像素以及未知区域像素的数目交流，那么针对每一个未知区域的像素，皆有(1.6E+05)*(1.6E+05)=2.56E+10个像素对，而且关于每一个未知区域的像素，皆需要从2.56E+10的搜索空间中去搜索对应的最优像素对，淌若使用穷举法搜索，算计老本难以想象。

基于搜索的抠图期间的筹办就是想象一种大要在如斯巨大的搜索空间中找到最优像素对的搜索步调，从而处理最优像素对丢失问题。在global抠图算法中，盘考东说念主员鸠合所有长进区域旯旮以及布景区域旯旮当作样本，样本数目照旧远远超越等闲的基于采样的抠图算法，使用遍历搜索的步调遵循极低。是以盘考东说念主员最先凭据长进区域像素与布景区域像素设备二维的搜索空间，如图7所示，然后凭据由Connelly Barnes等东说念主提议的 PatchMatch就地搜索战术进行搜索。基于搜索的抠图期间与基于采样的抠图期间的有筹商如图8所示。

图7 搜索空间

图8 基于采样与基于搜索的抠图期间之间的有筹商

然则，在靠近所有长进区域与布景区域时，搜索空间更大况兼更为复杂，该步调的鲁棒性较低。启发式搜索步调是一种基于直不雅或警戒构造的算法，领有自学习功能，大要在可选择的算计老本内去搜寻最优的解。是以在由长进区域和布景区域所构成的巨大且非凸的搜索空间中，启发式搜索步调大要大展武艺。于是智能算法实验室驱动盘考怎么利用启发式搜索处理抠图问题。

实验室最先将抠图问题建模成待求解的优化问题，使用PSO算法搜索最优像素对[4]，比较于global抠图中的就地战术领有更高的精度。之后实验室想象了一种基于DE算法的最优像素对搜索步调，凭据图像空间的特质，在DE算法中加入协同进化战术，加多搜索速率；此外又使用一种保握种群各样性的战术，防御搜索算法过早拘谨[5]。与此同期，PSO算法的拘谨速率也能被适度，实验室在PSO算法的基础上尝试使用拘谨速率适度器[6]，通过疗养粒子群的各样性防御过早拘谨，况兼还大要凭据现实情况加多拘谨速率，从而高效且精准地处理最优像素对搜索问题。

在此之后，实验室驱动探究像素对评估模子，文件[7]将像素对评估问题视为多筹办优化问题，最先使用多筹办优化算法求得非劣前沿，然后通过浑沌多准则评估选出最适总筹办图像的抠图决策，该步调与之前单筹办优化的步调比较领有更高的精度。

比较于传统的基于采样的抠图期间，基于搜索的抠图期间领有更大的搜索范围，大要精准地处理最优像素对距离未知像素较远的至极情况。然则，在对高清图像进行抠图时，搜索空间愈加重大，前边所提的启发式搜索算法也很难在如斯高的维度中精准地找到最优解，因此，怎么利用启发式抠图算法处理高清图像的抠图问题是实验室接下来的重心盘考标的。

抠图算法从一块绿幕一步一样貌走到今天，也曾困扰着东说念主们的孔洞、毛发、透明袋等特征照旧不再是无法处理的难题，盘考东说念主员针对这些复杂特征抑遏地提议精准度更高、遵循更高的步调，挑战着越来越复杂的图像。

与此同期，跟着抠图期间在越来越多的范畴得到应用，抠图期间演出的脚色渐渐地驱动编削。当先的抠图期间仅仅当作图像合成的逆操作，在影视制作以及平素生涯的图像裁剪中充任图像合成的一个器具。

现实上，抠图期间的现实是精准索要长进的期间，本人就能针对感意思意思的视觉对象进行索要与聚焦，因此，抠图期间的应用不一定要依赖于图像合成。文件[8]针对血管分割问题，提议一种三分图自动生成的步调，然后使用抠图期间赞助血管分割。文件[9]针对红生人东说念主分类问题，将抠图期间当作一种预处理的时势，最先将图片中的房屋、树木以及行东说念主等对象索要出来，再使用抠图得到的数据进行锻练，从而幸免布景中的噪声烦嚣。

抠图期间的应用远不啻于此，在算计机视觉任务中抠图期间大要索要特定的视觉元素，过滤布景信息，如并吞对领有感知图像信息智商的眼睛。因此，抠图期间有着不成忽略的应用价值，精准抠图以及抠图应用皆有着要紧盘考意旨。

针对抠图问题，智能算法实验室团队近几年重心眷注抠图算法的想象过头在工程范畴的应用盘考，有筹商期间盘考效果发表在国外顶级期刊IEEE Transactions on Image Processing与IEEE Transactions on Fuzzy Systems上，此外，有筹商应用盘考效果还发表在Applied Soft Computing上，赢得的系列盘考效果得到图像范畴盘考东说念主员的共同眷注和认同。

现在，实验室还在高清抠图问题上开展了进一步的盘考，针对高清图像长进遮罩索要历程中存在的问题维渡过高难以径直求解、长进遮罩索要精度低等问题， 提议了基于分组协同的群体竞争优化算法[10]，晋升了高清图像长进遮罩的索要精度。今后实验室会不竭对高清抠图问题伸开更久了的盘考。

参考文件

[1] Porter T， Duff T. Compositing digital images[C]//Proceedings of the 11th annual conference on Computer graphics and interactive techniques. 1984: 253-259.

[2] Cho D， Tai Y W， Kweon I. Natural image matting using deep convolutional neural networks[C]//European Conference on Computer Vision. Springer， Cham， 2016: 626-643.

[3] Xu N， Price B， Cohen S， et al. Deep image matting[C]//Proceedings of the IEEE

[4] Lv L， Huang H， Cai Z， et al. Using particle swarm large-scale optimization to improve sampling-based image matting[C]//Proceedings of the Companion Publication of the 2015 Annual Conference on Genetic and Evolutionary Computation. 2015: 957-961.

[5] Cai Z， Lv L， Huang H， et al. Improving sampling-based image matting with cooperative coevolution differential evolution algorithm. Soft Computing， 2017， 21(15): 4417-4430.

[6] Liang Y， Huang H， Cai Z， et al. Particle Swarm Optimization with Convergence Speed Controller for Sampling-Based Image Matting[C]//International Conference on Intelligent Computing. Springer， Cham， 2018: 656-668.

[7] Liang Y， Huang H， Cai Z， and Hao Z. Multiobjective Evolutionary Optimization Based on Fuzzy Multicriteria Evaluation and Decomposition for Image Matting. IEEE Transactions on Fuzzy Systems， 2019， 27(5): 1100-1111.

[8] Fan Z， Lu J， Wei C， Huang H， et al. A hierarchical image matting model for blood vessel segmentation in fundus images. IEEE Transactions on Image Processing， 2019， 28(5): 2367-2377.

[9] Liang Y， Huang H， Cai Z， et al. Deep infrared pedestrian classification based on automatic image matting[J]. Applied Soft Computing， 2019， 77: 484-496.

[10] 冯夫健，黄翰，吴秋霞，凌霄，梁椅辉，蔡昭权.基于群体协同优化的高清图像长进遮罩索要算法.中国科学:信息科学， 2020， 50(3): 424-437.

总裁剪：黄翰

图片：许珉裴

笔墨：许珉裴，冯夫健，凌霄

校稿：冯夫健