【合成|人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明】track|前景|方法|数据|分割|抠图-凯发官网注册


凯发凯发娱乐网址官网注册首页 > 科技资讯 > >

『联盟·玩科技摘要_合成|人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明』ieee会士jizhizili、陶大程等人开发了一个专门处理动物抠图的端到端抠图技术gfm。在这个图像和视频逐渐成为主流媒介的时代,大家早已对「抠图」习以为常,说不定还看过几部通过「抠...


按关键词阅读: 动物 研究 数据 合成 图像 前景 分割 track

选自arxiv
作者:jizhizi li、dacheng tao等
机器之心编译
编辑:魔王
相比于人像抠图 , 长相各异、浑身毛茸茸的动物似乎难度更大 。 ieee 会士 jizhizi li、陶大程等人开发了一个专门处理动物抠图的端到端抠图技术 gfm 。
在这个图像和视频逐渐成为主流媒介的时代 , 大家早已对「抠图」习以为常 , 说不定还看过几部通过「抠图」拍摄的电视剧呢 。 然而 , 相比于人像抠图 , 长相各异、浑身毛茸茸的动物似乎难度更大 。
那么 , 是否有专用于动物的抠图技术呢?ieee 会士 jizhizi li、陶大程等人就开发了一个专门处理动物抠图的端到端抠图技术 。

文章图片

动物的外观和毛皮特征给现有的方法带来了挑战 , 这些方法通常要求额外的用户输入(如 trimap) 。
为了解决这些问题 , 陶大程等人研究了语义和抠图细节 , 将任务分解为两个并行的子任务:高级语义分割和低级细节抠图 。 具体而言 , 该研究提出了新型方法——glance and focus matting network (gfm) , 使用共享编码器和两个单独的解码器以协作的方式学习两项子任务 , 完成端到端动物图像抠图 。
研究人员还创建了一个新型动物抠图数据集 am-2k , 它包含 20 个类别的 2000 张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。
此外 , 该研究通过对前景和背景图像之间的不同差异进行综合分析 , 来研究合成图像和自然图像之间的领域差距(domain gap)问题 。 研究人员发现 , 其精心设计的合成流程 rssn 能够降低差异 , 带来更好的、泛化能力更强的模型 。 在 am-2k 数据集上的实验表明 , gfm 超过当前最优方法 , 并且有效降低了泛化误差 。
动物图像抠图方法 gfm
在给动物图像抠图时 , 人类首先会浏览一下图像 , 快速识别出大致的前景或背景区域 , 然后聚焦于过渡区域 , 将动物细节与背景区分开来 。 这可以大致形式化为分割阶段和抠图阶段 。 注意 , 这两个阶段可能会出现交叉 , 因为第二阶段的反馈信息可以纠正第一阶段错误的决策 。
为了模仿人类经验 , 使抠图模型具备处理这两个阶段的能力 , 有必要将其合并进一个模型 , 并显式地建模二者之间的协作 。 因此 , 研究者提出了新型 gfm 网络 , 进行端到端的自然动物图像抠图 , 模型架构参见下图:

文章图片

图 2:gfm 网络架构图示 。 它包含一个共享编码器和两个单独的解码器 , 解码器分别负责图像分割和细节抠图 。
新型图像合成流程 rssn



    来源:(澎湃新闻)

    【联盟·玩科技】网址:http://game.easyfang.com/news/11194a942020.html

    原题:合成|人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明


    上一篇:

    下一篇:


    游戏

    机动空投获得|和平精英机动空投获得攻略

    阅读(44)

    在这个模式的地图里面,我们在天空中偶尔可以看到一颗流星坠落到海岛上;2、这个不是什么惩戒机制,是我们的天降福利时间,在这个流星被砸中的地方,我们可以看到形成一片失重...

    游戏

    兑换码11.10|原神兑换码11.10一览

    阅读(36)

    我们还有在小黑盒、微博、米游社有签到奖励可以领取,每天可以领取到不少的原石哦;兑换方法:我们复制了兑换码之后,进入游戏的主界面,然后点击一下派蒙的头像,在左下方有...

    游戏

    火?兽获得|妄想山海火?兽获得攻略

    阅读(36)

    有机会获得神兽元胎碎片-秘宝碎片·神兽,同时也有极小概率直接获得火?兽元胎。火?兽技能3、神兽元胎、秘宝碎片·神兽均可在拍卖行中流通,因此玩家可以在商城中购买碎片10合1合出...

    游戏

    崩坏3|崩坏3米游姬的礼物活动玩法攻略

    阅读(32)

    消耗相机进行翻牌连线可以获得奖励。3、奖励内容:本次活动有8个奖池,玩家翻牌开启格子可以获得奖励,当“〇”连成任意直线时即为bingo成功,即可领取奖池内的展示奖励。翻牌奖...

    游戏

    枉生骑士|剑与远征枉生骑士试炼之地通关攻略

    阅读(19)

    试炼的英雄默认上阵。2、英雄等级:所有英雄统一为神话品阶,等级为240级。3、装备:所有英雄默认佩戴传说t1装备且没有强化等级,无种族加成效果。4、专属装备:无专属装备附加属...