博客
关于我
干货 | 快速端到端嵌入学习用于视频中的目标分割
阅读量:478 次
发布时间:2019-03-06

本文共 1970 字,大约阅读时间需要 6 分钟。

640?wx_fmt=jpeg

三月即没,四月在望。四月者,送严寒而迎东君,历清明而过谷雨。金风和煦,万物复苏。百芳发而幽香逸,春鸟还而鸣声碎。

好几天没有和大家一起学习,探讨问题了。最近主要去打理“计算机视觉协会”知识星球,给星球的同学们讲解了目标检测中遇到遮挡该怎么去解决的方法。

如果想加入我们“计算机视觉战队”,请扫二维码加入学习群。计算机视觉战队主要涉及机器学习、深度学习等领域,由来自于各校的硕博研究生组成的团队,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。

640?wx_fmt=jpeg

暗中观察

640?wx_fmt=gif

默默关注

那我们开始进入今天的主题,接下来主要和大家分享目标在视频中的实时分割技术,来,一起学习吧!

640?wx_fmt=png

640?wx_fmt=png

背景及动机

最近对于目标分割的技术,已经出现很多很多,但都比较复杂,严重依赖于第一帧的微调,而且与/或速度慢,因此实际应用特别有限。

在今天的分享中,新框架将FEELVOS(Fast End-to-End Embedding Learning for Video Object Segmentation)作为一种简单、快速、不依赖于微调的方法。

640?wx_fmt=jpeg

为了分割视频,FEELVOS对每一帧使用语义像素级嵌入和全局和局部匹配机制,将信息从第一帧和视频的前一帧传输到当前帧。与以前的工作相比,该嵌入仅用作卷积网络的内部指导,该技术新的动态分割头允许训练网络,包括嵌入,端到端的多目标分割任务的交叉熵损失。

最后,在不需要微调的Davis 2017验证集上实现了视频目标分割的新技术,其J&F值为69.1%。

新框架方