导语:
人类视觉系统(HVS)的研究发明,人们在视察视频图像时,习惯把大部分注重力集中在视觉聚焦点周围的小规模区域内,并付与这个区域很高的区分率,而聚焦点外的规模则以较低区分率泛起,这种展望视觉关注区域的历程就叫显著性检测。尊龙时凯国际交织科学研究院、电子信息工程学院徐迈副教授的研究团队开展了视频和图像显著性检测模子的研究,效果现已揭晓至《IEEE Transactions on Image Processing》、《International Conference on Computer Vision (ICCV)》、《Computer Vision and Pattern Recognition (CVPR)》等国际主要期刊与聚会上,并在多媒体通讯领域内引起普遍好评。

研究配景:通讯蹊径的“拥堵”
科研是为创立更好的未来,其灵感也源于现实生涯的缺乏。通过智能终端浏览视频资源,已经成为人们一样平常生涯中必不可少的环节。用户对获取更高清视频需求在日益增添,使得通讯行业的热门,聚焦在了怎样实现海量高清音像视频数据更高效地传输。
视频通讯领域的瓶颈在于随着超高清视频与全景视频的生长,网络需要传输的数据量在一直膨胀,可是传输数据的带宽却是有限的。正如空间有限的公路上行驶的车越来越多,容易引发蹊径拥堵。当下,有限带宽下的视频高效传输,已成为通讯行业亟待解决的问题。
灵感泉源:前沿热门的融合
徐迈先生及其课题组的研究兴趣为视频通讯与图像处置惩罚,他们在研究压缩编码的历程中受人工智能和机械学习的启发,通过研究人类寓目视频的用户体验,为视频压缩提供了新的解决思绪。人类视网膜相当于以亿为单位像素级别的高清相机,人在视察视频图像时有一种聚焦“Attention(关注点)” 的性能,能够施展“删繁就简”的功效能力,关于泛起给视觉的场景,只有我们关注的地方会很清晰,而周围则会泛起相对模糊的情形。
受到启发的徐迈先生及其课题组大胆提出假设:若是为盘算机付与人的视觉性能,压缩视频数据时在人们视觉关注度高的区域分派更多的编码资源,使得视频压缩后仍能够告竣人们视觉体验上高质量的效果,同时在周围节约编码资源。借鉴“Perceptual Video Coding(感知视频编码)”的“感知”手艺,徐先生推动这一新的研究偏向:建设人在视频图像中的关注区域展望模子,以展望视频图片场景中的视觉关注集中域。
研究拓展:年轻团队的相助
为了探索出人类视觉关注区域的模子,徐迈先生向导团队睁开研究。团队中最小的成员为一名大三年级的本科生,徐先生说:“学生的兴趣与小我私家能力,才是开展科学研究的要害因素”。因此在徐迈先生的团队中,学生年岁泛起年轻化的特点。
研究团队通力相助,从数据出发,使用机械学习要领挖掘人体视觉认知纪律。团队约请多位被试者走进实验室,纪录被试者寓目视频时关注区域的效果数据,以现实收罗到的数据为驱动,运用支持向量机和深度学习要领建设机械学习模子,实现视频关注区域的展望。
徐迈先生团队视频显著性检测的研究效果,不但能应用于视频图像压缩,还能够应用于多种领域,如对网页和展示排版设计领域提供指导,通过合理安顿图标、文字,调解配图、配色,可以抵达最洪流平吸引视觉注重力的目的。而徐迈先生团队的下一步研究重点,将实验拓展至具有“交互性、陶醉式”特点的全景视频新鲜领域。团队也将商讨与其他科研团队的相助计划,实现多学科之间相互交织研究。
策划/文案:秦煜瑶、张金星
外文编辑:刘昕睿
设计:秦煜瑶 手艺:曹嘉辉
鸣谢:国际交织科学研究院、电子信息工程学院徐迈副教授
编审:门户网站总编总监事情室
投稿:geoos@buaa.edu.cn