计算机多媒体领域的年度国际学术会议IEEE International Conference on Multimedia and Expo (ICME) 于2019年7月8日-12日在上海圆满召开。鹏城实验室人工智能研究中心、北京大学数字视频编解码技术国家工程实验室高文院士团队的论文“Towards Digital Retina in Smart Cities: A Model Generation, Utilization and  Communication Paradigm (面向智慧城市数字视网膜的模型生成、利用和传输范式)”荣获大会最佳论文奖。论文第一作者为鹏城实验室、北京大学信息科学技术学院2015级博士生楼燚航，通讯作者为鹏城实验室、北京大学段凌宇教授。ICME是IEEE在多媒体领域的旗舰年会，本次会议共收到来自36个国家或地区的1000余篇论文投稿，论文接受率约31%。



鹏城实验室高文院士团队致力于数字视网膜计算架构的研究，借鉴人类视网膜机理，实现特征实时汇聚、视频按需调取、前端软件可定义等功能。该获奖论文针对数字视网膜计算，首次提出了视频流、特征流与模型流的多流协同计算模式，改善了城市大脑的视觉通路，有效克服“端-边-云”协同计算的模型重用与传输瓶颈等问题，为视频数据大规模汇聚、存储和计算提供了新思路。 

获奖论文的相关研究工作依托于鹏城实验室人工智能研究中心云脑开源平台与智能应用项目的智能交通课题，段凌宇教授担任其中子课题负责人。课题瞄准人工智能国家重大战略需求，以建立数字视网膜的计算理论、方法与技术体系为目标，深入研究智能交通场景下的大规模视频特征计算瓶颈问题，并在鹏城实验室“云脑”平台上逐步实现百亿规模视频监控以及交通数据的高效索引、事件的实时检测和因果推断技术验证。利用视频流、特征流与模型流协作机制，研制千万规模视频对象的关联理解与知识演化特性分析引擎，并在重点城市智能交通系统进行应用示范。通过数字视网膜框架下的视频、特征、模型协同计算等基础理论方法创新，提升我国在人工智能基础理论领域的国际学术地位和影响力；通过应用示范系统的构建，为智慧出行等重要民生领域提供有序引导及因果推断等方面的人工智能技术保障。



段凌宇教授课题组在数字视网膜研究与实践中发现，数字视网膜计算框架的边缘节点缓存了大量表征识别模型与无标签数据。为此，课题组提出一种多模型重用机制，有效利用数字视网膜框架下边缘节点缓存的模型和数据，生成更具域适应性和判别力的目标模型。针对多模型重用带来的风险，该论文给出了理论证明与分析，并在实验中取得了相比传统方法更优的性能增益。在视网膜计算框架下，模型的频繁传输与部署会带来较大的通信开销；为此，该项研究工作进一步提出了模型之间高效通信的新问题，并提出了一种新颖的差分模型压缩方法，相比传统的单模型压缩方法，可有效降低模型传输代价。论文围绕视频流、特征流、模型流，提出了城市视觉系统中的协同计算新问题，对于未来数字视网膜理论研究与实践具有指导意义。 

段凌宇教授长期从事以机器识别为目标驱动的视觉特征分析与压缩研究工作，以压缩传输视觉特征为突破口，通过汇聚大规模紧凑视觉特征，实现视觉对象精准分析与识别，克服了联网分析识别提出的实时数据汇聚挑战。课题组围绕视觉特征的紧凑表示、模式学习、高效索引三方面系统地开展了研究工作，提升了特征的紧凑性与辨识力，优化了大规模特征检索的可扩展性，并通过制定标准解决了传输压缩特征所引发的互操作问题，全面实现了特征的小、准、快、通。作为主起草人，制定了紧凑视觉特征国际标准MPEG－CDVS与MPEG－CDVA，将多项研究成果转化成为标准规范化核心技术。其中，MPEG-CDVS成为多媒体领域我国主导制定的首项ISO国际标准。MPEG-CDVA预计在2019年9月正式颁布执行，鹏城实验室人工智能研究中心为该项国际标准制定的重要贡献单位之一。相关成果获2017年度国家技术发明奖二等奖、2016年度教育部技术发明奖一等奖、2017年度中国专利优秀奖。整体研究成果已被著名互联网公司与安防领域重点企业采纳并投入运营。段凌宇教授现担任新一代人工智能产业技术创新战略联盟(AITISA)视觉特征编码标准组组长，依托于鹏城实验室人工智能研究中心，围绕数字视网膜计算框架，研究特征计算规范化问题，致力于我国自主知识产权的人工智能标准化技术。

来源 | 鹏城实验室
撰稿 | 人工智能研究中心 邱景飞、白燕