摄像头
论文的其他作者包括英伟达 AI 城市项目的 CTO - Milind Naphade
发布者:admin     浏览次数:     发布时间:2019-08-08 13:58

  我们提供了相机分布和校正信息来辅助时空分析。此外,我们也提供这个数据集的子集用作基于图像的车辆再识别。我们进行了大量的实验分析,测试了各种各样的跨摄像头多目标跟踪、单摄像头多目标跟踪、目标检测和再识别的基准/最先进算法,并分析了不同的网络结构、损失函数、时空模型和它们的结合。

  在现有数据集中,本数据集有最大的空间跨度和摄像头/路口数量,包括多样的城市场景和交通流量,为城市规模的解决方案提供了最佳平台。

  整个数据集包括 5 个不同场景和 40 个摄像头,视频总长度大概 3 小时 15 分钟,标注了 666 辆车的跨摄像头轨迹。以下是这些场景的总结(部分场景摄像头有重合)。

  以下是跟踪标注结果的示例。研究者首先采用目前先进的目标检测和单摄像头跟踪方法得到粗略的目标轨迹,并手动修复轨迹中的错误,在此基础上进行跨摄像头间的信息标注。

  分析了各种最先进算法在该数据集上的表现,比较了各种视觉和时空分析结合的算法,证明该数据集比现有其他数据集更具挑战性。

  本文作者提出的「流动之城」数据集包含高清的同步视频,涵盖最多的路口(10)和最大数量的摄像头(40),收集于一个中等规模的美国城市,场景也很多样,包括了住宅区和高速公路等等。本文的主要贡献有以下三点:

  最后,下表加入了时空分析的比较,对比跨摄像头多目标跟踪的最终结果。其中 PROVID 是 VeRi 数据集作者的方法。2WGMMF 是作者实验室之前提出的方法,用高斯分布来学习摄像头之间的时空关系。最后 FVS 还是作者去年 AI 城市大赛上获奖方法的一部分,用手动来设定跨摄像头间的高斯分布,所以也更加准确一些。

  汤政在 2017 年及 2018 年两度带领自己实验室的团队参加英伟达主办的 AI 城市大赛,他们的队伍连续两届成为该项赛事冠军,击败了包括加州大学伯克利分校、伊利诺伊大学厄巴纳-香槟分校、马里兰大学帕克分校、北京邮电大学、国立台湾大学等在内的全球近 40 支队伍,其中第二届赛事是 CVPR 2018 的 workshop。因为团队的出色表现,汤政受邀进入英伟达实习,负责协助筹办第三届 AI 城市大赛(同样是今年 CVPR 2019 的 workshop)并准备基准数据集,也就是本文介绍到的「流动之城」数据集。

  摘要:使用交通摄像头作为传感器的城市交通优化需要更强大的多目标跨摄像头跟踪支持。这篇论文介绍了 CityFlow(流动之城),是一个城市规模的交通摄像头数据集,包括了从 10 个路口提取的 40 个摄像头收集到的超过 3 个小时的同步高清视频,两个同步摄像头间的最长距离是 2.5 千米。据我们所知,从空间跨度和摄像头/视频数量来看,「流动之城」是目前都市环境中最大规模的数据集。该数据集包含超过 20 万个目标框,并且涵盖了多样的场景、视角、车辆模型和城市车流状况。

  「流动之城」也是第一个支持(基于视频的)跨摄像头多目标车辆跟踪的数据集,提供了原始视频、相机分布及相机校正信息,将打开一个全新研究领域的大门。

  要克服这一难题,必须解决三个截然不同但又密切相关的研究问题:1)单摄像头内目标的检测和跟踪,即多目标单摄像头(MTSC)跟踪;2)跨多摄像头目标重识别,即 ReID;3)跨摄像头网络对目标进行检测和跟踪,即多目标跨摄像头跟踪(MTMC tracking)。MTMC 跟踪可以看作是相机内部 MTSC 跟踪与基于图像的 ReID 的结合,连接相机之间的目标轨迹。

  城市利用交通摄像头作为全市范围内的传感器来优化交通流量和管理交