我们不仅提供锤子,还制造钉子,捕光制电,让我们打开前所未见的视觉新世界。”现有的开源框架主要提供图像处理或者算法工具,而SpikeCV不仅提供脉冲处理工具及脉冲视觉算法,还提供脉冲相机硬件算法接口及规范化的脉冲数据集。若把工具比喻成锤子,那么数据就是钉子。SpikeCV不仅提供锤子,也提供钉子。利用锤子和钉子,用户可使用脉冲相机实现任意连续视觉任务。
图. SpikeCV框架。主要包含数据集、设备接口和模块库三大部分
与现有开源框架主要提供图像处理或者算法工具不同,SpikeCV提供了脉冲处理工具、脉冲视觉算法、脉冲相机硬件接口以及规范化的脉冲数据集。SpikeCV主要采用的编程语言为Python,与硬件交互的底层语言采用C++编写。用户可以使用脉冲相机实现任意连续视觉任务,并且方便地使用当前主流的数据分析和深度学习工具库,例如NumPy、Scipy和Pytorch等。
SpikeCV不仅提供了工具,也提供了数据。规范化的数据集中包括脉冲相机拍摄的真实场景和模拟的脉冲流,及对应的视频、光流、深度、物体类别等标签信息。除了配套的数据集,还提供离线及实时数据接口,可供用户自定义场景采集数据集或测试算法在线性能。模块库中提供了脉冲数据加载接口、各类脉冲算法库接口及配套的开发工具库。