近日,索尼半导体发布两款堆叠式事件监测视觉传感器(EVS, Event-based Vision Sensor)——IMX636、IMX637,分别为100万和30万分辨率。该两款芯片采用了Cu-Cu连接的3D堆叠工艺,从而使事件驱动相机的像素尺寸从15um减少到4.86um,这是该领域的巨大进展。据介绍,两款芯片主要用于工业相关领域。索尼发布堆叠式事件监测视觉传感器,意味着巨头正式进入仿生视觉事件相机领域,相关产品及应用将加速落地。
索尼发布的EVS芯片仅输出事件流信号,目前行业的主流事件相机基本为此类型,比如三星的Gen4 DVS芯片。
与索尼及三星不同,锐思智芯核心产品是一种融合式仿生视觉传感器芯片ALPIX,采用Hybrid Vision 技术,即将仿生视觉技术与CIS技术在像素级别进行融合,使得芯片可以同时输出仿生的事件流信号和图像信号。该融合的工作模式更适应大部分消费电子场景的需要。
大部分应用场景既需要基于事件流信号做快速的预判,也需要基于图像信号做复杂的重建或精细判断(如稠密3D点云重建、人脸识别等)。EVS+CIS双摄的方案由于事件流信号与图像信号模态不同的原因,存在空间上匹配的难点。而ALPIX芯片的图像信号与事件流信号在空间上一一对应,降低匹配难度。当然由于ALPIX输出图像信号,因此用户也可兼容使用成熟的计算机视觉的算法。除此外,锐思智芯在像素尺寸及噪声方面进一步优化。
目前锐思智芯已推出两个系列芯片产品:ALPIX002融合式低功耗仿生视觉传感器和ALPIX003融合式高端仿生视觉传感器;ALPIX003预计今年底发布。
ALPIX 002融合式低功耗仿生视觉传感器,像素端过滤80%无效信息,帮助提高有效信息占比,节省系统成本,为各类端侧的人工智能场景量身打造;在适配现有图像系统基础上,增加独立的事件流数据,帮助提高算法的效率及精度。适用于各类视觉IoT场景,在保持对场景连续感知的同时降低系统功耗。
ALPIX 003融合式高端仿生视觉传感器,高质量的传统图像数据在高信噪比、高帧率、高动态范围的事件流数据同步加持下,进一步提高拍摄的成像质量;基于事件流数据,为图像信号提供实时的算法处理,实现相机设备更优的视觉功能。适用于超高画质拍摄的小型相机设备。在保证业内最高分辨率的同时,为行业带来最小的像素大小。
仿生视觉事件相机的产业化从2015年开始。目前仍然是以索尼、三星为代表的国外公司为主。国内传感器芯片公司对事件相机探索的时间相对较晚。
锐思智芯团队来自瑞士,拥有仿生视觉事件相机及高端图像传感器研发的复合背景,是国内少有的可以做仿生视觉事件相机及高端视觉传感器芯片的公司。
锐思智芯研发融合式仿生视觉传感器芯片ALPIX,目标是将事件相机技术应用到国内消费电子领域,包括智能家居、安防、机器人等。
场景一:智能门铃、门锁
通过ALPIX的事件信号进行always-on的智能唤醒功能,检测到人接近时,打开RGB信号进行人脸识别判断。
场景二:机器人、无人机等
使用ALPIX的事件信号进行快速避障功能,使用ALPIX的图像数据进行三维重建,进行自动定位导航,提高机器人运行速度及精度。
场景三:安防
使用ALPIX的事件信号对于特殊事件进行判断,当特殊事件发生时,如斗殴、伤害等;向后端传输RGB信号进行预警及详细判断。