概述

基于事件的视觉传感器（EVS）是一种检测各像素亮度变化，结合“坐标”与“时间信息”，仅输出变化像素对应的数据，从而实现高效率、高速低延迟数据输出的视觉传感器。可以将EVS善于动态捕捉的特点应用于多种不同领域。

什么是EVS

EVS能够捕捉动态（=亮度变化）

EVS是模仿眼睛的感光机制而建立的传感器技术。人眼感受到光线后，视网膜上的受体细胞就会将光信号转换成神经信息，后段的神经细胞再分别挑选出亮部和暗部，经由神经节细胞，将信息传递到大脑的视觉皮层。

另一方面，在EVS中，入射光在传感器的光接收电路中会转换成电气信号。电气信号通过放大器，由比较器根据亮度变化进行分离，形成变亮信号（正极性事件）和变暗信号（负极性事件），然后再通过后段的信号处理，以EVS图像数据的形式输出。

EVS的动作原理

对于按像素分别捕捉到的光的亮度变化，当超过设定的阈值时，基于事件的视觉传感器就会将其检测为事件，然后输出发生事件的像素的坐标、时间和极性。此动作各像素是独立、非同步进行的。
这个图是表现传感器面如何捕捉球体动态的模式图。

各像素由受光部、亮度变化检测部构成。入射光在受光部被转换成电压。亮度检测部的差分检测电路将检测基准电压与从入射光转换而来的电压之间的差分，在比较器中，当这个差分超过正负两侧设定的阈值时，就会输出事件。

为了把事件发生时的亮度水平作为基准，会将电路复位，然后根据这一基准电压设定正侧（亮侧的变化）和负侧（暗侧的变化）的阈值。超出正侧阈值的输出电压的变化，即入射光的亮度变化超过一定比率时，将输出正极性事件，而发生超出负侧阈值的电压变化时，将输出负极性事件。

①设定基准电压、正侧和负侧阈值。
➁入射光亮度下降，超出负侧阈值时，输出负极性事件。
③以事件输出的时间点为基准，设定基准电压、正侧和负侧阈值。
④入射光亮度进一步下降，超出负侧阈值时，输出第二个负极性事件。
➄以第二个事件输出的时间点为基准，设定基准电压、正侧和负侧阈值。
⑥之后，当亮度上升、超出正侧阈值时，输出正极性事件。

如下图所示，入射光被像素以对数关系由亮度转换成电压。因此，EVS既可以在低亮度下检测出微弱的亮度差，又可以在高亮度下抑制因较大亮度差所导致的事件信号饱和，从而实现了传感器的宽动态性能。

根据上述动作原理，可输出如下（右图）所示的EVS视频。

由于像素的亮度变化是在被摄体移动时发生的，因此，该图像看起来就像是提取了移动被摄体的轮廓（照片是将搭载EVS的相机设置在汽车仪表板上拍摄到的图像）。

技术说明

实现业界最小像素尺寸的堆栈式小型、高分辨率传感器

传统技术中将受光部与亮度检测部配置在同一个平面上，而本产品划分出像素芯片（上部）与嵌入了信号处理电路的逻辑芯片（下部）两个部分。两个芯片堆栈在一起，利用Cu-Cu（铜-铜）连接实现各像素的导通。除了业界最小的像素尺寸4.86μm，还对逻辑芯片采用了40nm的微细工艺，实现高度集成，这样，仅需1/2.5英寸就能实现1,280×720的HD分辨率。

*1) 在堆栈式基于事件的视觉传感器中，基于索尼研究，截至2021年9月9日发稿时间。

实现高速、低延迟

各像素独立检测到亮度变化后，会立即将数据作为事件输出。当多个像素发生事件时将凭借仲裁电路，按照事件的先后顺序依次输出。基于这样的逻辑电路，能够以低电力消耗、微秒级的高速度，仅输出有效的动态信息。

H/W内置事件过滤功能

为应对各种用途，搭载了针对事件数据的多重过滤功能。
利用这一过滤功能，能够过滤LED闪烁等特定周期发生的无需识别的事件、很可能不属于动态被摄体轮廓的事件，以及调整后段系统可处理的事件发生率以下的数据量等。

相当于30fps的“帧化事件数据”的累积图（左图、右图）

过滤功能ON（右图）以后，有望达到在保留特定用途中有用信息的同时削减数据量的效果。
例如右侧（ON的图）中的“道路白线信息”就是有用的信息。

事件信号处理例

①液体监测

基于帧的传感器的图像

③金属过程监控

④3D测量

⑤振动监测

*)Metavision是Prophesee公司的SW开发环境与算法库群。
Metavision®是、PROPHESEE S.A.的注册商标。

外观检查、异物检查

EVS是通过拍摄产品的相对动态变化，从而对划痕及污垢的亮度差进行检测。例如，在划痕/灰尘的检查或者在大型卷筒薄膜的破损检查等场景下，EVS有望得到广泛应用。

其显著特长是数据量较小以及与机器学习的兼容性高。在RGB相机的情况下，由于显色方式的影响，会导致划痕等的外观存在差异，而且数据量也很大。而EVS则能够检测出各个像素的亮度变化，并将“坐标”和“时间信息”进行组合输出，因此数据量较小，速度很快。通过与机器学习相结合，还能够有助于检查的自动化。

相关领域

电子设备制造
食品・医药品・化妆品制造

机械异常的检测

由于EVS可以检测高速物体的动态并进行追踪，因此，即使是轻微的动作异常，也能够输出轻量且无延迟的数据。通过与机器学习相结合，还可以应用于异常检测系统。

相关领域

电子设备制造
重工业・成套设备制造

机器人领域

目前，在物流行业，对自走式机器人的需求正在日益增加。EVS可根据物体轮廓的变化，对物体的外观特征进行“动态检测”。而且，还能够对障碍物的检测进行高速处理，因此，在自动搬运机器人及快递机器人等自走式机器人领域有望获得广泛应用。另外，在护理支援的现场，还正在研讨将其应用于护理机器人。

相关领域

物流

保护个人隐私的监控

可以将人物的动作状态作为亮度的变化进行捕捉。而且不会对人脸的颜色和形状进行具体拍摄，因此，非常适合在医疗及护理现场中的安全监控，可以保护个人隐私。

另外，依靠其动态范围较宽的特性，可以在不受照明环境影响的情况下对“动态”进行检测，并输出轻量且无延迟的数据。例如，即使在安防用图像传感器难以拍摄的昏暗场所，也可对人的移动路线进行监控。通过将EVS与其他图像传感器进行组合，还能够构建性能更高的监控系统。

相关领域

安全监控

科学测量、调查

由于EVS能够识别快速变化的物体，因此非常适用于科学测量领域。在客户行为调查领域，由于只是对人的动态进行反应获取数据，因此可以实现保护个人隐私的客户行为调查。

相关领域

研究・调查

UI/UX开发

基于事件的视觉传感器可将各像素的动态作为亮度变化加以捕捉，并能够以低延迟只输出发生变化的数据，因此最为适用于手部动作等的手势追踪设计。通过与ToF式距离图像传感器进行组合，还有望进一步扩大应用。

相关领域

研究・调查

（2021年9月9日，日本厚木）——索尼半导体解决方案公司（下称“索尼”）今天宣布即将发布两款堆栈式基于事件的视觉传感器。两款传感器为工业设备而设计，能够专注于物体特定变化的检测，且实现了业界最小*1的4.86μm像素尺寸。

*1:在堆栈式的基于事件的视觉传感器中，基于索尼研究，截至2021年9月9日发稿时间。

基于事件的视觉传感器可异步（非同时）检测每个像素的亮度变化并仅输出变化的数据，将其与像素位置（xy坐标）和时间信息相结合，从而实现高速度、低延迟的数据输出。

这两款新的传感器采用堆栈式技术，利用索尼专有的Cu-Cu连接技术*2，实现了业界最小*1的 4.86μm像素尺寸。除了以低功耗运行并实现高速度、低延迟、高时间分辨率的数据输出外，这两款传感器还具有小尺寸但分辨率超高的特点。集合所有这些优势，以确保在不同环境和情况下立即检测到移动对象。

*2:在堆栈像素部分（顶部芯片）和逻辑电路（底部芯片）时通过连接的Cu（铜）焊盘实现电气连接的技术。与通过插入像素区域周围的电极实现连接的硅通孔 (TSV) 布线相比，这种方法提供了更多的设计自由度、提高了生产效率、允许更紧凑的尺寸并提高了性能。

两款传感器是索尼和Prophesee之间进行合作，将索尼的CMOS图像传感器技术与Prophesee独特的基于事件的视觉传感器技术相结合而实现的。这可以实现高速度、高精度的数据采集，并有助于提高工业设备的生产率。

*3:基于图像传感器有效像素测定方法。

随着工业设备行业的需求日趋复杂和多样化，使用传感技术从摄像头捕获的图像中提取必要信息的用途不断增多，这就需要更高效的数据采集。

如果使用常用的基于帧（画面）的方法，整个图像是由帧率确定以一定时间间隔输出的。然而，全新的索尼传感器利用变化监测的方法异步检测像素亮度变化并输出带有像素位置（xy坐标）和时间信息的数据。它们采用专有的堆栈式结构，利用Cu-Cu连接实现像素芯片和逻辑芯片之间的导电，逻辑芯片配备了用于检测每个像素亮度变化的信号处理电路。这种设计使得只有检测到物体亮度变化的像素才能输出数据，使传感器能够在低功耗运行状态上以高速度、低延迟、高时间分辨率的方式检测亮度变化。同时，该设计实现了业界最小的※1像素尺寸4.86μm，是非常小型紧凑的高分辨率传感器。  

两款传感器可以感知振动的细微变化，在设备的预测性维护中检测异常情况。它们还可以感知焊接和金属切割过程中产生的火花的变化，这些信息可用于通知工人更换工具的最佳时间，以及其他方面的各种可能性。同样，它们可以在基于帧（画面）的图像传感器遇到问题的各种应用环境中帮助改进生产，并为依靠于人类经验的工作流程提供支持。

主要特点

■业界最小*1像素尺寸4.86μm，高分辨率的小型紧凑设计

新传感器采用专有的堆栈式结构，利用Cu-Cu连接实现像素芯片和逻辑芯片之间的导电，逻辑芯片配备了用于检测每个像素亮度变化的信号处理电路。像素单元和信号处理电路通常放置在同一块板上。然而，在这些产品中，独特的堆栈式结构成功实现业界最小*1的4.86μm像素尺寸，同时保持了像素单元的高开口率*4。这种设计提供了小型紧凑的外形和高分辨率，以及高精度的识别能力。

*4:从光入射侧看每个像素的开口部分（除遮光部分以外的部分）的比率。

■尽管功耗低，但具有高速度、低延迟、高时间分辨率的变化数据提取能力

专有的堆栈式结构使索尼能够选择变化监测的方法，异步检测像素亮度变化并输出带有像素位置（xy坐标）和时间信息的数据。与基于帧（画面）的方法不同，这允许传感器仅读取所需的数据，从而节省功耗，并且具有微秒级的高速度和低延迟，可实现高时间分辨率的输出。

■简化信息获取的变化过滤功能

这些传感器配备了Prophesee开发的变化过滤功能，用于消除不必要的变化数据，使其适用于各类应用。使用这些过滤器有助于消除不应被当前识别任务抓取的变化，例如在特定频率下可能发生的LED闪烁（抗闪烁），以及极不可能是移动对象轮廓的变化（变化过滤器）。过滤器还可以在必要时调整数据量，以确保其低于下游系统中可处理的变化率（变化率控制）。

作为索尼和 Prophesee 在此类传感器产品合作的一部分，Prophesee提供一种针对传感器性能优化的变化信号处理软件--Metavision® Intelligence Suite。将索尼基于事件的视觉传感器与该软件相结合，可实现高效的应用程序开发并为各种使用场景提供解决方案。

Metavision®是PROPHESEE S.A.的注册商标。

如果想了解索尼基于事件的视觉传感器的更多信息，请访问以下网址：

产品页面：

https://www.sony-semicon.co.jp/cn/products/IS/industry/product/evs.html

技术页面：

https://www.sony-semicon.co.jp/cn/products/IS/industry/technology/evs.html

关键参数

*5: Region of Interest，注意（兴趣）区域， 9 × 9 = 81像素。

*6: Thinned read-out, 细化读出，1/5 (水平方向)。

*7: 5lux(勒克斯、照明单位)是保证成像特性的最低光照条件。 低光阻隔（不保证）为 0.08 lux，50% 的像素响应线性 100% 对比。

 参考链接：https://www.sony-semicon.com/cn/technology/industry/evs.html

   https://www.sony.com.cn/content/sonyportal/zh-cn/cms/newscenter/techonology/2021/20210909-011.html