计算机视觉芯片公司Ambarella宣布在其片上摄像头系统(SoC)系列中推出一款新处理器,其目标是更广泛的智能设备应用,需要在边缘进行灵活的人工智能传感和处理。

其新的CV28M相机SoC是其CVflow系列中的最新产品,将先进的图像处理、高分辨率视频编码和计算机视觉处理结合在一个单一的低功耗设计中。新型摄像头SoC的两个功能与智能边缘传感和低带宽特别相关,即其基于AI的速率控制,以优化图像质量,同时降低视频存储和网络带宽要求,这在IP安全摄像头中尤其有用;以及它的人工智能延时,它使用场景分析只记录它认为有用的时刻,并避免扫描视频时间线以检索感兴趣的时刻所需的时间。

Ambarella AI Timelapse AI Bitrate control
新相机SoC的两个功能与智能边缘传感和低带宽特别相关,它们是基于AI的速率控制和AI延时(图片:Ambarella)

Ambarella的营销总监Jerome Gigot说,“基于人工智能的比特率控制是指在编码前使用Ambarella CVFlow人工智能引擎分析每一帧,以找到每一帧中最重要的区域(例如人脸或汽车)与不包含任何重要信息的其他区域(如背景或其他不重要的对象)相比,能够以更高的质量对视频的特定区域进行编码。”

此外,Ambarella负责营销和业务发展的副总裁Chris Day向embedded.com解释说,新设备使用与CV25相同的人工智能引擎和功能,但正在解决新的成本意识市场,并为智能家居安全、零售监控、消费者机器人和占用监控等应用提供一类新的智能边缘设备。

“在我们周围,设备正在变得越来越智能,通过我们最新的CV28M SoC,我们的客户可以为各种新应用开发新一代智能传感相机。在隐私敏感的应用中,如监控零售店、工作场所、租赁物业或家中老年人,基于边缘的人工智能处理可以支持智能监控和快速决策而无需将视频录制或流式传输到云端。”

他说,与新相机SoC的主要区别在于,它使用双核Arm Cortex-A53,而不是四核设备。这提高了边缘感知AI的效率,并将成本降低了30%。他补充道,对于许多更面向消费者的嵌入式视觉应用程序来说,它们不需要CV25的全部人工智能功能,因此新的CV28M提供了一种更有针对性的方法。

对于零售监控或入住监控等人工智能传感应用,CV28M提供了在相机中做出所有决定的人工智能性能,保护了隐私,避免了后台服务器上运行的繁重视频处理。在消费者机器人应用中,CV28M可以连接到各种传感器,如可见光、结构光和飞行时间(ToF),以捕获并处理导航所需的数据。

Ambarella CV28M Block diagram
CV28M相机SoC框图(图片:Ambarella)

CV28M提供AVC和HEVC两种格式的高效视频编码。高性能图像信号处理器(ISP)在弱光条件下提供出色的成像,高动态范围(HDR)处理在高对比度场景中提取最大的图像细节。摄像头SoC包括一整套先进的网络安全功能,以防止黑客入侵,包括安全引导、TrustZone和I/O虚拟化。CV28M芯片采用10 nm超低功率工艺技术制造,针对需要长电池寿命和小外形尺寸的无线相机应用进行了优化。

CV28M芯片与Ambarella的CV25、CV22和CV2 CVflow SoC系列共享一个通用的SDK和计算机视觉(CV)工具,简化了具有多种价格和性能选项的相机的开发。一套完整的CV工具可帮助客户将自己的神经网络移植到CV28M上,包括编译器、调试器和对行业标准机器学习框架(如Caffe和TensorFlow)的支持,以及卷积神经网络(CNN)性能优化的广泛指南。