恋迦|| 索尼发布全球首款具有AI处理功能的智能视觉传感器，潮科技
图|MEMS
据麦姆斯咨询报道 ， 近日 ， 索尼（Sony）公司宣布即将发布两款智能视觉传感器：IMX500和IMX501 ， 这是全球首款配备人工智能（AI）处理功能的CMOS图像传感器 。 该CMOS图像传感器自身集成AI处理功能 ， 可以实现高速边缘AI处理和提取必要的应用数据 。 当使用云服务时 ， 利用该传感器构建的视觉系统可减少数据传输延迟 ， 解决隐私问题并降低功耗和通信成本 。
索尼智能视觉传感器为广大应用开发者提供了研发配备AI功能的摄像头的机会 ， 通过高速数据处理可实时跟踪目标对象 ， 应用领域包括智慧零售、智能安防、智能交通及智慧工业等 ， 并且有助于构建链接云服务的最佳视觉系统 。
文章图片
智能视觉传感器（左：IMX500；右：IMX501）
文章图片
图|MEMS
物联网的普及导致各种各样的设备都将连接到“云” ， 并且从这些设备获取的信息可通过云AI处理 ， 这使得云信息处理系统的使用变得司空见惯 。 但是 ， 在云中处理的信息量不断增加 ， 带来了各种问题：数据传输延迟增加 ， 阻碍了实时信息处理；将个人身份数据存储在云中 ， 造成用户安全问题；云服务带来的其它问题 ， 如电力消耗和通信成本的增加……
索尼智能视觉传感器由像素阵列芯片（感光功能）和逻辑电路芯片（包括计算和存储功能）进行3D堆叠而成 ， 是全球第一款在逻辑电路芯片上集成AI图像分析和处理功能的CMOS图像传感器 。 其中 ， 像素阵列芯片获取的信号利用传感器中的AI处理 ， 无需高性能处理器或外部存储器 ， 从而使边缘AI系统得以发展 。 该传感器输出元数据（属于图像数据的语义信息）而不是图像信息 ， 从而减少数据量并解决隐私问题 。 此外 ， 边缘AI可以为通用应用提供多种功能 ， 例如具有高速AI处理的实时对象跟踪 ， 也可以根据用户需求或系统使用位置等条件 ， 通过重写内部存储器来选择不同的AI模型 。
文章图片
【恋迦|| 索尼发布全球首款具有AI处理功能的智能视觉传感器，潮科技】图|MEMS
像素阵列芯片采用背照式（BSI）工艺 ， 有效像素约为1230万 ， 可在宽视角下捕捉图像信息 。 除了传统的CMOS图像传感器运算电路外 ， 该逻辑电路芯片还集成了索尼专用于AI信号处理的数字信号处理器（DSP） ， 以及用于AI模型的存储器 。 这种配置消除了对高性能处理器或外部存储器的需求 ， 使其成为边缘AI系统的理想选择 。
像素阵列芯片获取的信号先通过ISP（图像信号处理器）处理 ， 然后在逻辑电路芯片上进行AI处理 ， 提取的信息作为元数据输出 ， 从而减少处理的数据量 。 另外 ， 确保不输出图像信息有助于降低安全风险并解决隐私问题 。 除了传统CMOS图像传感器记录的图像信息外 ， 用户还可以根据自己的需求和用途选择数据输出格式 ， 包括ISP格式输出图像（YUV/RGB）和ROI（感兴趣区域）特定区域提取图像 。
文章图片
图|MEMS
当使用传统CMOS图像传感器拍摄视频时 ， 必须为每个单独的输出图像帧发送数据以进行AI处理 ， 从而导致数据传输量增加 ， 并且难以提供实时处理 。 索尼智能视觉传感器在逻辑电路芯片上执行ISP处理和高速AI处理（MobileNetV1的处理时间为3.1毫秒） ， 从而在单个视频帧中完成整个过程 。 这种设计使得“在录制视频的同时提供高精度、实时的目标跟踪功能”成为可能 。
推荐阅读
- 科技犬君|vs 索尼A9G 谁强？，上半年用户喜爱手机盘点；小米电视大师65英寸OLED
- 红蛋儿儿|可以试试，自媒体发布神器：一键让文章发布到多个平台
- AI数码控|7.09英寸+5000毫安电池，入手值不值？，华为新机发布
- 黑评|反向快充＋高刷刘海屏，价格也感人！，iPhone12将于9月正式发布
- 爱集微APP|12，如期发布？外媒：苹果今年或将生产8000万部5G版iPhone
- 『华为荣耀』华为发布5G新机，7英寸+2亿定制屏，仅1899元！
- 「iphone12」iPhone12系列将于9月发布：四版本+更低价格，性能是主打亮点！
- 「华为荣耀」从1599降至1059，发布1年的华为千元机，依然是同价位最好的选择
- 直观视界|又引起热议，你觉得如何？，小米电视大师版发布后
- 找靓机玩数码|后置四摄+5000mAh！看完这配置：怪不得悄悄发布