文/Rossie

今天的汽车，已经不再是单纯的交通工具。随着技术的发展，汽车正在发展成为一个具备感知周围环境、“揣摩”驾乘人员状态并进行自主提醒、警报或决策的一个综合性智能体，让人们拥有越来越惬意的驾乘体验。

而每一次愉悦的驾乘体验，都源自汽车与众多硬科技的深度融合，特别是视觉和AI技术的支持。图像传感器作为感知场景信息的眼睛，AI作为分析处理信息并制定行为决策的大脑，眼脑结合流畅运转的背后，是大量的信息采集和推理运算操作，而这自然又离不开端侧硬件的支持。

图1：E维智库第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛现场，宾朋满座。

近日，在E维智库举办的“第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛”上，飞凌微首席执行官兼思特威副总裁邵科先生，带来了主题为《新一代端侧SoC与感知融合方案，助力车载智能视觉升级》的演讲，分享了针对当下日益发展升级的车载智能视觉应用，飞凌微提供的端侧硬件支持。

图2：飞凌微首席执行官兼思特威副总裁邵科先生做主题演讲并答记者问。

不断升级的车载智能视觉应用

随着汽车向着越来越高级的智能化发展，其中融入的视觉感知功能也日趋丰富，从车外周边环境的摄取，到车内驾乘人员的监测以及倒车停车辅助等，视觉技术已经通过越来越多的眼睛，紧盯着车内外的任何“风吹草动”。

（1）驾驶员状态监测系统DMS

驾驶员监控系统（Driver Monitor System，DMS），主要基于机器视觉和AI技术，通过实时监测和分析驾驶员的面部特征、眼球运动、头部姿态等信息，来判断驾驶员的疲劳状态和注意力情况，当驾驶员出现疲劳、睡眠、分心驾驶等情况时，及时发出报警，从而确保驾驶安全。

图3：摄像头监测驾驶员状态。

对于当前L2或L3级别的自动驾驶，还需要驾驶员在某些情况下及时进行驾驶干预，因此必须对驾驶员的状态进行监测，并且要及时反馈结果，提醒或警报驾驶员及时干预。

驾驶员的状态是影响安全驾驶的一个重要因素。各国政府法规和标准的制定，将会促进DMS市场的增长。今年7月，欧洲已经将驾驶员监控列为一项强制性法规，每一辆新车都必须配置驾驶员监控功能才能上市。预期未来3-5年之内，随着政策的不断发展完善和消费者对行车安全意识的不断提高，国内对DMS的要求和应用将会越来越多。

据贝哲斯的调研及预测，全球汽车DMS市场规模预计将从2023年的2.23亿美元增长到2030年的4.72亿美元，预测期内复合年增长率为11.30%。

（2）乘客监测系统OMS

乘客监测系统（Occupancy Monitoring System，OMS），主要通过摄像头监测对乘客的年龄、体征状态、情绪等；另外也可以用作一些手势识别等感知应用。比如，OMS通过安全带警示功能，确保乘客正确使用安全带；还能监测乘客的生命体征，及时发出警报；以及识别车内是否有遗落了儿童或宠物，避免意外发生。

据悉，国外已经针对车内OMS功能有相关立法，包括监测遗落在车内的儿童等，都将会变成一个法规性要求。相信未来对车载OMS功能的强制性需求会越来越多。

根据高工智能汽车研究院的数据，2023年中国市场（不含进出口）乘用车标配OMS功能的交付量为89.15万辆，同比增长27.99%。此外，OMS市场的渗透率也在不断增长，预计到2025年将达到20%‌

（3）电子后视镜

图4：电子后视镜。

电子后视镜（Camera Monitor System，CMS）是一种通过摄像头和显示屏来显示车辆后方视野的装置，其包含了高清摄像头、数字视觉处理系统、安全系统、液晶显示器等电子设备，能将拍摄到的图像传输到显示屏上，从而提供更广阔的后方视野。电子后视镜是取代传统光学后视镜的一种新型后视镜。

传统的光学后视镜在白天的观察效果很好，但是在夜晚等暗光环境下则很难看清周围环境。相比之下，电子后视镜无论白天夜晚、还是在雨雾、道路光线恶劣等环境下，都能提供清晰的后方视野。在电子后视镜中，对于整个图像传感器的成像性能会提出更高的要求，不仅要在白天能达到和光学后视镜同样的效果，夜晚时候还要有更好的夜视性能。

2023年7月开始，也有相关法规出台允许电子后视镜替换现有光学后视镜。

IHS Markit的调查报告显示，随着相关法规的落地，预计电子外后视镜产量有望从2024年起急速增加，预计2026年中国市场将达到100万套，到2031年全球市场达到500万套，市场增长潜力巨大。

除了以上的车内监测摄像头、电子后视镜外，还有用于倒车和停车的后视摄像头，用于观测车辆左右两侧的行驶道路及周边环境的侧视摄像头、以及观察车辆周边全景图像的360°环视摄像头等，总之汽车上配备的“眼睛”会越来越多，而且这些眼睛也将越来越智能化。

对成像和处理性能的新需求

无论是座舱内监测的DMS和OMS，还是车外监测的电子后视镜和监测各个方位的摄像头，这些车载摄像头应用正在呈现出以下三大特征：

• 首先，要求成像质量越来越清晰，图像的分辨率不断升高，即看得清；
• 其次，对图像数据的分析处理更加智能化，通过利用AI算法，能够依据摄像头采集的图像数据精准判断环境或人的状态，即算得准；
• 最后，还要拍得快，算得快，即速度快。

综合来看，满足这些需求在最核心的硬件方面，需要高分辨率的图像传感器和具备图像处理和AI算法处理能力的处理芯片。

鉴于车载应用要求极低的延时性甚至实时相应，同时加上对数据安全的考虑，使得端侧处理芯片成为车载智能视觉应用的首选。

端侧AI视觉解决方案

 （1）什么是端侧AI

端侧，即终端设备，包括手机、平板电脑、汽车、可穿戴设备等等。端侧AI，则是指在终端设备上直接运行和处理AI算法，不需要将数据发送到云端或服务器进行处理的应用。

近十年来，视觉+AI的应用场景开始渗透到生活的方方面面，汽车就是其中的一个终端应用场景，我们暂且可将这类应用称之为端侧AI视觉。

从实现上来看，端侧AI视觉直接在端侧采集数据，并在端侧进行处理。端侧处理会带来如下优势：

• 没有了大数据传输过程，延时低。
• 降低数据上传云端链路过长导致的错误率，增强可靠性。
• 消除数据泄露风向，增强数据安全和隐私保护。
• 部署成本低。

随着汽车对视觉技术的应用要求越来越高，对摄像头也提出了越来越高的要求，包括更高的分辨率、更好的成像性能、多摄像头组合等等，所有这些都对图像性能和数据处理量的要求越来越高。虽然现在域控正做得越来越强大，能够接入更多图像传感器，但是随着芯片的复杂，其迭代速度并没有这么快，这就为端侧处理提供了发展空间。

（2）飞凌微的硬件方案

针对车载端侧AI视觉处理需求，飞凌微在2024年推出了M1系统的三款产品M1、M1 Pro和M1 Max。

图5：飞凌微针对车载智能视觉应用推出三款处理芯片。

具体来看，M1为车载高性能ISP（Image Signal Proessor，图像信号处理器）芯片，在设计上满足了车载应用的两大严格环境挑战：一是高动态范围，使得无论是白天的日光照射还是夜晚的大灯照射，都能有清晰的画面识别；二是出色的暗光性能，能够在没有路灯的行车环境或是光线暗淡的停车库中，都能看清周围的环境。

据邵科介绍，M1芯片不仅采用了飞凌微独特的暗光降噪处理技术和图像增强算法，同时也结合了一定的AI功能，支持LED闪烁抑制，从而能在高动态范围（达144dB）和暗光性能上有更出色的表现。

M1 Pro和M1 Max则是两款轻算力的视觉处理SoC，它们在高性能M1 ISP的基础上，又集成了轻量级的CPU和NPU，能够在做好图像处理的同时去做一定的轻量级AI应用，比如人脸识别、姿态识别等，实现在端侧AI处理的能力。其中M1 Pro具备0.8TOPS的算力，能够做单一的DMS或OMS功能；而M1 Max的算力资源大约是M1 Pro的两倍，能够同时做DMS和OMS，功能更加强大。

据邵科介绍，这三款芯片7mm×7mm的BGA封装尺寸是目前业内最小的，有助于将模组做得更加小巧，更适合车载应用。针对车载应用，这三款芯片还增加了功能安全、信息安全等功能。

对于前文提到的几大热门车载智能视觉应用，邵科分别介绍了相应的解决方案。对于DMS应用，可以通过一颗特思特威的CMOS图像传感器加上飞凌微的M1Pro SoC，就能直接在模组端处理完视觉数据，直接输出处理过的有效数据；对于OMS应用，可以用“500万CMOS+M1 ISP”形成一套模组方案，能够分别输出RGB图像，用于舱内娱乐、拍照等应用，同时也可以输出IR图像给后面的算法去做识别；电子后视镜也可以采用CMOS+M1 ISP，实现更好的成像性能；而后视摄像头则可以采用CMOS+ M1 SoC的组合，在模组端就能实现一个非常轻量化的解决方案。

小结

邵科表示，目前随着AI和视觉技术在车载中的应用越来越多，端侧处理依然面临着如何能够在CMOS图像传感器与端侧SoC之间做更好的融合，使得整个方案更具备性能和成本优势。另外在技术上，还需要进一步考虑怎么样用更先进的工具平台和更先进的AI加速技术、提高图像性能的技术，去实现技术上的迭代升级。

“未来飞凌微会继续关注车载智能视觉方面的新需求，结合思特威的图像传感器技术，不断研发新的SoC，使两者之间更好地融合。”邵科总结道。