我们的感官几乎无时无刻地在共同工作，来引导我们与周围的世界相处，尽管我们大多数人并没有意识到这一点。我们的视觉、听觉、触觉和嗅觉每时每刻都在创造环境的心理图像，帮助我们做出决定。比如，并入下一条车道安全吗？这块水果可以吃吗…….

由于视、听、嗅、触觉都是在不自觉间进行的，因此我们很难意识到这些感知过程的实际复杂性。但是，当我们需要教机器掌握和我们相同的技能时，与人类感觉相关的传感信息运行的复杂性就显露出来了。虽然人工智能（AI）的巨大进步使其不再那么具有挑战性，但是它必须要与系统硬件、软件以及传感器本身的所有创新结合起来。

然而，这些AI预见的准确性，很大程度上要取决于在边缘端收集的数据质量和数据的实时处理能力。需要强调的是，这些数据必须是全面的、可管理的和可解释的。通过硬件和软件的智能融合，我们可以更好、更逼真地模拟人类感知的简单性和复杂性。

传感器融合的来龙去脉

传感器融合是将来自多个传感器的数据组合起来，以对某个事件进行预估的过程（见图1）。AI应用程序使用传感器融合，通过从各种来源获取数据来提高预测的准确性。

图1：传感器融合是将来自多台相机、雷达、激光雷达和其他传感器的数据组合在一起的过程。

传感器融合是许多行业提高功能安全性和性能的一种主要手段。例如，汽车上的高级驾驶员辅助系统（ADAS），在驾驶时，我们会自然而然地认为我们的视觉、听觉和触觉集体发挥作用，并识别道路上潜在危险。

如今，汽车巨头们正从人脑工作原理中获取灵感，在车辆周围安装激光雷达、雷达、相机和超声波传感器等传感器产品，并处理这些传感器采集的数据，以判断前方道路的状况。人们还使用传感器融合来实现更好的物体检测确定性。

另一个例子是蓬勃发展的无人机行业。无人机在复杂、动态的环境中运行，在处理测量或投递等任务时，它们必须穿越障碍物并保持稳定的飞行。通过融合来自多个传感器的数据，如来自相机、惯性测量单元（IMU）和GPS，以及很多其他种类传感器的数据，无人机可以估算出它们（自己）的位置、方向和速度。这使无人机能够适应环境的变化，并成功完成任务。

除了传统的传感器，事件型视觉传感器还可以提供更逼真的感官体验。这些图像传感器只要探测到场景中的像素排列发生变化就启动工作，因此能够增强机器人或其他系统从环境中提取的细节水平。事件型视觉传感技术能实现每秒10000帧（fps）以上的时间精度和宽动态范围，因此能够比几乎其他任何相机更好地捕捉运动目标。

随着图像传感器和其他类型传感器的不断发展，以及成本的不断降低，传感器融合必将变得更加普遍，并进入许多新的应用场景。

在AI系统中集成硬件加软件

硬件只是完整系统的一部分。软件同样重要。随着计算机视觉的进步和语言大模型（LLM）的兴起，机器人和其他应用系统不仅能够看到周围的世界，而且能够以前所未有的精度更深入地理解周围的环境。

软件可以处理它接收到的传感器信息，并且在它可以处理的性能和复杂性方面持续改进。我们已经看到，半自动驾驶汽车使用了激光雷达、雷达、相机和其他传感器的组合，这些传感器信息由运行在硬件加速器内的AI工具处理，以识别道路危险并施加制动措施，从而避免可能的碰撞。

计算机视觉（CV）中使用了几种不同的AI模型，即卷积神经网络（CNN）模型和Transformer模型。Transformer模型是一种神经网络，它通过跟踪数据中的关系来学习上下文，恰好能够用于LLM。当然，这些方法也在随着时间的推移而演变（见图2）。AI的进步也得益于计算能力的迅速提升，以及数据处理和数据存储成本的降低。

图2：视觉模型的发展得益于卷积神经网络（CNN）和Transformer模型的结合。

如图2所示，计算机视觉可以实现79%-85%的准确率，同时吞吐量也会大幅增加。一些新技术，包括数据增强、迁移学习、架构扩展、提示工程技术和自定义损失函数等，可以帮助提高AI模型的准确性。这可能会将计算机视觉推向全新的应用领域。

为进一步增强传感器融合能力，专有AI芯片和硬件加速器兴起，他们是为增强传感器融合能力而量身定制。这些硬件与改进的相机、雷达、激光雷达、GPS和其他传感器相结合，从而能够为软件大脑提供越来越准确的数据。

为了高效地处理多个不同传感器源的输入数据，从而针对每项功能任务进行优化，部署专用的数据处理单元至关重要。因此，一个异构处理平台和一个软件栈，不仅支持在云中训练AI模型，而且有助于无缝部署到边缘解决方案上，简化开发工作。

能够对不同传感器输入的数据进行实时处理的AI模型也至关重要，这样，传感器融合可以弥补每个传感器固有的盲点，从而向系统提供周围环境的全面图景。因此，传感器融合可以实现功能互补的“1+1>2”，使得输出大于输入之和。一个灵活且可配置的平台对于实现传感器输入的实时处理至关重要，并确保所有这些传感器及其向系统提供的数据保持同步。

综合来看，数字信号处理（DSP）的硬件加速、视频数据流通道、优化的AI加速，以及具有不同接口的各种传感器，都是传感器融合成功的关键。

传感器融合的未来

传感器融合的目标是模拟大脑的感知能力。与人类大脑从各种“传感器或系统”（如神经系统、肌肉系统等）接收输入，从而更全面地描绘出我们周围的世界不同，我们必然会看到机器人和其他机器采用这种方法，来处理越来越复杂的任务。

文/Xia Yingyu，AMD智慧城市和零售全球产品技术营销负责人