AI推理如今正迎来一个重大转折点。从基于云端的AI，正加速向边缘（设备）上的AI推理迁移。硬件性能的提升，以及更小型、更高精度的AI模型的出现，使得设备端AI备受关注。
那么，为何会发生这种转变呢？在设计嵌入式AI系统时，又需要考虑哪些要点？

为何要在设备端进行AI推理？

传统上通常在云端运行复杂的AI模型，但设备端AI具有以下吸引人的优势。

设备端AI的优点：

• · 低延迟：消除网络延迟，实现实时响应。
• · 高可靠性：不依赖网络质量或带宽，实现稳定运行。
• · 隐私与安全：降低通过网络传输导致的数据泄露风险。
• · 资源效率：有助于减少通信量、节省存储空间，并实现节能

需要注意的课题：

• · 硬件限制：处理能力和内存有限。
• · 维护成本：需要向各设备部署和更新模型。
• · 安全风险：防止设备被篡改。

设备端AI设计的要点

与配备GPU、TPU、大容量内存和冷却系统的云端环境不同，边缘设备在有限的资源下运行。因此，明确目标，并设计与性能需求和成本相匹配的硬件至关重要。

1. 在精度与响应速度之间取得平衡

根据具体用途，模型类型和所需的硬件会发生变化。

满足推理精度与响应性要求的AI模型类型

根据推理精度与响应性要求的处理器需求

由于热设计、功耗及成本等限制因素，有时也需要做出妥协。
 

2. 理解AI性能指标

选择处理器时，不仅需要考虑单纯的处理能力，以下指标也同样重要：

• · TOPS（Tera Operations Per Second，每秒运算次数）：每秒可执行的运算次数。通常以Int8模型为基准测量，但不同供应商可能采用稀疏模型或稠密模型，存在差异。
• · IPS（Inferences Per Second，每秒推理次数）：反映实际模型的推理性能指标。即使TOPS相同，IPS也可能不同。
• · IPW（Inference Per Watt，每瓦推理次数）：适用于电力受限场景下的性能对比，对电池驱动或低功耗设计至关重要。

3. 规划模型的部署方法

设备端人工智能模型需要量化和转换为适合处理器的格式。并非所有模型都能转换，有些模型可能需要使用专属数据集进行再训练。

部署相关的考量事项：

• · 模型更新频率：确定是固定模型还是定期更新。
• · 更新方式：物理访问更新或OTA（无线）更新。
• · 连接性要求：OTA更新或云端持续学习需要稳定的网络连接。

边缘AI的应用场景

在综合考虑这些优缺点的基础上，我们来探讨边缘AI的应用场景。

OT（运营技术）设备中的AI处理

近年来，在推动IT（信息技术）与OT（运营技术）融合、实现实时信息共享的背景下，高度自动化系统对OT设备的实时响应能力提出了要求，其行为不应受到IT侧故障或通信延迟的影响。另一方面，为提高自动控制精度、提升故障发生时的原因查明、分析与改进效率等目的，利用AI的场景今后将日益增多。在此类应用场景中，在OT设备端进行边缘AI处理是有效的方案。

当判断AI处于正常运行状态，且其判断正确时，无需持续通过传感器数据学习，也无需在网络中传输AI相关信息。当AI判断与实际结果出现偏差时，则需要对这类情况进行学习并更新模型。此时，需要从边缘设备中提取判断错误时的数据，这将产生额外的OT通信，但其通信量相比使用云端AI将大幅减少。

作为边缘AI设备的示例，可以考虑以下几种：

• · 物料搬运机器人
• · 自动检测装置（摄像头）
• · 条码/标签读取器
• · 自动搬运/输送机器人
• · 预测性维护传感器集线器

用于远程监护患者的传感器集线器的AI处理

在医疗保健领域，AI的运用正日益扩展到各类场景中。从辅助影像诊断到应用于细胞学检查、DNA测序等，其应用范围十分广泛。然而，这些应用通常对精度要求极高，处理的数据量也极为庞大，且往往并非需要在数秒内得出结果并推进至下一流程的类型。因此，相较于边缘AI，云端AI更适合这类场景。

医疗保健领域中开始应用边缘AI的用途主要包括以下几类：

• · 医院内部工作流程优化（如病房监护、诊室监控、消毒是否到位、温湿度管理是否合规等）
• · 远程患者监护（如是否跌倒、生命体征数据是否正常、床上体位调整是否适宜等）
• · 资产管理（如使用量与库存管理、用药剂量监控等）

这些信息对于医院运营而言，需要在一定程度上实现实时反馈。若将所有数据都交由云端处理，信息量将过于庞大。此外，从隐私保护的角度出发，有时将所有信息上传至云端也并非理想选择。在医院这样人员流动频繁的环境中，持续通过摄像头进行监控也可能引发部分人群的不适。

因此，为在最大限度减少个人身份信息暴露的前提下实现远程患者监护，搭载AI功能的传感器集线器设备正被越来越多地应用于患者看护场景中。

• · 红外雷达跌倒检测
• · 收集可穿戴医疗设备数据并识别异常
• · 通过分析床垫压力传感器数据预防褥疮
• · 基于加速度传感器数据的动作模式异常识别

虽然单一传感器数据所能推断的状态可能有限，但通过整合并分析各类传感器的信息，则能实现更具价值的综合状态评估。这通常被称为“传感器融合”的概念。

总结

• · 设备端人工智能随着硬件技术的进步和高精度小型化模型的出现，正在迅速普及。
• · 与云端AI相比，它具有诸多优势，但也需充分理解其在设计和运维层面面临的挑战。

Silex正与合作伙伴携手，为考虑开发设备端AI嵌入式系统的客户提供定制化的最优解决方案。

作者简介

神代 悟
我负责产品管理工作。我乐于学习前沿技术，并探索如何将技术融入产品与服务，力求打造出用户遇到问题时，第一时间就会想到来咨询Silex的优质产品与服务。