添加边缘智能：NXP采访

2021嵌入式世界（embedded world）的许多演讲中都明确提到了今天的一个关键主题，即广泛采用边缘计算来实现边缘智能。一些预测预计，到2025年，90%的边缘设备将使用某种形式的机器学习或人工智能。

启用这种边缘智能有什么问题？您如何实现这一点？这是最近与恩智浦半导体（NXP Semiconductors）高级副总裁兼边缘处理业务总经理罗恩·马蒂诺（Ron Martino）的播客中的话题。虽然你可以听此处为完整播客，我们提供了本文讨论的一些摘录。

定义边缘计算

边缘计算的核心是更接近用户的高效处理能力。我们可以更快地洞察数据。 您能在NXP如何解决边缘计算的背景下定义边缘计算吗？

马提诺：边缘计算简单来说就是分布式局部计算和感知能力。它有效地解释、分析和处理传感器数据，以执行一组有意义的功能。它并不试图成为云的替代品或替代品，而是免费的。典型地，例如，在语音辅助中，大量数据被发送到云，在云上使用更高的计算能力来增强体验。边缘计算正在进化为更智能，然后变得更智能。智能边缘计算平衡了本地计算与中央或云计算的使用。随着这一点的进一步发展，我们希望终端设备有更多的能力来进行解释、分析，然后在本地做出决策。

你能举几个例子说明边缘计算是如何被用来提高生产力和安全性的吗？

马提诺：就生产力而言，一个很好的例子是增强的劳动力：利用边缘处理或可穿戴设备，通过视觉和机器学习，工人可以诊断问题，并更快地修复问题，无论是在家里还是在工厂。

智能边缘设备通过识别各种危险信号来增强安全性：通过识别警报、跌倒的人或玻璃破碎，然后通过使用额外的传感器信息和计算来确定问题。无论是使用恩智浦正在开发的雷达传感设备，还是使用视觉功能，或者仅仅是对设备音频输入的解释。

如果我们追求绿色和能源意识，需要解决的一个概念是吸血鬼电力，你插上设备，它们什么都不做，但仍在消耗电力。

我们也在转向“感知边缘”的概念，即设备以类似人类的行为做出更多反应。他们开始了解自己的环境，他们收集输入并与其他设备交互，以收集信息并了解情况的背景，然后做出相应的决定。一个简单实用的例子是具有本地能力的交通模式，它可以通过观察和感知汽车数量和路况来解释人群和不同的拥堵点，并优化本地情况，从而提高驾驶效率，从而避免浪费时间。

实现边缘智能的技术部件

从技术角度来看，智能边缘和感知边缘的组成部分是什么？

马提诺：让我们从基础开始。你需要有计算平台，它们需要扩展。它们需要节能。与过去不同，现在它实际上是多个独立的异构计算子系统。它基本上有一个GPU、一个CPU、一个神经网络处理单元、一个视频处理单元和一个DSP。

如何优化这些不同的硬件加速器和计算设备，并针对给定的最终应用程序进行优化？这就是恩智浦在具有可扩展的计算范围以及所有其他元素方面的真正优势所在。然后是针对语音应用、人机交互的优化硬件加速器或功能的集成，这涉及视觉和语音，然后以一种真正涉及超低泄漏的方式实现，操作模式可以进行调整，以真正优化能源使用，即使使用这些大型片上存储器，当您查看某些工作负载时，这是必要的。

这将继续优化机器学习能力、针对许多不同攻击面的最高覆盖级别的安全集成、高效连接、高效能源使用以及开放标准。它还可以利用NXP提供的技术，例如高精度距离测量，无论它使用我们的UWB技术以非常精确的方式定位给定人员或跟踪设备的物理位置。

最后一件事是将这一切包装在一个无缝的用户体验中，因为如果它不容易使用，而且不自然使用，那么它就不会被使用。因此，获得无缝、舒适的体验绝对至关重要。

用户如何构建此类解决方案？

马提诺：我们提供从处理器或微控制器的基本产品到为本地语音、视觉、检测和推理能力或这些功能的组合预先优化的参考平台的所有产品。我们汇集了客户可以购买的参考平台，例如RT系列设备。我们有一个可以购买的人脸识别产品，这是一个完全启用和设计的系统，客户可以将其作为一个起点，在他们想要专业化或品牌化的地方修改他们的需求。

消费者和工业使用案例中的技术差异

大多数业内人士都会同意，我们家庭和工作中的智能设备和系统正在获得吸引力。你会说，普通的旧物联网与工业市场之间的技术差异是什么？

马提诺：与[消费者]物联网世界相比，工业领域的连接标准、环境要求、寿命需求（可能超过15年）和安全要求更为广泛和苛刻。恩智浦正在投资的一个领域是时间敏感网络（TSN），将Mac和交换机集成到一整套设备中，这些设备可以支持多台机器的菊花链设置、工作和支持端点功能，利用这种更具确定性的TSN主干，它还支持许多传统标准正在融合的更高的数据速率和吞吐量。

将其与[消费者]物联网市场进行比较。对于智能家居和可穿戴设备等应用程序，更广泛地需要极高的能效、更高的语音HMI使用率、无线连接和更短的生命周期。在可穿戴式前端，你想要出色的用户体验，但你想要最长的电池寿命。优化这些边缘设备以执行其功能，然后关闭并保持电池寿命是非常重要的，必须以最有效的方式实现真正丰富的用户体验，因为这是消耗电池的时间。

互操作性挑战

在智能家居领域，通常很难从一家公司购买产品，并使其与其他设备一起使用。恩智浦如何试图改变智能家庭无线互操作性挑战？

马提诺：以智能家居设备为例，标准和互操作能力非常分散。我们有一个名为CHIP的项目，或“通过IP连接的家庭”，标准项目。它让恩智浦和许多其他行业领袖一起努力，试图整合到一个通用的开放标准，而不是一个专有标准，并允许人们建立在这个开放标准之上。

本项目的重点是在恩智浦和其他人围绕ZigBee和Thread以及ZigBeeAlliance所做的多年工作基础上，然后利用上层能力，利用亚马逊、苹果和谷歌推出的技术，构建我们称之为CHIP的开放标准，并在设备之间建立这种公共链接。当你插入一些东西时，连接起来会非常简单。

恩智浦的计划是在今年晚些时候推出实际产品，推出CHIP标准的第一个版本。

解决添加边缘智能的复杂性和成本

转向边缘的机器学习和AI。这一切听起来相当复杂和昂贵，对吧？

马提诺：对很多人来说，当你谈论AI和ML时，它是一个非常复杂的抽象概念。据预测，到2025年，90%的边缘设备将使用某种形式的机器学习或人工智能。我们确实相信这是事实，我们正在推出围绕这一点进行优化的产品。这是我们优化所用硬件、处理器和微控制器以运行这一功能所做的工作的组合。对于最终用户来说，更重要的是部署对最终用例有意义的实用ML有多复杂。

有许多公司希望收集数据并创建自己的模型。NXP关注的是，我们如何实现云不可知的功能，从而在简单的用户界面或开发环境中实现灵活性？

这就是我们最近宣布的对Au-Zone的投资，2021，我们将推出一个增强的开发环境，您可以在其中选择要引入的内容类型。您自己的数据、您拥有的模型，或者您选择通过最喜欢的源或云提供商获取的模型，然后将其引入，然后进行优化，并将其部署到终端设备上。因为这就是优化。

机器学习如何增加最终解决方案的成本？

马提诺：如果你有一个非常复杂、繁重的机器学习模型或能力，那将需要更高的计算能力，而且计算能力越高，成本就越高。你可以选择在边缘处理器上实现，也可以选择将其部署到云上。当我们尝试针对特定的用例调整这些用例或这些模型时，您可以变得非常高效，然后您可以利用传统的技术缩放和摩尔定律来真正添加针对ML的硬件加速，这不会占用太多的硅区域。

它是一个成本很小的加法器，但它是执行给定工作的最佳能力。例如，无论是在本地检测人员和识别他们是谁，您现在都可以在微控制器上非常高效地完成这项工作，这是通过非常非常高效的硅实现进行优化的。然后，您可以使用我们的一些处理器使其具有可扩展性，在那里您可以扩展到外部更高性能的神经网络处理器，或者您可以与云以互补的方式工作。同样，所有这些都有成本，这取决于任务的复杂性，但您可以推出非常有效的非常复杂的功能。

道德AI

人们越来越担心ML模型和人工智能中的偏见。工业在帮助确保合乎道德的人工智能方面的作用是什么？

马提诺：它需要明确的操作透明度，无论是简单的概念，“我想知道它是在听我说话还是在看我”，但是，如何确定结论，然后采取行动变得非常重要。安全标准，以确保系统是安全的，并且在其攻击表面方面不存在后门访问或其他敏感性或漏洞，这样某人就可以访问AI系统，然后影响它执行某些事情或做出某些决策，这可能对攻击系统的人有利。

你如何实现没有预设偏见的人工智能系统，从原理上来说，这是错误的？在恩智浦，我们推出了一项人工智能道德倡议，这突出了我们对这一道德发展的承诺。在这一点上，我们谈论的是做好人，我们谈论维护以人为中心的人工智能，这实际上是围绕着避免服从人工智能系统或受到人工智能系统的胁迫，以及这种透明度、对科学卓越的高标准，以及对人工智能系统信任。

您认为实施边缘技术仍面临哪些挑战？

马提诺：这是一项持续的活动，有许多领域需要继续优化。能源效率、驱动和利用能量收集概念以及接近阈值的设备操作是行业内许多人的持续投资。安全和保护数据的需要以及继续推进这是一项持续的活动。

投资于特定于硅的签名和不同类型的加密技术，以及以受保护的方式执行计算的方式，如同态加密，在加密环境中执行计算，并且从不对其进行解密。然后围绕延迟要求中吞吐量的连接性以及功耗进行扩展。为了优化这一点，我们将继续优化连接，并以越来越高效的方式将其引入这些边缘设备。

最后，这整个感知终端智能的概念，我们正处于开发和实现神经网络处理器或进入处理器的子系统的第三代。这推动了效率和规模的提高，但这一领域仍在继续研究，如何利用加速器提高效率，以及围绕尖峰神经网络和量子AI的不同技术，以及将这些集成到NXP正在推向市场的这些可扩展处理器中。

您可以收听完整的27分钟播客“无处不在的优势”，在这里.