潜在应用包括高级噪声消除、语音拾取、空间音频等。

在下一代硅芯片抵达格勒诺布尔的GreenWaves总部不到两周后，该公司在移动世界大会上与合作伙伴展示了先进的音频演示。

这个Gap9处理器Gap8以物联网设备中的计算机视觉为目标，是Gap8的后继产品，是一种适用于电池供电设备的超低功耗神经网络处理器。GreenWaves的营销副总裁Martin Croome告诉记者EE时代欧洲该公司在Gap8获得该行业的支持后，决定将Gap9专注于可听设备市场。

他说：“我们有一家一级可听设备制造商来找我们说，这很有趣，但它错过了这个、这个和这个。”。“与他们交谈时，我们发现他们需要做某些事情。因此，在Gap9的设计过程中，这意味着我们有人可以谈论我们对芯片所做的决定，这使我们能够专注于作为核心市场之一的可听设备。”


GreenWaves总部Gap9的工程样品（来源：绿色波浪)

其结果是一个为高级音频而优化的3.7×3.7毫米的微型芯片，可以放入耳塞中。

潜在的应用包括高级噪声消除（ANC），它具有严格的延迟要求——处理必须在声音到达耳机外部的误差麦克风和到达耳朵之间的时间内进行。克罗姆表示，ANC通常是一个棘手的权衡，既可以很好地消除特定频段的噪声，也可以在一定频率范围内消除较差的噪声；消除高频噪声通常也是困难的。存在各种方案，包括自适应ANC，它通过AI检测用户所处的噪声环境类型，然后调整滤波器进行补偿。

Gap9的另一个潜在应用是语音拾取——当用户在繁忙或拥挤的环境中使用手机时，让手机屏蔽除他们之外的所有声音。克罗姆说，这目前主要是一个云应用程序，虽然它在一些PC上完成，但还没有应用到耳机上。然后是空间音频——让声音看起来来自某个特定的地方——这需要耳机上的惯性测量单元（IMU），这样当用户移动头部时，声源就会相应地移动。

基于AI的ANC

GreenWaves在移动世界大会上展示了其超低功耗芯片上的几个先进音频演示。

与合作伙伴Orosound（法国巴黎）合作，一个演示展示了在芯片的声音过滤单元（SFU）内的Gap9上运行的混合ANC。克罗姆说，这是一款由模拟器开发并在短短四天内进行芯片调试的产品，效果非常好。Orosound开发了基于AI的ANC，工作频率为768 kHz，具有选择性和适应性。Gap9每个通道消耗1.5mW。合作伙伴还致力于在Gap9上实现Orosond基于AI的降噪算法。

合作伙伴Idun Audio（丹麦哥本哈根）在无线耳机上展示了动态空间音频。演示应用程序允许用户点击扬声器，让它们四处移动，并听到不同之处。用户还可以移动他们的头，听到声音似乎来自同一个地方。与智能手机不同，耳机中的处理避免了蓝牙增加的延迟，无论播放设备是什么，都能实现高质量的动态空间音频。在本次演示中，Gap9执行了编码（每信道1.5 mW，44.1 kHz，400 kbps）和解码（每信道1 mW，44 kHz，400 kHz）以及头部跟踪。Gap9的总消耗量为1.8 mW。


GreenWaves的Gap9芯片用于Idun Audio的空间音频演示（来源：Idun音频/绿色波浪)

GreenWaves的合作伙伴Cyberon（台湾）有一个语音处理引擎，可用于关键字检测。这个引擎是基于音素的，这意味着它不需要重新训练新的关键字（只需键入它们）。Croome表示，该演示在Gap9上持续运行约500微瓦，用于语音激活。

另一位合作伙伴Segotia（爱尔兰戈尔韦市）正在研究听觉注意力解码。该系统接收用户的脑电波——脑电图（EEG），并使用人工智能对多通道脑电波进行解码，以确定用户正在房间里听哪个人的声音。其想法是，这些信息可以用于增强来自特定扬声器的声音和/或使其他扬声器静音。根据Croome的说法，这是Gap9音频处理和神经网络加速结合的理想应用。


塞戈蒂亚的想法是使用脑电图来检测一个人试图听哪个扬声器，然后相应地调整音频（来源：塞戈蒂亚/绿色波浪)

GreenWaves在展会上的演示演示了基于语音ID的扬声器分离。用户提供语音样本，系统嵌入他们的语音，并将其输入语音滤波器。然后，可以调整滤波器以仅拾取他们的声音。克罗姆表示，实现这一目标的神经网络“相当大”，8-10 MB的参数，但显示了Gap9可以加速的神经网络范围。


GreenWaves基于语音ID的说话人分离系统使用相对较大的神经网络（来源：绿色波浪)

声音过滤单元

GreenWaves如何以如此低的功率实现高级音频应用？关键是Gap9中引入的硬件声音滤波单元（SFU），该单元提供基于流的自主时域滤波。SFU具有多个高度可配置的硬件块，包括13种不同的过滤器模式，可配置这些模式以形成数据流图。支持多个图形和动态图形参数更新；GreenWaves有无毛刺更新滤波器系数的方案，这对ANC很重要。


GreenWaves的Gap9多核RISC-V架构（来源：绿色波浪)

将这些过滤器放入硬件块的总体效果是三倍。延迟减少（ANC的结构延迟为1.3微秒），与软件方法相比功耗降低（结果是每个ANC信道1.3mW），执行时间变得完全确定。

克罗姆说：“没有不确定性，因为（SFU）有自己的资源，它位于接口和内存之间，所以它实际上可以处理接口到接口，在这一点上它是完全自主的——它有自己的系数内存。”。确定性意味着任务需要已知数量的时钟周期，因此设计者可以适当地调整时钟以平衡延迟和功耗。

SFU的目标应用是ANC、重载滤波、声音空间化、声音效果等。

GreenWaves Gap9芯片的开发板现已上市。Gap9的生产资格预计将于2022年第三季度进行。

>>这篇文章最初发表在我们的姐妹网站上，EE时代欧洲.