前瞻经济学人 看懂未来新十年

打开APP

模拟人工智能进入传感器,能否掀起物联网边缘应用风暴?

MEMS

2

作者|麦姆斯咨询殷飞  来源|MEMS(ID:MEMSensor)

据麦姆斯咨询报道,一个月前,高性能“传感器内人工智能(AI-in-Sensor)”处理器创新开发商AIStorm在B轮融资中完成1600万美元超额融资。而在一年前,AIStorm获得了1320万美元的A轮融资。上图便是AIStorm荣誉推出的Mantis系列AI-in-Sensor(AIS)系统级芯片(SoC)和一美分硬币。AIStorm中的AI,毫无疑问便是指人工智能,他们在公司名称中就毫不隐讳地暗示,他们正在掀起一轮AI风暴。

AI芯片并不新鲜,那么是什么让他们与众不同呢?简单来说,这颗芯片加上一颗镜头和电路就基本上可以构建一个独立的“AI相机”。AIStorm的AI芯片采用模拟AI实现,它在“永久在线(always-on)”运行状态下的功耗仅为15 µW。此外,它的速度如此之快,以至于在其它数字AI芯片收集到足够的数据准备开始处理之前,AIStorm的芯片就已经完成了处理。

2

AIStorm的AI-in-Sensor越过了模数转换环节

从解决问题本身来说,CMOS图像传感器或MEMS麦克风捕捉信号生成模拟数据,在传统的图像处理过程中,像素阵列连接源跟随器(即基于场效应晶体管(FET)的共漏放大器),后者驱动模数转换器(ADC)为图像信号处理器(ISP)提供数据。然后,将ISP的输出通过数字通信信道(如MIPI-SerDes链路)传送到数字AI。

过程中采用微控制器(MCU)、图形处理单元(GPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)分析数字域中的图像或视频流,并生成适当的事件。事实上,系统必须将数据数字化以提供给这些分立的处理引擎,显然,这会导致更高的延迟、功耗和成本。

1

非集成数字AI存在的问题,集成模拟AI提供的解决方案

相比之下,AIStorm的解决方案将传感器直接转换为模拟电荷域AI的输入层。所谓的AI-in-Sensor(AIS)器件可以直接接收传感器数据,而不需要进行数字化,它使用传感器电荷直接耦合到第一层模拟神经元,使用多层模拟神经元来执行诸如权重乘法、求和及偏置等任务,并最终生成决策输出。AIS将来自传感器的模拟数据直接输入集成模拟AI,从而大幅降低了延迟、功耗和成本。反过来,这将显著提高电池供电产品的性能,并提供更长的使用寿命。

2

AIStorm推出的Mantis系列AI-in-Sensor图像传感器

尽管AIStorm的Mantis数据流采用电荷域处理,并使用脉冲在模拟神经元之间进行通信,但它仍然基于标准的TensorFlow开发方法,包括可以将TensorFlow生成的人工神经网络(ANN)下载到Mantis系统级芯片中的桥接。

1

Mantis开发流

除了能够直接从CMOS图像传感器或MEMS麦克风接收模拟数据外,Mantis还可以通过SPI、I2S或PDM等数字接口接收数据。此外,传感器数据可以使用用于创建训练数据集的相同数字接口输出。训练本身在PC机上进行,得到的权重和执行信息被加载到Mantis中,Mantis提供推理执行。

不过,现在必须承认的是,Mantis还无法支持高清图像处理。目前,Mantis支持96 x 96像素的分辨率,但这已经足以支持很多潜在的市场。

2

Mantis潜在目标市场

Mantis潜在目标市场包括:数据中心、企业级物联网、移动、可穿戴以及消费级物联网等。例如,在消费级物联网的占用探测领域,传统基于被动红外(PIR)探测器的占用探测系统越来越无法满足要求。它们利用人体探测来控制灯光的开启和关闭,但有时会摸不清头脑,让身处其中的人员倍感尴尬。

传感器是这类系统的感知末梢,它们可以专注于重要的信息捕捉(例如人脸、声音、侵入或是任何形式的变化),而忽略任何其它信息。可以说,AIStorm的AIS技术是模拟和混合信号技术的巧妙结合,但其优越性远不止这些。其AIS技术首次使微型传感器足够智能,能够执行复杂的分析,并做出决定、执行事件处理,不仅如此,这些通常都能在其它数字竞争对手开始处理之前就能搞定。

3

AIStorm手部识别demo

AIS系统级芯片是第一个也是唯一一个能够直接接收像素电荷数据或MEMS音频电荷数据的传感器解决方案。因而实现了目前全球唯一一款能够基于图像或音频(例如人脸、行为或声音)进行人工智能唤醒的传感器解决方案。

Mantis AIS器件包括卷积神经网络(CNN)和全连接(FC)功能,可以灵活实现各种流行的机器学习(ML)模型。Mantis系列的第一个成员C100A是一款完全集成的基于人工智能的智能相机,支持多达8层的可编程深度学习功能,并且,在“永久在线”运行时的功耗仅为15 µW。这是一款强大的轻量级人工智能系统,它能够执行图像分析,并使用提供的MantisNet模型在检测到物体、人或行为时唤醒。

3

Mantis系列的第一个成员C100A硬件开发平台

不过,AIStorm的定位还是非常清晰的。他们并不是为了取代“传统的”高端人工智能视觉和语音应用,例如,可以在人群中识别目标人物的先进监视系统,或是检测并响应复杂语音命令的智能系统(比如苹果Siri等)。相反,AIStorm的目标是将人工智能引入过去很难部署的物联网最前沿,并且,是以一种非常经济且高效的方式。这确实值得期待!

编者按:本文转载自微信公众号:MEMS(ID:MEMSensor),作者:麦姆斯咨询殷飞


阅读全文
打开APP,享受沉浸式阅读体验

提问研究员

一键提问研究员,零距离互动交流

我要提问
1

App数据库能为你做什么?

看看用户怎么说

2

App问答能为你做什么?

看看用户怎么说

3

App报告能为你做什么?

看看用户怎么说

4

App文章能为你做什么?

看看用户怎么说

相关阅读