网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地
来源 | 物联网智库2021-11-26 17:29:48
最近FPGA这个市场好不热闹,国内FPGA第一股安路科技登陆科创板,瑞萨宣布进军FPGA。老大赛灵思和老二Altera已经相继被收购,老三Lattice近年来凭借低功耗在FPGA市场闯出一番天地。过去四年来,Lattice的出货量已达10亿颗,俨然成为了全球出货量最大的FPGA厂商。FPGA已经存在了几十年,发展到现在,将FPGA用于AI是一大趋势。FPGA在加速AI相关工作负载(尤其是推理)方面

最近FPGA这个市场好不热闹,国内FPGA第一股安路科技登陆科创板,瑞萨宣布进军FPGA。老大赛灵思和老二Altera已经相继被收购,老三Lattice近年来凭借低功耗在FPGA市场闯出一番天地。过去四年来,Lattice的出货量已达10亿颗,俨然成为了全球出货量最大的FPGA厂商。

FPGA已经存在了几十年,发展到现在,将FPGA用于AI是一大趋势。FPGA在加速 AI 相关工作负载(尤其是推理)方面显示出巨大潜力。使用 FPGA 加速机器学习和深度学习过程的主要优势是它们的灵活性、自定义并行性以及为多种目的重新编程的能力。现在Lattice嗅到了边缘计算AI推理的商机。

为什么选择FPGA实现网络边缘AI?

目前,网络边缘的计算正在快速兴起。有很多新的应用都在边缘端发展出新的应用和使用场景。据ABI的研究调查表明,预计到2024年设备端的AI推理功能将覆盖近60%的设备。Lattice看到了这其中的机会,正在将FPGA运用到边缘计算AI推理中。

那为什么要选择FPGA来实现网络边缘的AI呢?要知道,AI的算法灵活多变,技术每天都在推陈出新。FPGA相对来说是更适合网络边缘来实现AI计算的技术。因为FPGA硬件可编程的最大特点也可以适应快速变化的机器学习算法。凭借本身的特点,可以做灵活的计算资源,包括预处理、后处理、图像处理和滤波等数据。还能进行性能扩展,可并行和串行执行多个案例。

再来很重要的一点是,由于边缘端对功耗的敏感度和尺寸的大小是有比较严格的要求,而小封装和低功耗恰好是Lattice FPGA的特点。Lattice的FPGA可以在网络边缘AI实现一毫瓦到低于一瓦的超低功耗。同时,Lattice FPGA内嵌了很多安全功能区域,具有很高的安全性。

反过来,AI技术的快速创新对可编程逻辑器件FPGA来说是有利的,FPGA可以配合AI技术随时为用户提供最佳体验。据Lattice亚太区资深市场开拓经理林国松的深一步解释,近十年来AI模型快速发展,从下图中可以看到从2012年到2021年AI分类模型创新的数量在逐年递增。由于AI技术的不断创新,导致不断有新的实现方式产生。而新的实现方式的产生需要有更快的硬件来实现,这就需要硬件和算法上的优化。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

对此,深谙边缘计算需求的Lattice,此次更新了其低功耗、AI/ML解决方案的最新路线图。

发布SenseAI 4.1,AI与传感器的融合

现在客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。于是Lattice将其sensAITM与Nexus™这两个解决方案集合在一起,发布了sensAI解决方案集合的最新版本4.1,来帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备。它支持莱迪思基于AI的应用路线图。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

本次新推出的sensAI 4.1会增加支持的器件是Lattice今年刚刚推出的Nexus系列产品CetusPro-NX器件。并对这个器件进行了优化,提升了CetusPro-NX的容量,同时计算的能力和功效也会提高,在这块器件基础上,Lattice推出了相对应的开发版,他们称之为声音和视觉机器学习版。也提供了支持这块新芯片的CNN Plus加速器,以及相对应的sensAI Studio(后文有详细介绍)。

sensAI 4.1将会提供三个参考设计,包括人员侦测、注意力追踪和目标分类。同时,在智能家居智慧城市、工厂、智能汽车这些方面Lattice也都可以提供相对应的设计服务。Lattice一直使用的训练设计的方法是通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用培训网络培训完之后,再交由Lattice提供的神经网络编译器,编译成相对应的可执行指令,这些指令最终会由Lattice的芯片调取使用。

林国松也介绍了Lattice在软硬件方面所进行的优化方法。在硬件优化上,主要是两方面的结合,一个是把SenseAI组件通过FPGA的设计工具,将Lattice Radiant和DIAMOND结合之后,产生FPGA比特流。另一个是,把训练后的模型录进神经网络编译器,这样产生一个类似于中央处理器的功能,而后产生的量化的权重和指令更多指向于执行的代码,这两个结合之后,最终产生机器学习的框架。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

在软件设计层面,为了便于大家开发设计,Lattice专门提供了一个PROPEL的软件,它能对整个内部结果进行类似于C代码的控制,而不是使用比较难以上手的FPGA的开发代码,便于初学者能够调用一些基本的指令进行一些控制。具体设计参看下图,下图中左侧更多指的是Lattice的开发AI引擎的一些架构,包括机器学习引擎,以此能够做视觉的收取,同时做软核的控制。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

Lattice还推出了一款易于使用的工具sensAI Studio,这是一款基于GUI的工具,拥有AI模型库,经过配置和训练可适用于各类主流应用场景。林国松解释道,之所以推出这个Studio是因为我们收到了很多关于配置机器学习培训环境的反馈,用户在这方面会遇到一些难题,主要是由于这些培训环境的应用场景,应用软件更新的非常快,有可能几天就会有一次更新,所以软件和软件之间的兼容性就很难解决。为了解决这样的问题,Lattice特别推出了Lattice sensAI Studio。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

在具体的应用中,SenseAI 4.1可以以低功耗追踪多个目标,例如其最新推出的CrossLink-NX,在分辨率为224×224×3色RGB的情况下,其速度可以达到33fps,可以进行目标分类和追踪多个目标,例如在条形码检测、瑕疵检测及机器人导航。值得一提的是,CrossLink-NX这个器件本身是作为低功耗的器件,是Lattice花了很大的力气,专为网络边缘应用打造的。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

SenseAI助力下一代PC体验

现在PC已经成为大家工作和生活中接触时间最长的电子工具之一。根据smartinsights的调查,用户习惯于在白天的时候使用手提电脑,而晚上更多是使用台式电脑。而Lattice也观察到,下一代PC的趋势将集中在智能和感知,强大的协作能力和轻薄的外形三个方面。

Lattice sensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测及面部取景功能。具体来看,现在多数的电脑都是以鼠标是否移动来判定用户是否在使用电脑的,如果鼠标长期未移动,电脑就会息屏。Lattice更高端的用户检测,通过注意力追踪可以延长28%的电池寿命,具体表现为在人接近电脑时自动开启,并持续追踪注意力,在离开时自动锁屏;旁观者检测可以保护用户隐私数据,而面部取景也是很多协作式会议所需的场景。

网络边缘AI推理,Lattice低功耗FPGA的又一大用武之地

可能很多人会担心用户隐私的问题,这点林国松也做出了解释,sensAI是符合道德和合理的AI设计考量。使用Lattice sensAI可以不把图像传给电脑,直接在硬件上处理。也就是通过Lattice sensAI只会传出一个结果,而不会传输图像,这样的话用户的肖像权就不会受到侵害。同时Lattice sensAI也专注于用户体验,针对不同的复杂场景进行压力测试,包括灯光,场景及用户面部和头部穿戴的变化。

为了能够让Lattice这款产品能够在PC上得到落实,Lattice需要和OEM、芯片厂商、操作系统和软件的支持,还需要传感器的合作。在传感器方面,Lattice本身就与很多传感器厂商有很好的合作,可以保证传感器输出的信息能够和不同的AP的处理器进行很好的互联。

写在最后

在FPGA这个市场上,Lattice一直稳扎稳打,而且这几年的攻势愈发迅猛。可以看到,近几年Lattice推出新器件的步伐明显增快,差不多每年都会推出一款新器件,包括CrossLink-NX,Certus-NX这两款都是去年推出的,Mach-NX、CertusPro-NX都是今年推的,明年上半年还会有新产品发布,同时后续的一系列产品都已经在细化中。

资讯来源:半导体行业观察