Lattice

 在圣克拉拉举行的2018年嵌入式视觉峰会上，莱迪思半导体将推出sensAI，这是最新的基于FPGA的平台和生态系统，旨在为各种应用提供人工智能，包括移动，智能家居，智能城市，智能工厂和智能车。莱迪思表示，sensAI是一个“完整的技术堆栈”，它结合了模块化硬件套件，神经网络IP核，软件工具，参考设计和定制设计服务 - 所有这些都旨在加速物联网边缘设备机器学习推理的开发。

灵活的推理解决方案针对低于1 mW-1 W的功耗进行了优化，封装尺寸从5.5 mm 2开始，适合大批量生产。

加速将永远在线的设备上AI部署到一系列Edge应用程序中，包括移动，智能家居，智能城市，智能工厂和智能汽车产品。

设计方法概述

系统架构示例

FPGA + MCU

• 基于ECP5的神经网络加速可扩展性能/功耗
• 基于ECP5的I / O灵活性可与包括传感器在内的传统设备无缝连接
• 低端MCU，用于灵活的系统控制

独立的ECP5 / iCE40 UltraPlus FPGA

CNN Accelerator IP Core

block diagram of the Face Tracking reference design

SD Card Loader

本设计使用SD卡接口将输入数据输入到CNN加速器IP中。SD卡包含一个二进制文件

这是由Lattice神经网络编译器工具生成的。

Lattice神经网络编译器工具允许分析和编译训练的神经网络(如什么是

由Caffe或TensorFlow工具生成)用于选择Lattice半导体FPGA产品。

Lattice神经网络编译工具输出三个文件:

· A hardware configuration file (*.yml) that contains info on fixed point converted network and memory allocation.
· A firmware file (*.lscml) that contains weights coming from a trained model file.
· A binary file (*.bin) generated from firmware file (*.Lscml) for programming into SD card

当FPGA逻辑从外部闪存加载时，权重和偏置从SD卡加载，连接到SPI接口。

Hand Gesture Detection

Cnn IP封装

NN编译器：

就是把卷积神经网络的模型，编译导出，下载到SD卡，配合fpga模块一起工作。

输入数据处理模块：

Isp采集图像数据，通过DMA存入DDR中，然后再通过DDR把数据取出，经过一个数据处理模块将图像大小降维到28X28的尺寸。然后再把数据送入CNN ip。