卷积神经网络加速器及其VerilogHDL代码自动生成设计.pdfVIP

摘要

随着卷积神经网络与嵌入式人工智能平台的发展，将卷积神经网络应用部署到资源

受限的嵌入式平台并实现低功耗实时的前向推理成为了当前研究的重点之一。在提高卷

积神经网络模型准确率的同时，其深度与参数的个数也在不断增长，传统的处理器已经

无法支撑如此庞大的计算，从而需要针对卷积神经网络结构的特点，设计相应的神经网

络硬件加速处理器以达到低功耗实时的前向推理。为了便于开发与应用，还需要提供友

好的硬件加速系统开发环境，可以快速无缝地将卷积神经网络应用部署到嵌入式平台。

为了解决以上两个问题，本文提出了卷积神经网络加速器及其VerilogHDL代码自动生

成设计。主要工作内容如下：

1）基于FPGA的卷积神经网络硬件加速设计。首先对卷积层，池化层，激活层和

全连接层的并行加速可行性进行分析，并分别设计了这些层的并行加速方案。在卷积层

的硬件加速设计中，根据卷积层并行加速的可行性，提出了两种计算方法和四个可并行

的部分；然后设计了两个基本单元，分别为全并行乘法-加法树单元和高效的窗口缓存单

元；之后设计了三种不同的并行加速方案，来适应不同的卷积层结构。最后通过实验表

明在MNIST数据集实验对比中，本文设计的加速器能效比达到32.73GOPS/W，比现有

的解决方案高了34%。

2）卷积神经网络硬件加速器VerilogHDL代码自动生成系统设计。首先分析了卷积

神经网络加速器传统设计方法与代码自动生成设计方法存在的问题，然后针对这些问题，

采用基于模板的代码自动生成技术，设计了一个可以从给定的模型结构与数据json文件

自动生成卷积神经网络硬件VerilogHDL代码的系统。根据系统的功能将其分为三个主

要模块，分别为模型解析模块，数据量化模块和代码生成模块。之后详细介绍了三个模

块的设计。最后综合以上完成了整个系统的搭建，通过实验验证了系统的功能，并表明

本文设计的系统具有较好的灵活性，通用性和扩展性。

关键词：卷积神经网络；硬件加速器；FPGA；VerilogHDL代码自动生成

I

Abstract

Withthedevelopmentofconvolutionalneuralnetwork(CNN)andartificialintelligence

embeddedplatforms,deployingCNNapplicationtoresource-constrainedembeddedplatform

withlow-powerreal-timeforwardinferencehasbecomethefocusofcurrentresearch.While

improvingtheaccuracyofCNNmodel,thedepthandnumberofparametersisalsoincreasing.

Traditionalprocessorshavebeenunabletosupportsuchahugeamountofcomputation;

therefore,itisnecessarytodesignacorrespondingneuralnetworkhardwareacceleration

accordingtothecharacteristicsofCNNstructuretoachievelow-powerreal-timeforward

inference.Inordertofacilitatedevelopmentanddeployment,itisalsonecessarytoprovide

friendlydevelopmentenvironmentofhardwareaccelerationsystem,whichcanquicklyand

seamlesslydeployCNNapplicationstotheembeddedplatform.Totackletheabovetwo