文献综述（或调研报告）：
2012年AlexNet夺得了ImageNet图像识别冠军，深度学习的崛起成为了点燃人工智能浪潮的星星之火，深度学习在解决复杂的学习问题方面展现出卓越的能力，它使用的最为广泛的算法就是神经网络算法[1]，从最简单的人工神经网络到卷积神经网络、循环神经网络的发展过程中，迭代出了很多优秀的网络模型，从而使计算机视觉技术得以更快的成熟，更有效的应用到各行各业中解决实际问题(图像分类、目标检测、图像分割等)。
随着深度学习的发展，网络的规模越来越大，庞大的模型在推理计算时消耗了大量的算力与存储，传统的通用芯片在处理复杂神经网络时受到了带宽和能耗的限制，人们开始改进通用芯片的结构以支持神经网络的有效处理，开发出深度学习推理框架便于网络的部署与推断加速，此外，研发专用加速芯片也成为另一条加速神经网络处理的途径[2]。
1神经网络算法
图1 神经网络发展
随着神经科学、认知科学的不断发展，受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络，它从结构、实现机理和功能上模拟人脑神经网络。在1943年，McCulloc等人[3]就已经提出了第一个人工神经元模型(M-P神经元)，在这个模型中，神经元接受其他所有神经元传递过来的信号，这些输入信号通过不同的权重连接进行传递，神经元接收到的值与神经元阈值进行比较，通过激活函数产生输出，得到一个新的活性值(兴奋或抑制)。常用的激活函数有Sigmoid函数、阶跃函数、ReLU等非线性函数。1958年Rosenblatt[4]设计的感知机是最早具有机器学习思想的神经网络，但其学习方法无法扩展到多层的神经网络上。至1974年，反向传播算法的出现，有效的解决了多层神经网络的学习问题，并成为最为流行的神经网络学习算法。
当神经网络中的隐藏层不断增加，参数数量急剧膨胀导致计算量的上升，进而使得模型的计算时间增加、功耗增大，为了解决在图像处理中全连接神经网络网络参数较多的情况，受生物学上感受野的机制的启发，出现了卷积神经网络。卷积神经网络主要包括卷积层、池化层和全连接层，具有局部感知和权重共享的特点，这使得它广泛应用在计算机视觉领域。LeNet是第一个卷积神经网络，被广泛应用于手写数字识别。
卷积神经网络的发展起步于2012年的AlexNet网络[5]，它是第一个现代深度卷积网络模型，是深度学习技术在图像分类上真正突破的开端，首次提出了使用多GPU进行并行训练，采用ReLU作为非线性激活函数，使用dropout防止过拟合，使用数据增强提高准确率。这些技术极大推动了端到端的深度学习模型的发展。
在此之后，针对图像类任务出现了大量改进的网络结构，他们的主要思路是增大网络的深度和宽度，但这直接导致了过拟合与计算量的增加。为解决以上问题，迭代出了很多优秀的卷积神经网络：GoogLeNet网络创新的提出了Inception机制对图像进行多尺度处理、VGG网络采用小尺寸的卷积核模拟更大尺寸的卷积、残差网络ResNet采用跨层连接和拟合残差项的方法解决深层网络难以训练的问题。
但是到了ResNet，网络已经达到152层，模型动辄几百兆的大小，巨大的存储和计算开销严重限制了CNN在低功耗领域的应用。MobileNet网络是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，创造性的用深度卷积和逐点卷积，即深度可分离卷积，代替传统的卷积，它在牺牲较小性能的前提下有效减少参数量和计算量，但MobileNetv1在训练过程中非常容易出现特征退化。MobileNetv2[6]提出线性瓶颈与倒置残差作为网络的基本结构，在大幅降低网络运算量的过程中保持性能基本不变，非常适合嵌入式平台的使用。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
