深度学习PPT幻灯片.ppt

TrueNorth芯片结构、功能、物理形态图 典型神经网络芯片——IBM TrueNorth * 人脑分成三个层次——神经突触、脑功能区和脑皮层 每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个能完整执行任务的皮层由诸多个功能区组成 TrueNorth芯片架构对应分为三个层次 突触对应硬件—neurosynaptic core，有256个输出与输入及对应的存储，并集成神经信号的路由器 芯片有4096个core，组成脑功能区 芯片与芯片间互联，实现完整的脑皮层功能 TrueNorth基于脉冲神经网络设计，采用1KHz帧时钟模拟生物上的脉冲，因而没有全局时钟控制的信号传递；数据和数据之间采用异步方式通讯，实现低功耗。 典型神经网络芯片——IBM TrueNorth * IBM用48块TrueNorth芯片构建一个电子的啮齿类动物大脑，每一块芯片都可以模拟大脑的一个基本功能区。系统可模拟4800万个神经细胞，与小型啮齿动物大脑的神经细胞数齐平 基于该模拟大脑编写的程序可识别照片和语音，并理解一些自然语言 典型神经网络芯片——IBM TrueNorth * 2016年12月，IBM公布了TrueNorth芯片的必威体育精装版成果 美国陆军研究实验室利用TrueNorth芯片的低功耗和实时模式识别特性，帮助在部署数据收集时，减少延迟、降低数据复杂性、减少传输宽带需求，同时解决分布式系统终端的数据存储需求 美国空军研究实验室利用TrueNorth横向扩展系统来执行并行数据的文本提取和识别任务。图像文本被分割成单独的字符后被TrueNorth系统进行并行字符识别。归类之后的结果将会被传送到基于推理的自然语言模型中来重建单词和句子 劳伦斯·利弗莫尔国家实验室训练一个16块TrueNorth芯片组成的网络追踪激光熔化机的焊点质量，可以识别7种等级。实时焊点质量监控使得闭环工艺改进和立即排除缺陷部件成为可能 典型神经网络芯片——IBM TrueNorth * 对TrueNorth的评价 不同于冯诺依曼架构，将处理、存储、通信集成在一起 尝试在硅片中模仿人脑以大规模平行方式处理信息 向社会步入认知计算机时代迈出重要一步 短期看，TrueNorth情况不乐观 生态系统差编程困难 缺乏高效的训练算法 不具备调整的灵活性 典型神经网络芯片——IBM TrueNorth * 2016年中科院计算所正式发布神经网络处理器寒武纪 针对深度学习领域的专用芯片 性能、功耗和面积上，比CPU/GPU有百倍优势 寒武纪系列已包含四种原型处理器： 寒武纪1号（英文名DianNao，面向神经网络的原型处理器结构） 寒武纪2号（英文名DaDianNao，面向大规模神经网络） 寒武纪3号（英文名PuDianNao，面向多种机器学习算法） 寒武纪4号（英文名ShiDianNao，面向视频处理特定领域） 配套首个深度学习指令集Cambricon(DianNaoYu) 直接面对大规模神经元和突触的处理 一条指令即可完成一组神经元的处理 对神经元和突触数据传输提供一系列支持 典型神经网络芯片——寒武纪DianNao * 片上存储：芯片内含三块片上存储，用于存储input的NBin、output的NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信 运算逻辑：核心计算部件为由三级流水线组成NFU NFU和片上存储的时分复用： 运行时，网络模型参数依次被加载到SB，每层神经layer的输入数据被依次加载到NBin，layer计算结果写入到NBout NFU里基础计算不会与具体 的神经元或权重参数绑定 灵活性和尺寸相较于全硬件 方案有明显改进 典型神经网络芯片——寒武纪DianNao * DianNao是寒武纪系列的第一个原型处理器结构 单核，主频0.98GHz，峰值性能每秒4520亿次神经网络基本运算 65nm工艺，面积3.02mm2，功耗0.485W， 性能超主流CPU核100倍，面积和功耗仅为1/10 性能与主流GPU相当，面积和功耗仅为1/100 典型神经网络芯片——寒武纪DianNao * DaDianNao在DianNao的基础上进一步扩大处理器的规模 16个处理器核和更大的片上存储 多芯片间直接高速互连，避免内存访问开销 28nm 工艺，主频606MHz，面积67.7mm2，功耗16W 性能超过主流GPU 21倍，能耗仅为主流GPU的1/330 典型神经网络芯片——寒武纪DianNao * 多用途机器学习处理器PuDianNao 支持k-最近邻、支持向量机、神经网络等近十种代表性机器学习算法 主频为1GHz，峰值性能每秒10560亿次基本操作 65nm工艺，面积3.51mm2，功耗0.596W 性能与