面向阻变存储器的长短期记忆网络加速器的训练和软件仿真

摘要

长短期记忆 (long short-term memory, LSTM) 网络是一种循环神经网络，其擅长处理和预测时间序列中间隔和延迟较长的事件，多用于语音识别、机器翻译等领域。然而受限于内存带宽的限制，现今的多数神经网络加速器件的计算模式并不能高效处理长短期记忆网络计算；而阻变存储器交叉开关结构能够以存内计算形式完成高效、高密度的向量矩阵乘运算，从而成为一种高效处理长短期记忆网络的极具潜力的加速器设计模式。研究了面向阻变存储器的长短期记忆神经网络加速器模拟工具以及相应的神经网络训练算法。该模拟工具能够以时钟驱动的形式模拟设计者提出的以阻变存储器交叉开关结构为核心加速部件的长短期记忆加速器微体系结构，从而进行设计空间探索；同时改进了神经网络训练算法以适应阻变存储器特性。这一模拟工具基于 System-C 实现，且对于核心计算部分实现了图形处理器加速，可以提高阻变存储器器件的仿真速度，为探索设计空间提供便利。