基于梯度的学习应用于文档识别

使用反向传播算法训练的多层神经网络是成功的基于梯度的学习技术的最佳范例。给定合适的网络结构，基于梯度的学习算法能够合成复杂的决策面，分类高维模式，如手写字符，并且只需最少的预处理。本文回顾了应用于手写字符识别的各种方法，并在标准手写数字识别任务中对它们进行了比较。卷积神经网络专门设计用于处理二维形状的变异性，结果显示其性能优于所有其他技术。实际的文档识别系统由多个模块组成，包括字段提取、分割识别和语言建模。一种新的学习范式，称为图转换网络（GTN），允许这样多模块系统通过基于梯度的方法进行全局训练，以最小化整体性能指标。本文描述了两个在线手写识别系统。实验展示了全局训练的优势以及图转换网络的灵活性。文中还描述了一个用于读取银行支票的图转换网络。它使用卷积神经网络字符识别器结合全局训练技术，在商业和个人支票上实现了记录级别的准确率。该系统已商业部署，每天处理数百万张支票。