BP 神经网络的优化与研究

摘要
       人工神经网络是近年来的热点研究领域，是人类智能研究的重要组成部分，已经成为神经科学、计算机科学、认知科学、数学和物理学等多学科关注的热点。其应用领域包括：分类、预测、模式识别、信号处理和图像处理等，并继续向其他领域延伸。神经网络的优化与改进从一开始就是理论研究和应用的重要研究内容，特别是前馈神经网络的研究，到目前为止尚没有一个理想的优化方案。本论文以目前应用最广、最具代表性的 BP 神经网络为研究对象，围绕 BP 神经网络在复杂样本分类中存在网络结构复杂、分类能力低的问题出发，提出了混合 BP神经网络模型，对 BP 神经网络的发展具有一定的意义。针对 BP 神经网络容易陷入局极小值，收敛速度慢的问题，本文提出了基于混合 BP 神经网络的分类模型，并通过实验将此模型应用于复杂样本的分类问题中。该模型通过分析样本中属性的相关性进行网络的构建，使用主成分分析法（PCA）对样本进行降维，用蜂群算法（ABC）对网络的权值进行优化。前者降低了样本中数据属性之间的相关性，用主成分来表示原来的数据，减少了网络输入层中神经元的个数，为神经网络的训练降低了计算的复杂度；后者解决了神经网络权值在选取的上的随意性问题，避免了由于权值选取的随意性而导致的网络
      容易陷入局部极小值的问题。为验证基于混合 BP 神经网络的分类的有效性，本文将其与传统 BP 神经网络和遗传 BP 神经网络在复杂样本中的分类问题上进行了比较。仿真结果表明，本文的方法不仅能够提高 BP 神经网络的在数据分类上的能力，而且采用混合BP 神经网络解决复杂样本的分类是可行的，并且其性能优于遗传神经网络和 BP神经网络。
关键字：BP 神经网络；主成分分析；蜂群算法；混合 BP 神经网络
目录
摘要  ...............................................................................................................................  I
ABSTRACT  .....................................................................................................................  II
1 绪论  ..........................................................................................................................  1
1.1 研究背景 .........................................................................................................  1
1.1.1 人工神经网络简介  ....................................................................................  1
1.1.2 人工神经网络发展历史  .............................................................................  1
1.1.3 人工神经网络研究的内容  .........................................................................  2
1.1.4 BP 神经网络研究现状  ...............................................................................  3
1.2 本文研究的内容 .............................................................................................  5
1.3 研究的意义 .....................................................................................................  5
1.4 本文的结构安排 .............................................................................................  6
2 BP 神经网络相关理论  ........................................................................................  7
2.1 人工神经网络基础 .........................................................................................  7
2.1.1 神经网络模型和网络结构  .........................................................................  7
2.1.2 学习规则  ................................................................................................  10
2.2 BP 神经网络 ..................................................................................................  11
2.2.1  网络结构和数学模型  .............................................................................  11
2.2.2 BP 算法  ..................................................................................................  12
2.2.3 BP 神经网络存在的缺陷及其产生的原因  .................................................  14
2.3 改进 BP 神经网络的技术  .............................................................................  15
2.3.1 启发式技术  ............................................................................................  15
2.3.2 智能优化技术  .........................................................................................  16
2.3.3 更换激励函数  .........................................................................................  19
2.4 本章小结 .......................................................................................................  19
3  混合 BP 神经网络  ..............................................................................................  20
3.1 蜂群算法 .......................................................................................................  20
3.2 主成分分析法 ...............................................................................................  23
3.3  混合 BP 神经网络的构建  ............................................................................  26
3.3.1 提出的背景  ............................................................................................  26
3.3.2 构成原则和优点  .....................................................................................  26
3.3.3 基本流程和描述  .....................................................................................  27
3.3.4 算法的伪码  ............................................................................................  28
3.4 本章小结 .......................................................................................................  29
4  实验过程和结果分析  .......................................................................................  30
4.1 数据详细描述 ...............................................................................................  30
4.1.1  音频信号数据描述  .................................................................................  30
4.1.2  葡萄酒成分数据描述  .............................................................................  31
4.2 实验步骤与参数设置 ...................................................................................  31
4.3 实验结果与分析 ...........................................................................................  36
4.4 本章小结 .......................................................................................................  41
5  总结与展望..........................................................................................................  42
5.1 主要工作总结 ...............................................................................................  42
5.2 展望 ...............................................................................................................  42
参考文献  ...................................................................................................................  43
致谢  ............................................................................................................................  46