2 余弦基神经网络
在网络结构方面，如图1所示，类似于BP网络的结构：
输入层和输出层都只有一个节点，隐含层有M个节点，且各节点对应的激励函数如下：
式中：α为学习速率。
迭代的终止条件可设为性能指标J满足一定条件，而关于学习速率α的选取会直接影响到神经网络的稳定性。目前，已经有人提出了其适当的选取范围，例如罗玉雄等人已经证明，当满足0<α<(2／|| C ||2)时(这里||·||2表示的是欧氏范数的平方)，神经网络是稳定的；曾喆昭等人也提出并证明了当满足0<α<(4／N)时，神经网络是稳定的。
3 模拟退火算法
由于以上的网络学习算法从本质上来说，还是一种BP算法，所以不可避免地会存在BP算法的缺陷，初始值的选取会影响最终结果，且容易陷入局部极小值。
模拟退火算法与初始值无关，算法求得的解与初始解状态(是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，在理论上已得到严格证明，当初温充分高，降温足够慢，每一温度下抽样足够长，最终温度趋于零时，算法最终以概率1收敛到全局最优解。模拟退火算法通过概率判断来接受新状态是算法在局部极小解处有机会跳出并最终趋于全局最优的根本原因。于是将模拟退火算法加到前面的算法中去，就可以很好地弥补上述算法的不足。
模拟退火算法的步骤如下：
(1)由一个产生函数从当前解S产生一个位于解空间的新解S'。
(2)计算与新解所对应的目标函数差。这里以最小阻带衰减为评价函数C(S)，这个函数可以由所得解S轻易地求出，于是目标函数差△t=C(S')-C(S)；
(3)判断新解是否被接受，其依据是一个接受准则，最常用的接受准则是Metropolis准则。若△t≥0，则接受S'作为新的当前解S；否则，以概率exp(-△t／T)接受S'作为新的当前解S。
