元数神经网络.ppt

1 ASSOCIATIVE MEMORY IN QUATERNIONIC HOPFIELDNEURAL NETWORK基于四元数的Hopfield联想记忆模型 四元数的代数结构 网络权值矩阵 收敛性结果 数值试验1 数值试验1 多重态现象的原因 数值试验1 数值试验2 数值试验2 数值试验3 数值试验3 数值试验3 数值试验3的结果分析 问题 * 加法： 模： 乘法： 共轭： 数乘: 逆： 激活函数： 神经元模型 网络描述:离散时间双极值的Hopfield网络,采用串行工作方式 这里N表示样本向量的维数，即网络中神经元的个数,0≦p,q ≦N； np表示样本的个数,权值矩阵W是一个N×N的矩阵. 权值矩阵W是共轭对称，对角元非负的： 结果：对于串行的离散时间双极值的四元数Hopfield网络，若权值矩阵共轭对称 且对角元非负，则每次迭代后，能量函数E是单调减的（非严格）. 能量函数： 实验描述：3个神经元存储1个样本 存储样本： 权值矩阵： 不动点：由于网络中只存储了一个样本， ξ1和（-ξ1）肯定是网络的不动点 {ξ1, ξ2,… ,ξ16}称为一个多重态（multiplet）； {ξ2, ξ3，… ,ξ16}称为样本ξ1的退化模式（degenerated pattern）. 表中的16个向量都是网络的 不动点，并且权值矩阵W均 可以由表中任意一个向量产生 由于网络是双极值的，即四元数的每个分量只能取1或-1，满足要求的 a只有16个，所以一组多重态所含向量的个数是16. 1，-1 2=21 实数域 1，-1，i，- i 4=22 复数域 a1，a2，…，a16 单位变换 16=24 一个多重态所含向量的个数 四元数 数域 多重态现象的好处： 相当于扩大了“收敛域” ，当网络收敛到ξ1的退化模式也是有意义的，因为退化模式中的向量只要经过一个单位变换就可以变换为样本ξ1. 单位变换： 浅灰：收敛到相应向量 深灰：未收敛到相应向量 取4080个向量，按照汉明距离分成11组 汉明距离： 例： 实验描述：4个神经元存储1个样本 存储样本： 权值矩阵： 浅灰：收敛到相应向量 中灰：未收敛到相应向量但收敛到其退化模式 黑色：以上两种情况外 取65520个向量，按照汉明距离分成15组 试验描述：比较四元数Hopfield网络和实值Hopfield网络的抗噪声能力 1，采用40个神经元 噪声：只发生在四元数的实数部分，即只对ξ1的第1列进行干扰; 噪声率：若噪声率为0.5，表示随机改变ξ1的第1列中的20个分量; 收敛成功：1）收敛到ξ1 2）收敛到ξ1的退化模式 四元数Hopfield网络 样本： 实值Hopfield网络 样本： 1，采用40个神经元 2，采用100个神经元 原因1：四元数虚数部分信息对于实数部分的支持，试验中虚数部分信息是 准确的,直观的解释就是由于四元数乘法规则造成的: 原因2：“收敛域”的扩大，即四元数多重态中的向量个数大于实数域 多重态中的向量个数. * * *