数据挖掘与应用(八)研究报告.ppt

* * 误差函数 设数据集为{(xi, yi), i=1, … ,N}，μi为与观测i对应的μ值。 根据μi与yi的差异可定义误差函数，误差函数越小，模型拟合效果越好。 一种常用的误差函数是对数似然函数的负值;当Y的分布属于指数族分布时，还可使用偏差来定义误差函数。 下面根据因变量的不同取值类型讨论神经网络模型输出层的误差函数，具体可参照广义线性模型一节内容。 * * 情形一:因变量为二值变量 与逻辑回归相对应: 不失一般性，设因变量Y的取值为0或1。 神经网络的输出μ代表Y取值为1的概率。Y满足参数为μ的伯努力分布，没有刻度参数。 输出层的激活函数采用Logistic函数，也就是逻辑连接函数逆函数: * * * 情形二:因变量为名义变量 与多项逻辑回归相对应: 令μ(l)表示Y取值为l的概率l=(1, … ,K)，它们满足μ(l) +…+ μ(K) =1。对l=1, … ,K ，令： 因变量Y的取值为1, … ,K，各取值之间是无序的。 那么(Y(l) , … ,Y(K))满足参数为(1, μ(l), … ,μ(K))的多项分布，没有刻度参数。 神经网络的输出层含K-1个输出单元，激活函数采用恒等函数。网络输出值ηl’ (l=1, … ,K-1)表示： * * * * 情形三:因变量为定序变量 与定序逻辑回归相对应: 因变量Y的取值为1, … ,K，但各取值之间是有序的。 神经网络的输出层含K-1个输出单元，输出值η(l)表示Y取值小于或等于l的概率(l=1, … ,K-1)，它们满足0≤μ(1)≤μ(2)≤…≤ μ(K-1)≤μ(K)=1。对l=1, … ,K，令： 那么(Y(1) , … ,Y(K))满足参数为 (1, μ(1),μ(2)-μ(1), … , 1-μ(K-1))的多项分布，没有刻度参数。 * 情形三:因变量为定序变量 输出层的组合函数为斜率相等的线性组合函数: 输出层的激活函数采用Logistic函数，也就是逻辑连接函数的逆函数: * 情形四:因变量为计数变量 与泊松回归相对应: 因变量Y的取值为1,2, … ,代表某事件发生的次数。 神经网络的输出μ代表Y的均值。设Y满足泊松分布，没有刻度参数。 输出层的激活函数采用指数函数，也就是对数连接函数的逆函数: * 情形五:因变量为非负连续变量 因变量Y的取值连续非负(例如，收入、销售额)。类似于广义线性模型的各种情况，Y的分布可能是泊松、伽马或正态分布。 神经网络的输出μ代表Y的均值。 输出层的激活函数采用指数函数，也就是对数连接函数的逆函数: * 情形六:因变量为取值可正可负的连续变量 输出层的输出值μ都代表Y的分布的位置参数，激活函数都采用恒等函数，但对Y的分布可有多种假设(不限于广义线性模型中所使用的指数族分布假设)。 可假设Y满足正态分布，即Y~N(μ,σ2);等价地， 满足标准正态分布。 * 情形六:因变量为取值可正可负的连续变量 可假设 满足标准柯西分布。因为柯西分布不属于指数族分布，误差函数只能采用对数似然函数的负值，而不能采用偏差。对数似然函数的负值为: 可假设 满足标准logistic分布。因为logistic分布不属于指数族分布，误差函数只能采用对数似然函数的负值，而不能采用偏差。对数似然函数的负值为: * 情形六:因变量为取值可正可负的连续变量 标准正态分布、标准柯西分布和标准logistic分布都关于零点对称，但是峰值和尾部特性都不一样。相比正态分布而言，因为柯西分布或logistic分布为厚尾分布，它们对异常值更加稳健。 * * * * * * * * * * 第八讲 神经网络（1） * 生物神经元 * 人工神经元 v1, … ,vs为输入“树突”的各信号; 它们按照连接权w1j, … ,wsj ，通过神经元内的组合函数∑j(·)组合成uj ; uj再通过神经元内的激活函数Aj(·)得到输出zj，沿“轴突” 传送给其他神经元。 * 人工神经网络 最常用的神经网络是如图所示的多层感知器。 * 人工神经网络 各个自变量通过输入层的神经元输入到网络; 输入层的各个神经元和第一层隐藏层的各个神经元连接; 每一层隐藏层的各个神经元和下一层(可能是隐藏层或输出层)的各个神经元相连接; 输入的自变量通过各个隐藏层的神经元进行转换后，在输出层形成输出值作为对因变量的预测值。 * 神经网络可以对一个或多个因变量进行预测。 神经网络的因变量 例如，如果因变量是有K种取值(K2)的分类变量，通常在输出层使用K-1个神经元; 再如，因变量可以是多个相关联的连续变量，甚至是不同类型的变量。 * 单个神经元的组合函数 单个神经元常用的组合函数为线性组合函数： 其中bj是神经元j的偏差项。 也