用马尔科夫决策方法对收集到的数据进行分析.doc

《统计建模与数据分析》 课程设计指导书 课程设计的目的：掌握马尔科夫决策方法的使用和判别 设计名称：用马尔科夫决策方法对收集到的数据进行分析 设计要求 掌握马尔科夫决策方法的使用和判别； 掌握转移概率矩阵及其决策特点转移概率矩阵决策的应用步骤转移概率矩阵及其决策特点转移概率矩阵决策的应用步骤 设计名称：用马尔科夫决策方法对收集到的数据进行分析 日期： 2010年11月12日 设计内容： 有A、B、C三个公司生产某种产品，在市场上销售。由于服务态度、产品质量及广告宣传等因素的不同和变化，近期客户的流动情况和保留情况如表1和表2所示。 表1　各公司某产品客户游动情况（单位：户） 公司 7月1日 客户 得到 失去 8月1日 客户 自A 自B 自C 于A 于B 于C A B C 200 500 300 － 20 20 35 － 15 25 20 － － 35 25 20 － 20 20 15 － 220 490 290 表2　各公司7月份客户保留情况 公司 7月1日客户 失去 保留 8月1日保留概率 A B C 200 500 300 40 50 45 160 450 255 160/200=0.8 450/500=0.9 255/300=0.85 试用马尔科夫决策方法对该问题进行研究，并确定最优的决策方法。 设计目的与要求： 掌握马尔科夫决策方法的使用和判别； 掌握转移概率矩阵及其决策特点转移概率矩阵决策的应用步骤表示步转移概率值，表示步转移概率矩阵，则有： 　　转移概率矩阵用于市场决策时，矩阵中的元素是市场或顾客的保留、获得或失去的概率。 　　矩阵各行概率表示状态经过步转移到状态（）后的概率。矩阵各列概率表示状态（）经过步转移到后的概率。下例中表示某公司保留和失去用户的概率。 矩阵中用概率表示的得失元素在一定条件下是互相转移的，所以称为转移概率矩阵。转移矩阵中的元素都是非负的，即；矩阵各行元素之和等于1，即： 利用这种方法进行决策，具有以下特点： ⑴转移概率矩阵中的元素是根据近期市场或顾客的保留与得失流向资料确定的。 ⑵下一期的概率只与上一期的预测结果有关，不取决于更早时期的概率。比如第二期预测值只与第一期预测值有关，第三期预测值只与第二期预测值有关，而与第一期预测值无关。 ⑶利用转移概率矩阵进行决策，其最后结果取决于转移矩阵的组成，不取决于原始条件，即最初占有率。 设计过程（步骤）或程序代码： ㈠建立转移概率矩阵 根据表1和表2的资料，建立得失的转移概率矩阵： 其中，横行表示各公司失去客户到其他公司的概率。例如， 表示A公司失去了10%的用户转移到B公司了。其他类推。纵列表示各公司从其他公司得到客户的概率。例如，表示A公司得到了B公司用户的7%。其他类推。 利用MATLAB软件计算转移概率矩阵程序如下： %马尔可夫决策方法的例子（转移概率矩阵） load shiyan7shuju %下面生成转移概率矩阵 B=A(:,1);C=A(:,2:end); [m,n]=size(C); D=diag(B-sum(C))+C; E=[]; for i=1:n E(:,i)=B; end P=D./E 运行结果： P = 0.8000 0.1000 0.1000 0.0700 0.9000 0.0300 0.0833 0.0667 0.8500 即转移概率矩阵为： ㈡利用转移概率矩阵进行模拟预测 根据上例，8月1日各公司的市场占有率为0.220、0.490、0.290。预测9月1日各公司市场占有率的方法是将前一期的市场占有率乘上转移概率矩阵，具体如下： 利用MATLAB软件计算转移概率矩阵程序如下： %下面计算市场占有率 x0=B/sum(B) x1=x0*P x2=x0*P^2 结果为： x0 = 0.2000 0.5000 0.3000 x1 = 0.2200 0.4900 0.2900 x2 = 0.2345 0.4823 0.2832 ㈢求出转移概率矩阵的平衡状态，即稳定状态 只要转移概率矩阵不变，不管市场占有率如何改变，最后总会达到平衡状态，即稳定状态，这时市场占有率不再变化了，称此市场占有率为最后占有率。 假定A、B、C三个公司的市场占有率分别稳定在和，即经过再一期转移后，市场占有率的变化微不足道，我们把它视为保持不变，因此有： 且。 可解得： 即为最后稳定状态占有率。 利用MATLAB软件程序如下： %马尔可夫决策方法的例子（求稳定状态下的市场占有率） P=[0.85 0.1 0.05;0.07 0.9 0