《应用随机过程（第6版）》 第四次题目和参考答案.pdf

《应用随机过程》第四次作业和参考答案

一、N个黑球和N个白球分别装在甲、乙两个袋中，每个袋中各有N个球。

每次从袋中随机地取出一球互相交换后放回袋中，用ξ表示n次交换后甲袋

中的黑球数目，试证{ξ,n≥1}是马尔科夫链，并求一步转移概率。

{}{}

参考答案:由题意可知的状态空间为=0,1,…,,∀≥1,∀中状态

,,…,,有

()

P=|=,=,…,=,=

⎧1,i=0,j=1或j=N,j=N−1

⎪

⎪,0iN,j=i−1

⎪

=⎨2−

⎪,0iN,j=i

⎪

⎪−,0iN,j=i+1

⎩

()

=P=|=

{}

故是马氏链，其一步转移概率为

==1

,

当 0iN时，

()

=,=,=

()

二、设{X,≥1}是独立同分布的随机变量序列，且PX=1=p0，

()∑

PX=−1=q=1−p。令Y=，ξ= (≥1)。试证：{ξ,n≥1}

是马尔科夫链，并求其初始分布和一步转移概率矩阵。