蒙特卡罗最优化.pptVIP

MonteCarloOptimization

主要内容一、数值优化方法〔Numericaloptimizationmethods〕二、应用于求解随机优化问题的蒙特卡罗方法〔1〕模拟退火算法〔SimulatedAnnealing)〔2〕EM算法〔TheEMalgorithm)

1.NumericaloptimizationmethodsinR1.1Root-findinginonedimension假设f:R→R为一连续函数，那么方程f(x)=c的根x,满足g(x)=f(x)-c=0.为此我们只考虑f(x)=0形式的方程求根问题。使用数值方法求此方程的根，可以选择是使用f的一阶导数还是不使用导数的方法。Newton方法或者Newton-Raphson方法是使用一阶导数的方法，而Brent的最小化算法是不使用导数的一种求根方法。

1.1.1Bisectionmethod(二分法〕如果f(x)在区间[a,b]上连续，以及f(a)和f(b)有相反的符号，那么由中值定理知道存在acb，使得f(c)=0。二分法通过在每次迭代中简单的判断f(x)在中点x=(a+b)/2处的符号来寻求方程的根。如果f(a)和f(x)有相反的符号那么区间就被[a,x]代替，否那么就被[x,b]代替。在每次迭代中，包含根的区间长度减少一半。即

可以看出，二分法不会失效，到达指定精度所需要的迭代次数也是事先可以得到的。如果在区间[a,b]里方程有多个根，那么二分常用的收敛准那么有：绝对收敛

时停止迭代。此准那么可以不考虑x的单位情况下到达指定的精度。法会找到一个根。二分法的收敛速度是线性的。相对收敛

下面我们使用二分法求此方程的一个数值解。我们首先要找到一个区间，比方(0,5n)，使得函数在区间两端有着不同的符号。然后即可使用二分法。例1解方程其中a为常数，n2为一整数。显然，方程的解为

程序：a-0.5n-20cat(trueroots,-a/(n-1)-sqrt(n-2-a^2+(a/(n-1))^2),+-a/(n-1)+sqrt(n-2-a^2+(a/(n-1))^2),\n)bisec-function(b0,b1){f-function(y,a,n){a^2+y^2+2*a*y/(n-1)-(n-2)}it-0eps-.Machine$double.eps^0.25r-seq(b0,b1,length=3)y-c(f(r[1],a,n),f(r[2],a,n),f(r[3],a,n))if(y[1]*y[3]0)stop(fdoesnothaveoppositesignatendpoints)

while(it1000abs(y[2])eps){it-it+1if(y[1]*y[2]0){r[3]-r[2]y[3]-y[2]}else{r[1]-r[2]y[1]-y[2]}r[2]-(r[1]+r[3])/2y[2]-f(r[2],a=a,n=n)print(c(r[1],y[1],y[3]-y[2]))}}bisec(0,5*n)

运行结果：trueroots-4.2394734.186841

Brent’smethod二分法是一种特殊的括入根算法。Brent通过逆二次插值方法将括入根方法和二分法结合起来。其使用y的二次函数来拟合x。如果三个点为(a,f(a)),(b,f(b)),(c,f(c)〕,其中b为当前最好的估计，那么通过Lagrange多项式插值方法〔y=0)对方程的根进行估计，在R中，函数uniroot就是应用Brent方法求解一元方程的数值根。

例2应用uniroot求例1中的方程的根。程序：a-0.5n-20out-uniroot(function(y){a^2+y^2+2*a*y/(n-1)-(n-2)},lower=0,upper=n*5)unlist(out)rootf.rootiterestim.prec4.186870e+002.381408e-041.400000e+016.103516e-05uniroot(function(y){a^2+y^2+2*a*y/(n-1)-(n-2)},interval=c