先进制造-ALPHAGO.pptVIP

SELECTION: 面对一个空白棋盘S0，最初对围棋一无所知，便假设所有落子方法分值都相等，设为1。然后扔了一个骰子，从361种落子方法中随机选择一个走法a0。想象自己落子之后，棋盘状态变成S1. EXPANSION: 然后继续假设对手也扔了一个筛子，随便瞎走了1步，这时棋盘状态变成S2。 * SIMULATION: 一直扔骰子下棋，一路分出胜负r，赢了就r记为1，输了则为0，假设这第一次r=1。这样便算是在心中模拟了完整的一盘围棋。 UPDATE: 心想，这样随机扔骰子也能赢？运气不错啊，那把刚才那个落子方法（S0,a0）记下来，分值提高一些： * 新分数= 初始分+ r 我刚才从（S0, a0）开始模拟赢了一次，r=1，那么新分数=2，除了第一步，后面几步运气也不错，那我把这些随机出的局面所对应落子方法(Si,ai)的分数都设为2吧。那位假想中的对手也用同样的方法更新了自己的新分数. 联想神经网络后向传播。 迭代：然后Coulum开始做第二次模拟，这次扔骰子的时候对围棋已经不是一无所知了，但也知道的不是太多，所以这次除（S0, a0）的分值是2之外，其他落子方法的分数还是1。再次选择a0的概率要比其他方法高一点点。假设更新后的对手会选择一个a1作为应对。如法炮制，又和想象中的对手又下了一盘稍微不那么随机的棋，又依据胜负更新分数。随着想象中的棋局下得越来越多，那些看起来不错的落子方案的分数就会越来越高，而这些落子方案越是有前途，就会被更多的选中进行推演，于是最有“前途”的落子方法就会“涌现”出来。 * 先进制造· ALPHA GO 计算机学院 陈冬 秦明阳 周海龙 1939年 美国纽约世博会上展出了西屋电气公司制造的家用机器人Elektro。它由电缆控制，可以行走，会说77个字，甚至可以抽烟，不过离真正干家务活还差得远。但它让人们对家用机器人的憧憬变得更加具体。 1942年 美国科幻巨匠阿西莫夫在《 I Robot 》一书中给机器人赋予了伦理性纲领，提出“机器人三原则”。虽然这只是科幻小说里的创造，但后来成为学术界默认的研发原则。 1954年 美国人乔治·德沃尔制造出世界上第一台可编程的机器人，并注册了专利。 这种机械手能按照不同的程序从事不同的工作，因此具有通用性和灵活性。 20世纪60年代中期开始，美国麻省理工学院、斯坦福大学、英国爱丁堡大学等陆续成立了机器人实验室。 美国兴起研究第二代带传感器、“有感觉”的机器人，并向人工智能进发。 1948年 诺伯特·维纳出版《控制论》，阐述了机器中的通信和控制机能与人的神经、感觉机能的共同规律，率先提出以计算机为核心的自动化工厂。 机器人的分类 Monte carol tree search 2006年，雷米·库洛姆（Remi Coulom）描述了蒙特 卡洛方法在游戏树有哪些信誉好的足球投注网站的应用并命名为蒙特卡 洛树有哪些信誉好的足球投注网站 Multi-armed bandit Problem. selection expansion simulation update? pros 没有任何人工的feature，完全依靠规则本身，通过不断想象自对弈来提高能力。 MCTS可以连续运行，在对手思考对策的同时自己也可以思考对策。 cons 初始策略太简单，低效。 走棋网络 快速走子 估值网络 蒙特卡洛树有哪些信誉好的足球投注网站 结构：深度卷积神经网络 Width: 192 Accuracy: 57% SL, Non-search Training set: KGS Go server高手对局 把当前局面作为输入，预测下一步的走棋。它的预测不只给出最强的一手，而是对棋盘上所有可能的下一着给一个分数。 目标：符合高手出棋 Pros: 棋感 Cons: 无谓劫杀、对杀出错。 （原因：没有价值判断功能） 强化学习(RL) Agent通过和环境s的交互，选择下一步的动作a，这个动作会影响环境s，给Agent一个reward，Agent然后继续和环境交互。 根据游戏结果迭代更新转移概率和评估函数。 SELECTION: 面对一个空白棋盘S0，最初对围棋一无所知，便假设所有落子方法分值都相等，设为1。然后扔了一个骰子，从361种落子方法中随机选择一个走法a0。想象自己落子之后，棋盘状态变成S1. EXPANSION: 然后继续假设对手也扔了一个筛子，随便瞎走了1步，这时棋盘状态变成S2。 * SIMULATION: 一直扔骰子下棋，一路分出胜负r，赢了就r记为1，输了则为0，假设这第一次r=1。这样便算是在心中模拟了完整的一盘围棋。 UPDATE: 心想，这样随机扔骰子也能赢？运气不错啊，那把刚才那个落子方法（S0,a0）记下来，分值提高一些： * 新分数= 初始分+ r