科研帝上线啦!115万本专业的英文电子书全部免费下载!

科研帝

 找回密码
 立即注册

手机号码,快捷登录

金币不够用?来这充值VIP学者,无限量下载
查看: 325|回复: 0

AlphaGo重出江湖,又发了一篇Nature

[复制链接]
  • TA的每日心情
    奋斗
    2017-11-7 08:55
  • 签到天数: 23 天

    [LV.4]偶尔看看III

    80

    主题

    115

    帖子

    425

    积分

    高中生

    Rank: 3Rank: 3

    金币
    1628
    发表于 2017-10-20 09:02:53 | 显示全部楼层 |阅读模式
    本周《自然》发表的一篇论文Mastering the game of Go without human knowledge报道,一款新版的AlphaGo计算机程序能够从空白状态起,在不需要任何人类输入的条件下,迅速自学围棋。这款新程序名叫AlphaGo Zero,以100比0的战绩打败了它的前任(在2016年3月的锦标赛中,其前任打败了围棋冠军Lee Sedol)。

    DeepMind的创始人+CEO Demis Hassabis

    人工智能的最大挑战是研发一种能从零开始、以超人类的水平学习复杂概念的算法。为了打败人类围棋世界冠军,科学家在训练上一款AlphaGo时,同时用到了监督式学习(基于上百万种人类专业选手的下棋步骤)和基于自我对弈的强化学习。那款AlphaGo的训练过程长达几个月,用到多台机器和48个TPU(神经网络训练所需的专业芯片)。

    本文中,英国DeepMind的David Silver, Julian Schrittwieser, Karen Simonyan, Demis Hassabis和同事介绍了AlphaGo Zero,它的学习从零开始,且单纯基于与自己的对弈。人类的输入仅限于棋盘和棋子,没有任何人类数据。AlphaGo Zero仅用到一张神经网络,这张网络经过训练,专门预测程序自身的棋步和棋局的赢家,在每次自我对弈中进步。新程序只使用一台机器和4个TPU。

    通过几天的训练——包括近500万局自我对弈——AlphaGo Zero便能够超越人类并打败所有之前的AlphaGo版本。随着程序训练的进行,它独立发现了人类用几千年才总结出来的围棋规则,还建立了新的战略,为这个古老的游戏带来新见解。

    人工智能棋手 AlphaGo先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后,AlphaGo宣布不再和人下棋。但它的创造者并没有因此停下脚步,AlphaGo还在成长,今天Deepmind又在《自然》期刊上发表了关于 AlphaGo的新论文。

    Deepmind于2016年1月28日在Nature杂志上发表第一篇关于AlphaGo的论文,并登上封面。
    Nature
    这篇论文中的 AlphaGo是全新的,它不是战胜柯洁的那个最强的 Master,但却是孪生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比,它:

    • 从零开始学习,不需要任何人类的经验
    • 使用更少的算力得到了更好的结果
    • 发现了新的围棋定式
    • 将策略网络和值网络合并
    • 使用了深度残差网络


    白板理论(Tabula rasa)
    AlphaGo Zero最大的突破是实现了白板理论。白板理论是哲学上的一个著名观点,认为婴儿生下来是白板一块,通过不断训练、成长获得知识和智力。

    作为 AI 领域的先驱,图灵使用了这个想法。在提出了著名的“图灵测试”的论文中,他从婴儿是一块白板出发,认为只要能用机器制造一个类似小孩的 AI,然后加以训练,就能得到一个近似成人智力,甚至超越人类智力的AI。

    现代科学了解到的事实并不是这样,婴儿生下来就有先天的一些能力,他们偏爱高热量的食物,饿了就会哭闹希望得到注意。这是生物体在亿万年的演化中学来的。

    监督学习 Vs 无监督学习
    计算机则完全不同,它没有亿万年的演化,因此也没有这些先天的知识,是真正的“白板一块”。监督学习(Supervised Learning)和无监督学习(Unsupervised Learning)是镜子的两面,两者都想解决同一个问题——如何让机器从零开始获得智能?

    监督学习认为人要把自己的经验教给机器。拿分辨猫猫和狗狗的AI来说,你需要准备几千张照片,然后手把手教机器——哪张照片是猫,哪张照片是狗。机器会从中学习到分辨猫狗的细节,从毛发到眼睛到耳朵,然后举一反三得去判断一张它从没见过的照片是猫猫还是狗狗。

    而无监督学习认为机器要去自己摸索,自己发现规律。人的经验或许能帮助机器掌握智能,但或许人的经验是有缺陷的,不如让机器自己发现新的,更好的规律。人的经验就放一边吧。

    从无知到无敌
    就像这篇新论文中讲述的那样。AlphaGo Zero是无监督学习的产物,而它的双胞胎兄弟Master则用了监督学习的方法。在训练了72小时后AlphaGo Zero就能打败战胜李世乭的 AlphaGo Lee,相比较AlphaGo Lee训练了几个月。而40天后,它能以89:11的成绩,将战胜了所有人类高手的Master甩在后面。

    图灵的白板假设虽然无法用在人身上,但是AlphaGo Zero证明了,一个白板AI能够被训练成超越人类的围棋高手。

    强化学习
    强化学习(Reinforcement Learning)是一种模仿人类学习方式的模型,它的基本方法是:要是机器得到了好的结果就能得到奖励,要是得到差的结果就得到惩罚。AlphaGo Zero并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋,然后用胜者的思路来训练新的版本,如此不断重复。

    AlphaGo Zero就像人类初学者,需要经历一定时间摸索。不同训练阶段进行的三场自我对弈游戏中的头80步,图中显示的下法来自AlphaGo Zero的一个版本,这个版本的神经网络由20个模块组成。
    图片来自DeepMind
    通过这一方法,AlphaGo Zero完全自己摸索出了开局、收官、定式等以前人类已知的围棋知识,也摸索出了新的定势。

    算法和性能
    如何高效合理得利用计算资源?这是算法要解决的一个重要问题。AlphaGo Lee使用了48个TPU,更早版本的 AlphaGo Fan(打败了樊麾的版本)使用了176个GPU,而Master和AlphaGo Zero仅仅用了4个TPU,也就是说一台电脑足够!

    AlphaGo Zero在72小时内就能超越AlphaGo Lee也表明,优秀的算法不仅仅能降低能耗,也能极大提高效率。另外这也说明,围棋问题的复杂度并不需要动用大规模的计算能力,那是只浪费。

    AlphaGo Zero的算法有两处核心优化:将策略网络(计算下子的概率)和值网络(计算胜率)这两个神经网络结合,其实在第一篇 AlphaGo的论文中,这两种网络已经使用了类似的架构。另外,引入了深度残差网络(Deep Residual Network),比起之前的多层神经网络效果更好。

    Deepmind 的历程
    这不是 Deepmind第一次在《自然》上发论文,他们还在Nature上发表过《利用深度神经网络和搜索树成为围棋大师》和《使用深度强化学习达到人类游戏玩家水平》以及《使用神经网络和动态外存的混合计算模型》三篇论文,Deepmind在Nature Neuroscience上也发过多篇论文。

    我们可以从中一窥 Deepmind的思路,他们寻找人类还没有理解原理的游戏,游戏比起现实世界的问题要简单很多。然后他们选择了两条路,一条道路是优化算法,另外一条道路是让机器不受人类先入为主经验的影响。

    这两条路交汇的终点,是那个真正能够超越人的AI。

    这是AlphaGo 的终曲,也是一个全新的开始,相关技术将被用于造福人类,帮助科学家认识蛋白质折叠,制造出治疗疑难杂症的药物,开发新材料,以制造以出更好的产品。

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    QQ|Archiver|手机版|小黑屋|科研帝   

    GMT+8, 2018-11-22 03:55 , Processed in 0.043353 second(s), 27 queries .

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表