人工智能发展史（读书笔记），

人工智能发展史（读书笔记），

有关人工智能历史的书籍我看了尼克的《人工智能简史》和集智俱乐部的《科学的极致：漫谈人工智能》部分章节。阅读体验是《科学的极致》一书更系统和条理，《人工智能简史》更偏细节，有点琐碎。可以先看《科学的极致》搭起整个发展历史框架，再看《人工智能简史》了解更多细节问题。下面是我看了《科学的极致》中人工智能发展历史一章的读书笔记。基本就是一个简略的历史发展框架~
有不对的地方还请大家多多指正~ 谢谢大嘎 ~~
本人滴github博客:https://voidwalker-m.github.io/

文章目录

• 梦的开始（1900-1965）
• 大卫·希尔伯特 David Hilbert(1862-1943)
• 库尔特.哥德尔 Kurt Godel(1906-1978)
• 艾伦.图灵 Alan Turing(1912-1954)
• 约翰·冯诺依曼 John von Neumann(1903-1957)
• 诺伯特·维纳 Norbert Wiener(1894-1964)
• 梦的延续（1956-1980）
• 开端--达特茅斯会议
• 黄金时期
• 遇到瓶颈
• 新生--知识就是力量
• 群龙问鼎（1980-2010）
• 符号学派（模拟大脑软件）
• 连接学派（模拟大脑硬件）
• 行为学派（模拟身体）
• 三大学派之间的关系
• 分裂与统一
• 分裂
• 统一
• 贝叶斯统计
• 通用人工智能
• 梦醒何方（2010至今）
• 深度学习
• 模拟大脑
• “人工”人工智能

梦的开始（1900-1965）

人工智能之梦开始于一小撮数学家。

大卫·希尔伯特 David Hilbert(1862-1943)

1900年，世纪之交的数学家大会在巴黎召开。希尔伯特宣布了23个未解决的难题。其中的第二问题和第十问题与人工智能密切相关，最终促成了计算机的发明。
希尔伯特第二问题：证明数学系统中应同时具备一致性（数学真理不存在矛盾）和完备性（任意真理都可以被描述为数学定理）。
希尔伯特第十问题：是否存在着判定任意一个丢番图方程有解的机械化运算过程。（机械化运算过程用今天的话说就是算法）

库尔特.哥德尔 Kurt Godel(1906-1978)

来自捷克的年轻人哥德尔起初是希尔伯特的忠实粉丝，并致力于攻克第二问题。很快他发现第二问题的断言是错的。他于1931年提出哥德尔不完备性定理（被美国《时代周刊》评选为20世纪最有影响力的数学定理）。
根据哥德尔定理，存在着人类可以求解但是机器却不能解的问题，人工智能不可能超过人类。但问题并没有这么简单，上述命题成立的一个前提是人与机器不同，不是一个机械的公理化系统。这个前提迄今为止我们并不知道，所以这一问题仍在争论中。

艾伦.图灵 Alan Turing(1912-1954)

另一个与哥德尔年龄相仿的年轻人艾伦图灵被希尔伯特的第十问题深深地吸引。图灵设想出一个机器—图灵机，它是计算机的理论原型，圆满地刻画出了机械化运算过程的含义，并最终为计算机的发明铺平了道路。

1940年，图灵开始认真地思考机器是否能够具备人的智能。他马上意识到这个问题的要点并不在于如何打造强大的机器，而在于我们人类如何看待智能，即依据什么标准评价一台机器是否具备智能。于是，图灵在1950年提出这样一个标准：如果一台机器通过了图灵测试，则我们必须接受这台机器具有智能。

约翰·冯诺依曼 John von Neumann(1903-1957)

在哥德尔研究第二问题的同时，来自匈牙利布达佩斯的天才少年冯诺依曼也在研究同样的问题，然而，哥德尔先他一步发明哥德尔定理。冯诺依曼转行研究量子力学，在即将出硕果之际，另一位天才物理学家保罗·狄拉克(Paul Dirac)先他一步出版了《量子力学原理》。受到两次打击后，冯诺依曼把部分注意力从基础数学转向了工程应用领域，1945年，冯诺依曼在火车上完成了早期的计算机EDVAC的设计，并提出了“冯·诺依曼体系结构”。冯诺依曼的计算机是与图灵机一脉相承的，最大的不同在于，冯诺依曼的读写头不再需要一格一格地读写纸带，而是根据指定地址随机跳到相应位置完成读写。

诺伯特·维纳 Norbert Wiener(1894-1964)

美国天才神童诺伯特维纳。1948年提出新兴学科“控制论”。在控制论中，维纳深入探讨了机器与人的统一性—人或机器都是通过反馈完成某种目的的实现，因此他揭示了用机器模拟人的可能性，这为人工智能的提出奠定了重要基础。

梦的延续（1956-1980）

开端–达特茅斯会议

1956年8月，在美国达特茅斯学院中，约翰·麦卡锡(John McCarthy)、马文·明斯基(Marvin Minsky,人工智能与认知学专家)、克劳德·香农(Claude Shannon, 信息论的创始人)、艾伦·纽厄尔(Allen Newell,计算机科学家)、赫伯特·西蒙( Herbert Simon，诺贝尔经济学奖得主)等科学家正聚在一起，讨论着一个完全不食人间烟火的主题:用机器来模仿人类学习以及其他方面的智能。
会议足足开了两个月的时间，虽然大家没有达成普遍的共识，但是却为会议讨论的内容起了一个名字:人工智能。因此，1956年也就成为了人工智能元年。

黄金时期

达特茅斯会议后，人工智能获得井喷式发展。
机器定理证明—用计算机程序代替人类进行自动推理来证明数学定理—是最先取得重大突破的领域之一。在达特茅斯会议上，纽厄尔和西蒙展示了他们的程序：逻辑程序家可以独立证明出《数学原理》第二章的38条定理。1976年，凯尼斯阿佩尔( Kenneth Appel)和沃夫冈哈肯( Wolfgang Haken)等人利用人工和计算机混合的方式证明了一个著名的数学猜想:四色猜想。
另一方面，机器学习领域也获得了实质的突破。达特茅斯会议上，阿瑟·严缪尔(Arhu Samel)研制了一个跳棋程序，该程序具有自学习功能，可以从比赛中不断总结经验提高棋艺。
1956年，奥利弗·萨尔夫瑞德(Oliver Selfridge)研制出第一个字符识别程序，开辟了模式识别这一新的领域。

遇到瓶颈

1965年，机器定理证明领域遇到了瓶颈，计算机推了数十万步也无法证明两个连续函数之和仍是连续函数。萨缪尔的跳棋程序也没那么神气了，它停留在了州冠军的层次，无法进一步战胜世界冠军。最糟糕的事情发生在机器翻译领域，对于人类自然语言的理解是人工智能中的硬骨头。计算机在自然语言理解与翻译过程中表现得极其差劲。越来越多的不利证迫使政府和大学削减了人工智能的项目经费，这使得人工智能进入了寒冬。

新生–知识就是力量

爱德华·费根鲍姆(Edward A. Feigenbaum) 举着“知识就是力量”的大旗，很快开辟了新的道路。费根鲍姆分析到，传统的人工智能之所以会陷入僵局，就是因为他们过于强调通用求解方法的作用，而忽略了具体的知识。仔细思考我们人类的求解过程就会发现，知识无时无刻不在起着重要作用。因此，人工智能必须引入知识。于是，在费根鲍姆的带领下，一个新的领域专家系统诞生了。所谓的专家系统就是利用计算机化的知识进行自动推理，从而模仿领域专家解决问题。
在知识工程的刺激下，日本的第五代计算机计划、英国的阿尔维计划、西欧的尤里卡计划、美国的星计划和中国的863计划陆续推出。
然而，好景不长，弊端开始逐渐显示，专家系统、知识工程的运作需要从外界获得大量知识的输入，而这样的输入工作是极其费时费力的，这就是知识获取的瓶颈。人工智能这个学科发生了重大转变，它逐渐分化成了几大不同的学派。

群龙问鼎（1980-2010）

前面提到，知识获取有瓶颈，需要大量的知识输入工作。于是，20世纪80年代，机器学习这个原本处于人工智能边缘地区的分支一下子成为焦点。传统的人工智能是让专家们自上而下地设计出来，而机器学习则是启发式教学，让知识通过自下而上的方式涌现。
一批人认为可以通过模拟大脑的结构（神经网络）来实现—连接学派。
另一批人认为可以从那些简单生物体与环境互动的模式中寻找答案—行为学派。
与此相对，传统的人工智能则被称为符号学派。
从20世纪80年代到20世纪90年代，这三大学派形成了三足鼎立的局面。

符号学派（模拟大脑软件）

符号学派的代表，人工智能的创始人之一：约翰·麦卡锡 John McCarthy ( 1927 -2011 )
物理符号系统假说：任何能够将物理的某些模式或符号进行操作并转化成另外一些模式或符号的系统，就有可能产生智能的行为。
符号学派吧焦点集中在人类智能的高级行为，如推理、规划、知识表示等方面。

计算机博弈（下棋）方面的成功就是符号学派名扬天下的资本。IBM与人下国际象棋的智能程序“深思”、升级版“深蓝”、IBM的知识问答超级计算机沃森

可以说，人机大战是人工智能符号学派1980年以来最出风头的应用，20世纪80年代以后，符号学派的发展势头远不如当年，人工智能武林霸主的地位很快就属于其他学派了。

连接学派（模拟大脑硬件）

如果将智力活动比喻成一款软件，那么支撑这些活动的大脑神经网络就是相应的硬件。于是，主张神经网络研究的科学家实际上在强调硬件的作用，认为高级的智能行为是从大量神经网络的连接中自发出现的，因此，他们又被称为连接学派。

神经网络发展史：
（大纲：麦卡洛克-匹兹模型->罗森布拉特感知机->明斯基异或问题致命一击->辛顿多层感知机->布赖森反向传播算法->统计学习理论）

1943年，沃伦·麦卡洛克(W aren McCulloch )和沃尔特匹兹(Walter Pitts)二人提出了一个单个神经元的计算模型, 该模型后来被称为麦卡洛克-匹兹模型。输入单元输入后，经过加权，传递给当前神经元并汇总，如果超过阈值，则该神经元会发放一个信号y输出。

1957年，弗兰克·罗森布拉特(Frank Rosenblatt)对麦卡洛克-匹兹模型进行扩充，加入了学习算法，扩充的模型有一个向量的名字：感知机。感知机可以根据模型的输出y与我们希望模型的输出y*之间的误差，调整权重来完成学习。

1969年，马文·明斯基(Marvin Minsky)给连接学派致命一击。他指出，感知机并不像罗森布拉特宣称的那样可以学习任何问题。连最简单的异或问题都无法完成。

1974年，人工智能连接学派的救世主杰夫辛顿(Geoffrey Hinton)出现。他的出发点很简单—“多则不同”：只要把多个感知机连接成一个分层的网络，那么他就可以解决明斯基的问题。（如下图）

但问题是，多个神经元，可能有几百甚至上千个参数需要调节，我们如何对这样复杂的网络进行训练呢？辛顿等人发现，采用几年前阿瑟·布赖森( Arthur Bryson) 等人提出来的反问传播算法( 简称BP算法)就可以有效解决多层网络的训练问题。

然而，连接学派又陷入困境—对网络运行原理的无知，缺乏理论支持。2000年左右，弗拉基米尔·万普尼克( Vladimir Naumovich Vapnik)和亚历克塞·泽范兰杰斯( Alexey Yakovlevich Chervonenkis)这两位俄罗斯科学家提出了一整套新的理论:统计学习理论，受到连接学派的顶礼膜拜。该理论大意可概括为“杀鸡焉用辜牛刀”。模型的复杂程度要与待解决的问题复杂程度相匹配，如果模型简单而问题复杂度高，就无法得到预期的精度。反过来，若问题简单而模型复杂，那么模型就会比较僵死，即出现所谓的“过拟合”(overiting) 现象。
然而，统计学习理论也有很大的局限性，因为理论的严格分析仅限于一类特殊的神经网络模型：支持向量机(SVM)。对于更一般的神经网络，人们还未找到统一的分析方法。

行为学派（模拟身体）

行为学派的出发点与符号学派和连接学派完全不同，他们并没有把目光聚焦在具有高级智能的人类身上，而是关注比人类低级得多的昆虫（低等生物）。即使这样简单的动物也体现出了非凡的智能，昆虫可以灵活地摆动自己的身体行走，还能够快速地反应，躲避捕食者的攻击。而另一方面，尽管蚂蚁个体非常简单，但是，当很多小蚂蚁聚集在一起形成庞大的蚁群的时候，却能表现出非凡的智能，还能形成严密的社会分工组织。
罗德尼布鲁克斯( Rodney Brooks)：来自美国麻省理工学院的机器人专家。在他的实验室中有大量的机器昆虫。它们看起来的智能事实上并不来源于自上而下的复杂设计，而是来源于自下而上的与环境的互动。这就是布鲁克斯所倡导的理念。

进化计算
我们从生物身上学到的东西还不仅仅是这些。从更长的时间尺度看，生物体对环境的适应还会迫使生物进化。
约翰·霍兰 (John Holland)(1929—) 美国密西根大学的心理学、电气工程以及计算机的三科教授。1959年，拿到全世界首个计算机科学的博士头衔。他发表了遗传算法。遗传算法对大自然中的生物进化进行了大胆的抽象，最终提取出两个主要环节：变异和选择。与神经网络不同，遗传算法不需要把学习区分成训练和执行两个阶段，它完全可以指导机器在执行中学习，即所谓的做中学。同时，遗传算法比神经网络具有更方便的表达性和简单性。
美国的劳伦斯·福格尔(Lawrence Fogel)、德国的因戈·雷伯格(Ingo Rechenberg)以及汉斯保罗·施韦费尔(Hans-Paul
Schwefel)、霍兰的学生约翰·科扎(John Koza)等人也先后提出了演化策略、演化编程和遗传编程。

人工生命
克里斯托弗·兰顿(Chirstopher Langton)提出了“人工生命”这一新兴学科。人工生命与人工智能非常接近，但是它的关注点在于如何用计算的手段来模拟生命这种更加低等”的现象。人工生命认为，所谓的生命或者智能实际上是从底层单元(可以是大分子化合物，也可以是数字代码)通过相互作用而产生的涌现属性( emergent property)。“涌现”( emergence)这个词是人工生命研究中使用频率最高的词之一，它强调了一种只有在宏观具备但不能分解还原到微观层次的属性、特征或行为。单个的蛋白质分子不具备生命特征，但是大量的蛋白质分子组合在一起形成细胞的时候，整个系统就具备了活性，这就是典型的涌现。人工生命的研究思路是通过模拟的形式在计算机数码世界中产生类似现实世界的涌现。因此，从本质上讲，人工生命模拟的就是涌现过程，而不太关心实现这个过程的具体单元。
模拟群体行为是人工生命的典型应用之一。如模拟鸟群的运动：Boid计算机编程，粒子群优化算法。还有蚁群算法，免疫算法等，共同特征都是让智能从规则中自下而上地涌现出来，并能解决实际问题。
糟糕的是，人工生命研究似乎只擅长模拟小虫子等低等生物，高级的智能完全没有像他们预期的那样自然涌现，而且没有丝毫迹象。

三大学派之间的关系

符号学派的思想和观念直接继承自图灵，他们直接从功能的角度来理解智能。符号学派假设知识是先验地存储于黑箱之中，他们擅长利用现有的知识做比较复杂的推理、规划、逻辑运算和判断等问题。
连接学派则把智能系统的黑箱打开，从结构的角度来模拟智能系统的运作，而不单单重现功能。连接学派看待智能会比符号学派更加底层。优点是可以很好地解决机器学习问题，并自动获取知识。缺点是对于知识的表述是隐含而晦涩的，因为所有学习到的知识都变成了连接权重的数值。连接学派擅长解决模式识别、聚类、联想等非结构化的问题，却很难解决高层次的智能问题（如机器定理证明）。
行为学派则研究更低级的智能行为，它更擅长模拟身体的运作机制，而不是脑。行为学派非常强调进化的作用。行为学派擅长解决适应性、学习、快速行为反应等问题，也可以解决一定的识别、聚类、联想等问题，但在高级智能行为（如问题求解、逻辑演算）上则相形见绌。

分裂与统一

分裂

到2000年前后，人工智能的发展非但没有解决问题，反而引入了一个又一个新的问题。很多人工智能研究者干脆当起了“鸵鸟”，对理论问题不闻不问，而是一心向“应用”看齐。在这样一种大背景下，人工智能开始进一步分化，很多原本隶属于人工智能的领域逐渐独立成为面向具体应用的新兴学科，简单罗列如下：
自动定理证明
模式识别
机器学习
自然语言理解
计算机视觉
自动程序设计

统一

当人工智能正面临土崩瓦解的窘境时，仍然有少数科学家正在逆流而动，试图重新构建统一的模式。

贝叶斯统计

麻省理工学院的乔希·特南鲍姆(Josh Tenenbaum)以及斯坦福大学的达芙妮·科勒(Daphne Koller)，他们的特立独行起源于对概率这个有着几百年历史的数学概念的重新认识，并利用这种认识来统一人工智能的各个方面，包括学习、知识表示、推理以及决策。
业余数学家:托马斯贝叶斯(Thomas Bayes)：与传统的方法不同，贝叶斯将事件的概率视为一种主观的信念，而不是传统意义上的事件发生的频率。因此，概率是一种主观的测度，而非客观的度量。故而，人们也将贝叶斯对概率的看法称为主观概率学派。贝叶斯学派的核心就是著名的贝叶斯公式，它表达了智能主体如何根据搜集到的信息改变对外在事物的看法。因此，贝叶斯公式概括了人们的学习过程。以贝叶斯公式为基础，人们发展出了一整套称为贝叶斯网络的方法。在这个网络上，研究者可以展开对学习、知识表示和推理的各种人工智能的研究。

通用人工智能

另外一个尝试统一人工智能的学者是澳大利亚国立大学的马库斯·胡特( Marcus Hutter) ,2000年他开始建立新学科：通用人工智能。他认为，我们不应该将智能化分为学习、认知、决策、推理等分立的不同侧面。对于人类来说，所有这些功能都是智能作为一个整体的不同表现，我们应该将智能看作一个整体，而不是若干分离的子系统。

梦醒何方（2010至今）

深度学习

21世纪的第二个十年，如果要评选出最惹人注目的人工智能研究，那么定要数深度学习(Deep Learning) 了。深度学习仍然是一种神经网络模型，只不过这种神经网络具备了更多层次的隐含层节点，同时配备了更先进的学习技术。深度学习网络早在20世纪80年代就出现了，但当时的数据资源远没有现在丰富，而深度学习网络恰恰需要大量的数据以提高它的训练实例数量。
到了2000年，当大多数科学家已经对深度学习失去兴趣的时候，又是那个杰夫·辛顿带领他的学生继续在这个冷门的领域里坚持耕耘。2009年，辛顿小组的深度神经网络在语音识别应用中取得了重大的突破。
模式识别问题长久以来是人工智能发展的一个主要瓶颈。然而，深度学习技术似乎已经突破了这个瓶颈。

模拟大脑

深度学习模型成功的秘诀之一在于它模仿了人类大脑的深层体系结构，那么，为什么不直接模拟人类的大脑呢？
德国海德尔堡大学的FACETS ( Fast Analog Computing withEmergent Transient States)计划就是一个利用硬件来模拟大脑部分功能的项目。他们采用数以千计的芯片，创造出一个包含10亿神经元和10^13突触的回路的人工脑(其复杂程度相当于人类大脑的十分之一)。与此对应，由瑞士洛桑理工学院和IBM公司联合发起的蓝色大脑计划则是通过软件来模拟人脑的实践。他们采用逆向工程方法，计划2015年开发出一个虚拟的大脑。
然而，这类研究计划也有很大的局限性。其中最大的问题就在于:迄今为止，我们对大脑的结构以及动力学的认识还相当初级，尤其是神经元活动与生物体行为之间的关系还远远没有建立。
为了进一步深入了解大脑的运行机制，一些“大科学”项目先后启动。2013年，美国奥巴马政府宣布“脑计划”的启动。欧盟也发起了“人类大脑计划”，致力于构建能真正模拟人脑的超级计算机。中国、日本、以色列也都有雄心勃勃的脑科学研究计划出炉。

“人工”人工智能

2007年，一位谷歌的实习生路易斯·冯安(Luis vonAhn)开发了一款有趣的程序"ReCapture”,却无意间开创了一个新的人工智能研究方向:人类计算。ReCapture的初衷很简单，它希望利用人类高超的模式识别能力，自动帮助谷歌公司完成大量扫描图书的文字识别任务。但是，如果要雇用人力来完成这个任务则需要花费一大笔开销。 于是，冯安想到，每天都有大量的用户在输入验证码来向机器证明自己是人而不是机器，而输入验证码事实上就是在完成文本识别问题。于是，一方面是有大量的扫描的图书中难以识别的文字需要人来识别:另一方面是由计算机生成一些扭曲的图片让大量的用户做识别以表明自己的身份。那么，为什么不把两个方面结合在一起呢?这就是ReCapture的创意，冯安聪明地让用户在输入识别码的时候悄悄帮助谷歌完成了文字识别工作!
这一成功的应用实际上是借助人力完成了传统的人工智能问题，冯安把它叫作人类计算(Human Computation)，我们则把它形象地称为“人工”人工智能。

补充：
图灵机：

图灵机把所有这些过程都模型化了:草稿纸被模型化为一条无限长的纸带，笔被模型化为一个读写头，固定的10以内的运算法则模型化为输入给读写头的程序，对于进位的记忆则被模型化为读写头的内部状态。于是，设定好纸带上的初始信息，以及读写头的当前内部状态和程序规则，图灵机就可以运行起来了。

四色猜想（现在称为四色定理）：对于任意的地图，我们最少仅用四种颜色就可以染色该地图，并使得任意两个相邻的国家不会重色。

麦卡洛克-匹兹模型：