您正在使用IE低版浏览器,为了您的FUTUREAI账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
FUTUREAI 智能新品
发私信给FUTUREAI
发送

《主算法:寻求终极学习机将如何重塑我们的世界》第二章

本文作者:FUTUREAI 2018-09-14 12:51
导语:主算法 比机器学习的广泛应用更令人惊讶的是,它是执行所有这些不同事物的相同算法。 在机器学习之外,如果要解决两个不同的问题,则需要编写两个不同的程序。 他们可能会使用

主算法

   152696237353052996.jpg

比机器学习的广泛应用更令人惊讶的是,它是执行所有这些不同事物的相同算法。在机器学习之外,如果要解决两个不同的问题,则需要编写两个不同的程序。他们可能会使用一些相同的基础设施,例如相同的编程语言或相同的数据库系统,但是如果您想要处理信用卡应用程序,那么下棋的程序是没有用的。在机器学习中,只要您提供适当的数据来学习,相同的算法就可以做到这两点。事实上,只有少数算法负责绝大多数机器学习应用程序,我们将在接下来的几章中介绍它们。例如,考虑NaïveBayes,一种可以表示为单个短方程的学习算法。给定一个患者记录数据库 - 他们的症状,测试结果,以及他们是否有某种特殊情况 - NaïveBayes可以在几分之一秒内学会诊断病情,通常比在医学院度过多年的医生更好。它还可以击败医疗专家系统,需要花费数千人时间来构建。相同的算法被广泛用于学习垃圾邮件过滤器,这是一个乍一看的问题 

9780465065707-text.indd 23 7/16/15 12:44 PM

24 | 大师的算法

与医学诊断无关。另一个简单的学习者,称为最近邻算法,已被用于从手写识别到控制机器人手到推荐您可能喜欢的书籍和电影的所有内容。决策树学习者同样倾向于决定是否应该接受您的信用卡申请,在DNA中找到拼接点,以及在国际象棋游戏中选择下一步。相同的学习算法不仅可以做各种不同的事情,而且与它们取代的算法相比,它们非常简单。大多数学习者可以编写几百行,如果你添加了大量的花里胡哨,可能会有几千行。相比之下,他们取代的程序可以运行数十万甚至数百万行,并且单个学习者可以诱导无限数量的不同节目。如果这么少的学习者可以做这么多,那么合乎逻辑的问题是:一个学习者能做什么吗?换句话说,单个算法可以学习从数据中学到的所有知识吗?这是一个非常高的命令,因为它最终将包括成人大脑中的一切,进化所创造的一切,以及所有科学知识的总和。但实际上所有主要的学习者 - 包括最近邻居,决策树和贝叶斯网络 - 朴素贝叶斯的概括 - 在以下意义上是普遍的:如果你给学习者足够的适当数据,它可以任意近似任何函数密切 - 这是数学 - 学习任何东西。问题在于“足够的数据”可能是无限的。从有限数据中学习需要做出假设,正如我们所看到的,不同的学习者做出不同的假设,这使得它们对某些事物有益,但对其他事物却没有。但是,如果不将这些假设嵌入到算法中,我们将它们与数据一起作为显式输入,并允许用户选择插入哪些,甚至可以说新的?是否存在可以接收任何数据和假设并输出隐含在其中的知识的算法?我相信是这样。当然,我们必须对假设可能会有一些限制,否则 也许甚至陈述新的?是否存在可以接收任何数据和假设并输出隐含在其中的知识的算法?我相信是这样。当然,我们必须对假设可能会有一些限制,否则 也许甚至陈述新的?是否存在可以接收任何数据和假设并输出隐含在其中的知识的算法?我相信是这样。当然,我们必须对假设可能会有一些限制,否则 

9780465065707-text.indd 24 7/16/15 12:44 PM

大师的算法| 25

我们可以通过以假设的形式给予算法整个目标知识或接近它来作弊。但是有很多方法可以做到这一点,从限制输入的大小到要求假设不强于当前学习者的假设。那么问题就变成:这些假设有多弱,并且仍然允许所有相关知识都来自有限数据?注意相关这个词:我们只关心我们的世界,而不是关于不存在的世界。因此,创造一个普遍的学习者归结为发现宇宙中最深刻的规律,所有现象共享的规律,然后找出一种计算有效的方法将它们与数据结合起来。正如我们所看到的,这种计算效率的要求排除了仅使用物理定律作为规律。它不是,然而,这意味着普遍学习者必须像更专业的学习者一样高效。正如计算机科学中经常发生的那样,我们愿意为了普遍性而牺牲效率。这也适用于学习特定目标知识所需的数据量:普遍学习者通常需要的数据多于专业数据,但如果我们有必要的数量,那就没问题了 - 数据越大,就越有可能是这样的。那么,这是本书的核心假设:但是如果我们有必要的数量就可以了 - 数据越大,就越有可能出现这种情况。那么,这是本书的核心假设:但是如果我们有必要的数量就可以了 - 数据越大,就越有可能出现这种情况。那么,这是本书的核心假设:

所有知识 - 过去,现在和未来 - 都可以通过单一的通用学习算法从数据中获得。

我称这个学习者为主算法。如果这样的算法是可能的,那么发明它将是有史以来最伟大的科学成就之一。实际上,Master算法是我们必须要发明的最后一件事,因为一旦我们放松它,它将继续创造其他可以发明的东西。我们需要做的就是为它提供足够的正确数据,并发现相应的知识。给它一个视频流,它学会了看。给它一个图书馆,它学会阅读。给它物理实验的结果,它发现了 

9780465065707-text.indd 25 7/16/15 12:44 PM

26 | 大师的算法

物理定律。给它DNA晶体学数据,它发现DNA的结构。这可能听起来很牵强:一个算法怎么可能学到这么多不同的东西和如此困难的东西呢?但事实上,许多证据都表明存在主算法。让我们看看它们是什么。

神经科学的论据2000年4月,麻省理工学院的一组神经科学家在“自然”杂志上报道了一项非同寻常的实验结果。他们重新连接了雪貂的大脑,重新连接从眼睛到听觉皮层(负责处理声音的大脑部分)的连接,并重新连接从耳朵到视觉皮层的连接。你认为结果将是一个严重残疾的雪貂,但没有:听觉皮层学会了,视觉皮层学会了听,并且雪貂很好。在正常哺乳动物中,视觉皮层包含视网膜图:连接到视网膜附近区域的神经元在皮质中彼此靠近。相反,重新布线的雪貂在听觉皮层中形成了视网膜图。如果视觉输入被重定向到躯体感觉皮层,负责触摸感知,它也学会了。其他哺乳动物也具有这种能力。在先天性盲人中,视觉皮层可以接管其他大脑功能。在聋人中,听觉皮层也是如此。盲人可以通过将头戴式摄像机的视频图像发送到放置在舌头上的电极阵列来学习用舌头“看见”,其中高电压对应于亮像素,低电压对应于暗像素。本·安德伍德是一个盲人的孩子,他教自己使用回声定位导航,就像蝙蝠一样。通过点击他的舌头并听到回声,他可以四处走动而不会撞到障碍物,骑滑板,甚至打篮球。所有这些都证明大脑始终使用相同的学习算法,专用于不同感官的区域仅通过它们所连接的不同输入(例如,眼睛,耳朵,鼻子)来区分。反过来, 

9780465065707-text.indd 26 7/16/15 12:44 PM

大师的算法| 27

关联区域通过连接到多个感觉区域来获得它们的功能,并且“执行”区域通过连接关联区域和电机输出来获取它们。在显微镜下检查皮质导致相同的结论。到处重复相同的布线图案。皮层被组织成具有六个不同层的柱,反馈回路运行到另一个称为丘脑的脑结构,以及短程抑制连接和长程兴奋连接的反复模式。存在一定量的变化,但它看起来更像是与不同算法相同的算法的不同参数或设置。低水平的感觉区域有更明显的差异,但正如重新布线实验所示,这些并不重要。小脑,大脑的进化上较老的部分负责低水平运动控制,具有明显不同且非常规则的结构,由更小的神经元构建,因此看起来至少运动学习使用不同的算法。然而,如果有人的小脑受伤,那么皮质就会接管它的功能。因此,似乎进化保持小脑周围不是因为它做了皮质不能做的事情,而是因为它更有效。大脑架构内发生的计算也是相似的。通过神经元的电子发射模式,大脑中的所有信息都以相同的方式表示。学习机制也是一样的:通过加强一起发射的神经元之间的联系形成记忆,使用称为长期增强的生化过程。所有这一切都不仅仅适用于人类:不同的动物有类似的大脑。我们的规模非常大,但似乎与其他动物的原则相同。皮质统一的另一个论点来自可能被称为基因组贫乏的东西。大脑中的连接数量超过基因组中字母数量的一百万倍,因此基因组无法详细说明大脑的连接方式。然而,大脑作为主算法的最重要的论点是,它负责我们能够感知的一切 皮质统一的另一个论点来自可能被称为基因组贫乏的东西。大脑中的连接数量超过基因组中字母数量的一百万倍,因此基因组无法详细说明大脑的连接方式。然而,大脑作为主算法的最重要的论点是,它负责我们能够感知的一切 皮质统一的另一个论点来自可能被称为基因组贫乏的东西。大脑中的连接数量超过基因组中字母数量的一百万倍,因此基因组无法详细说明大脑的连接方式。然而,大脑作为主算法的最重要的论点是,它负责我们能够感知的一切 

9780465065707-text.indd 27 7/16/15 12:44 PM

28 | 大师的算法

想象一下。如果某些东西存在但大脑无法学习,我们就不知道它存在。我们可能只是没有看到它或认为它是随机的。无论哪种方式,如果我们在计算机中实现大脑,该算法可以学习 

 我们能做的一切。因此,发明主算法的一条路线 - 可以说是最受欢迎的路线 - 就是对大脑进行逆向工程。杰夫霍金斯在他的“情报”一书中对此进行了抨击。雷·库兹威尔(Ray Kurzweil)寄希望于奇点(Singularity) - 人工智能的崛起,远远超过了人类的多样性 - 正是这样做,并在他的“如何创造心灵”一书中自我抨击。然而,正如我们所看到的,这只是几种可能方法中的一种。它甚至不一定是最有希望的,因为大脑非常复杂,我们仍处于解密它的早期阶段。另一方面,如果我们无法找出主算法,奇点就不会很快发生。并非所有的神经科学家都相信皮质的统一性; 在我们确定之前,我们需要了解更多。关于大脑能够学习和不能学习什么的问题也引起了激烈的争论。但是,如果我们知道的东西,但大脑无法学习,它必须通过进化来学习。

进化生命无限多样性的论证是单一机制的结果:自然选择。更值得注意的是,这种机制是计算机科学家非常熟悉的类型:迭代搜索,我们通过尝试许多候选解决方案来解决问题,选择和修改最佳解决方案,并根据需要重复这些步骤。进化是一种算法。解释维多利亚时代的计算机先驱查尔斯巴贝奇,上帝创造的不是物种,而是创造物种的算法。达尔文在“物种起源”的结论中所说的“无尽形式最美丽”是最美丽的统一:所有这些形式都是用DNA串编码的,所有这些形式都是通过修改和组合这些字符串来实现的。考虑到这个算法的描述,谁会猜到,它可以产生你和我?如果进化可以学习我们,那么可以想象也可以学习所有可能的东西 

9780465065707-text.indd 28 7/16/15 12:44 PM

大师的算法| 29

学习,只要我们在足够强大的计算机上实现它。实际上,通过模拟自然选择来演变程序是机器学习中的流行努力。因此,进化是主算法的另一个有希望的途径。Evolution是给定足够数据的简单学习算法可以实现多少的最终示例。它的输入是所有曾经存在的生物的经验和命运。(现在这是大数据。)另一方面,它在地球上最强大的计算机上运行了超过30亿年:地球本身。它的计算机版本比原始版本更快,数据密集程度更高。哪一个是主算法的更好模型:进化还是大脑?这是机器学习的自然与培育辩论的版本。而且,就像自然和培育结合起来生产我们一样,

来自物理学的论证在一篇着名的1959年的文章中,物理学家和诺贝尔奖获得者尤金·维格纳对他所谓的“数学在自然科学中的不合理的有效性”感到惊讶。由于很少的观察所引起的法律的奇迹远远超出他们的范围。 ?法律如何比它们所基于的数据更精确多个数量级?最重要的是,为什么简单,抽象的数学语言能够准确地捕捉到我们无限复杂的世界呢?维格纳认为这是一个深刻的谜团,同样幸运和深不可测。然而,它是如此,主算法是它的逻辑扩展。如果世界只是一个盛开的,嗡嗡作响的混乱,那么就有理由怀疑普遍学习者的存在。但是,如果我们所经历的一切都是一些简单定律的产物,那么单个算法可以诱导所有可以诱导的算法是有道理的。所有主算法必须做的是提供法律后果的捷径,用基于实际观察的更短的数学推导代替不可能长的数学推导。

9780465065707-text.indd 29 7/16/15 12:44 PM

30 | 大师的算法

例如,我们认为物理定律引起了进化,但我们不知道如何。相反,正如达尔文所做的那样,我们可以直接从观察中引出自然选择。从这些观察中可以得出无数错误的推论,但其中大多数都不会发生在我们身上,因为我们的推论受到我们对世界的广泛认识的影响,而且知识与自然规律是一致的。物理定律的多少特征渗透到生物学和社会学等更高的领域还有待观察,但混沌研究提供了许多具有相似行为的非常不同系统的诱人例子,而普遍性理论解释了它们。Mandelbrot集是一个很好的例子,说明一个非常简单的迭代过程如何能够产生取之不尽的各种形式。如果是山,河,云,世界上的树木都是这些程序的结果 - 分形几何图形显示它们 - 也许这些程序只是我们可以从它们中引出的单个参数化程序。在物理学中,应用于不同量的相同方程通常描述完全不同领域中的现象,如量子力学,电磁学和流体动力学。波动方程,扩散方程,泊松方程:一旦我们在一个领域发现它,我们就可以更容易地在其他领域发现它; 一旦我们学会了如何在一个领域解决它,我们就知道如何解决它。而且,所有这些方程都非常简单,并且在空间和时间方面涉及相同的少量数量导数。可以想象,它们都是主方程的实例,并且所有主算法需要做的是弄清楚如何为不同的数据集实例化它。另一个证据来自优化,数学分支涉及找到产生其最高输出的函数的输入。例如,找到最大化总回报的股票购买和销售顺序是一个优化问题。在优化中,简单的功能通常会产生令人惊讶的复杂解决方案。优化在几乎所有科学,技术和商业领域都发挥着重要作用,包括机器学习。每个字段在由优化定义的约束内进行优化 数学分支与寻找产生其最高输出的函数的输入有关。例如,找到最大化总回报的股票购买和销售顺序是一个优化问题。在优化中,简单的功能通常会产生令人惊讶的复杂解决方案。优化在几乎所有科学,技术和商业领域都发挥着重要作用,包括机器学习。每个字段在由优化定义的约束内进行优化 数学分支与寻找产生其最高输出的函数的输入有关。例如,找到最大化总回报的股票购买和销售顺序是一个优化问题。在优化中,简单的功能通常会产生令人惊讶的复杂解决方案。优化在几乎所有科学,技术和商业领域都发挥着重要作用,包括机器学习。每个字段在由优化定义的约束内进行优化 

9780465065707-text.indd 30 7/16/15 12:44 PM

大师的算法| 31

其他领域。我们试图在经济约束中最大化我们的幸福,这是企业在现有技术约束下的最佳解决方案 - 这反过来又包括我们在生物学和物理学的约束下可以找到的最佳解决方案。反过来,生物学是物理和化学约束下进化优化的结果,物理定律本身就是优化问题的解决方案。那么,或许,存在的一切都是总体优化问题的渐进解决方案,主算法遵循该问题的陈述。物理学家和数学家并不是唯一在不同领域之间找到意想不到的联系的人。在他的书Consilience中,杰出的生物学家EO 威尔逊为所有知识的统一,从科学到人文科学,提出了一个充满激情的论点。主算法是这种统一的最终表达:如果所有知识共享一个共同模式,则存在主算法,反之亦然。然而,物理学的简单性是独一无二的。在物理和工程之外,数学的记录更加复杂。有时它只是合理有效,有时它的模型过于简单而无用。然而,过度简化的这种倾向源于人类思维的局限性,而不是数学的局限性。大多数大脑的硬件(或者更确切地说,湿软件)专门用于感知和移动,而为了做数学,我们必须借用为语言而进化的部分内容。计算机没有这样的限制,可以很容易地将大数据转换成非常复杂的模型。当数学的不合理有效性满足数据的不合理有效性时,机器学习就是你所获得的。生物学和社会学永远不会像物理学一样简单,但我们发现它们的真理的方法可以是。



声明:景智AI网尊重行业规范,任何转载稿件皆标注作者和来源;景智AI网的原创文章,请转载时务必注明文章作者和"来源:景智AI网", 不尊重原创的行为将受到景智AI网的追责;转载稿件或作者投稿可能会经编辑修改或者补充,有异议可投诉至:mailto:813501038@qq.com

分享:
相关文章
最新文章