微信号:pythonbuluo

介绍:最专业的Python社区,有每日推送,免费电子书,真人辅导,资源下载,各类工具.我已委托“维权骑士”(rightknights.com)为我的文章进行维权行动

深度学习2016:年度回顾

2017-01-11 08:08 Python程序员


Python部落(python.freelycode.com)组织翻译,禁止转载,欢迎转发。

作者Jan Bussieck,2016年12月31日

  为了了解这一领域的发展趋势,我认为将深度学习的发展视作由三个主要的前沿领域的技术的发展驱动的是有帮助的,这三个前沿领域技术限制了人工智能的发展,特别是深度学习领域的发展。 首先,我们有足够用的计算能力和基础设施,例如快速GPU,云服务提供商(你是否看到了亚马逊的新EC2 P2实例)和工具(Tensorflow,Torch,Keras等),其次我们有很多高质量的测试数据,第三,使用测试数据并在硬件上运行的算法(CNN,LSTM,SGD)。每一次新的发展和进步的背后,都是由这三个领域的扩展所驱动。

无监督和强化学习

  我们今年看到的许多进展是由于前两个领域技术的扩展;我们现在具有能够以与人类相当的精度识别图像和语音的系统,并且具有丰富的数据和工具来开发它们。 然而,几乎所有这些系统都依赖于监督学习,并因此依赖于可用的标记数据集合。我们在2016年看到的许多革命性成果,无论是医学成像,自动驾驶汽车或机器翻译,都证实了一个事实,那就是沿着数据轴和计算能力发展将导致边际回报减少。

  这意味着,最大的收益可以从推动第三个前沿领域技术获得,开发算法,开发的算法可以从原始的未标记的数据,如视频或文本中进行学习。2016年在这方面的研究取得了重大进展(对于任何试图跟上最新进展的人来说都是一阵狂潮),Yann LeCunn在这个演示文稿中对主要内容进行了概述; 强化学习和对抗训练。

深度强化学习

  要想对深度强化学习做一个很好的概述,可以看看Andrej Karpathy对其全面的介绍。基本设置很简单; 我们有一个代理,可以执行一系列允许的行为,导致一个结果由奖励功能判断奖励或惩罚。 让我们来看一下Pong的游戏,这里的一个代理有两个可用的动作; 向上或向下,结果是球是否超过对手或代理人错过球,并分别分配奖励或惩罚。


  解决RL问题的最先进的方法是策略渐变,它与蒙特卡罗树搜索结合,使用谷歌DeepMind的AlphaGo系统,击败了著名的Go世界冠军李塞德。与人们可能期望的相反,策略渐变是直接将网络接收作为输入的游戏,其中包括帧序列,代理采取的动作和结果(赢/输),然后应用反向传播来更新网络参数,使得导致赢得结果的动作比导致失败结果的动作具有更大的可能性。


  RL的成功以及它不需要昂贵的标签数据,促使了基础设施前沿领域引入各种仿真平台,例如OpenAI的健身/宇宙平台或DeepMind与暴雪今年合作推出的超越乒乓球和发布星际争霸2作为模拟环境。任何人现在都可以在GTA V中进行驾车训练,该算法是在现实世界中应用以及传播增强学习方法迈出的重要一步。

  然而,在RL社区的研究人员警告,学习玩游戏不利于AI更广泛的发展。Hal Daume提出了一个优秀的职位“你的奖励功能”的游戏,该游戏提供简单明确的裁减奖励功能以及频繁的小奖励,他指出人类和机器正确的发展方向,上面的Pong示例就是一个很好的例子。然而,如果你想训练一个工业机器人,“好男孩”/“坏男孩”的奖励只有在100亿帧的结束时分配,而积极奖励只有在复杂的链接行动结束时才能实现。Hal给我们留下了一些关于解决方案的暗示,我们应该牢记,在2017年及之后的算法领域方面取得更多的进展。在这方面的一个重要发展是论文“学习加强学习”,其中,作者提出了深层元加强学习的方法,使得RL方法能够快速适应新任务,从而减少训练算法所需的数据量。

生成模型

  今年的算法方面还有另一个重大发展,这可能使我们更容易实现无监督学习,即生成式对抗网络(GAN)的兴起。虽然Ian Goodfellow在2014年已经介绍过,但是直到今年发布了一份详细的卷积体系结构的论文,这才真正引起人们注意。简而言之,GAN由两个网络组成; 生成器(G)和鉴别器(D),给定一组训练示例,G将生成输出,并且D将判定结果是来自于训练示例还是G生成的结果。此时,D被优化,以便能够区分来自训练示例和来自G网络的结果,而G网络又被优化以欺骗D,让其分辨不出自己生成的结果和训练示例。


  经过这样的训练之后,G现在可以生成具有与训练示例非常相似属性的样本。有关更深入的介绍,请参阅John Glover在Aylien的教程。

  文章“生成对抗文本到图像合成”提出了一个令人印象深刻的例子,该示例用GAN能够完成。 作者训练GAN将文本描述转换为图像。


  最近,GAN用于从各种对象的2D视图生成3D形状。虽然OpenAI已经提出了几个克服这些问题的方法,但GAN往往很难训练。鉴于这些优势,许多行业领导者希望GAN能够通过切断对传统监督学习方法的依赖,来克服迄今难以解决的问题。 例如,Yann LeCun认为,GAN将为具有预测能力的AI铺平道路,这将赋予虚拟助手和聊天机器人必要的“常识”,以便能够以更自然的方式与人类进行交互。

  今年的另一类生成模型是DeepMinds语音生成模型WaveNet,图像生成模型PixelRNN和PixelCNN以及视频生成模型VPN(视频像素网络)。

  它们的核心在于这些生成模型获取联合概率,例如图像中的所有像素的联合概率,然后预测所有先前给定像素的下一个像素是什么。很容易看出这适用于声波和视频帧。


继续开放AI的开发

  事实上,以上调查的大部分研究来自私营公司和非学术组织以外的非营利组织,这表明今年更明显的另一个趋势;开放 AI的开发。

让我们总结一下:

  Facebook发布了用于运行AI系统的大功率新服务器,其研究分公司FAIR以惊人的速度发布新的研究,Elon Musk和其他科技巨头已经为OpenAI资助了10亿美元,研究开放的模拟环境,并向公众推广,Google正在调用大量资源,推动深度学习研究和开放源代码库,如tensorflow,类似于亚马逊开源的可扩展稀疏传感网络引擎(DSSTNE),Uber推出了AI研究实验室,最近,甚至苹果宣布将开始向公众发布其人工智能研究结果。在数据方面,我们拥有相同的资源,几个公司发布了大量标记良好的数据集,这些数据集对培训深层神经网络至关重要,其中一些值得注意的数据包括Youtube视频数据集,视频级标签为500,000小时,雅虎13.5TB的数据,其中包括描述匿名用户的110B事件,雅虎上20M用户的新闻互动项目。

  现在,有几个因素推动这一发展。推动这种开放性的第一个力量是每个公司尝试对其优势进行商品化,例如,谷歌有数据和基础设施,他们可以发布他们的研究和软件,而不危及他们的竞争优势,以保持基于专有算法进步的领先地位。 另一方面,像OpenAI这样的组织试图打破数据垄断,通过将自己定位为拥有大量数据的汽车公司的非营利合作伙伴,而不是闭门造车。

  其次,对于谷歌或亚马逊这样的公司,他们开源的软件和数据集是他们的云计算基础设施产品的补充,谷歌提供了一种方便的方式来运行您的系统,tensorflow在谷歌云和亚马逊同样扩大了AWS 使其运行DSSTNE更加简单。

  最后,人才的竞争更加激烈,不仅在技术巨头之间,而且在私营部门和学术界之间,大多数深度学习研究人员和从业人员从中受益。 最好的AI人才只是希望能够公开发表他们的研究,以便与更广泛的社区合作和沟通。发展成果可能会被其他公司超越,这致使苹果公司秘密地开放他们的人工智能研究成果。

合作与并购

  这些公司获取人才的另一种方式是通过收购。 仅今年一年,Salesforce收购了MetaMind和Prediction.IO,Uber抢走了Geometric Intelligence,亚马逊的chatbot公司Angel.ai和英特尔在其两个收购Nervana Systems的初创企业创建了深度学习的计算基础设施和Movidius的计算机视觉公司,通用汽车公司收购了Crew Automation自动驾驶汽车创业公司。


  但这不仅仅是简单的收购,如果通过数据/基础设施/算法框架的视角去看的话,这些收购非常有意义。许多创业公司根本无法获得必要种类的数据,来从其技术中获得最大的价值。 当然,您可以购买数据集,但是一些现成的数据集可能与您的最终应用程序领域不同,并嵌入在Salesforce的CRM套件中,但公司应用程序域的数据量是很庞大的。

  收购只有在产生的整体收益比其部分的总和更有价值时才有意义。 在其他业务领域,这比深度学习和AI更具有深刻的意义。 将MetaMind的深度学习功能集成到世界上最大的CRM系统中,以简化或直接解决大量的重要任务,例如优先排序或自动解决案例,这是一个令人难以置信的价值倍增器。

  如果初创公司没有与收购的公司合作的话,是不可能取得现在的成就的。

  在许多情况下,如果收购没有意义,可以通过合作伙伴的关系实现合作的好处。关于这一点我们可以看到,今年,特别是医疗保健领域,深度学习专业和医疗机构的技术公司之间正在形成几个新的合作伙伴关系。NVIDIA今年宣布与Mass General Hospital临床数据科学中心合作,以“改善疾病的检测,诊断,治疗和管理”为契机。在大西洋DeepMind的另一边和伦敦大学学院的放射治疗部门合作,开发深度学习动力工具,来自动识别放射学机器的癌细胞。 他们之间的数据共享协议包括160万患者及延伸至5年的数据。

  事实上,放射学似乎是深入学习进入医疗保健的起点; 与MIT哈佛研究人员合作的最大优势是基于云的放射学服务平台提供商,他们提供一个基于深度学习的产品,帮助放射科医生阅读X-Rays。 据报道,该公司收集了大约70亿张图片,并在美国的450家放射设施中使用。

  同样,这些合作关系的协同作用的主要来源是,技术合作伙伴能够从应用领域训练他们的深度学习算法,获取高度专业化高质量的数据,这使其能获得更好的结果。

硬件和芯片

  我想通过总结深度学习革命的核心基础设施和两个希望在未来取得成功的公司来结束这篇文章;NVIDIA和英特尔。虽然NVIDIA仍然是GPU在深度学习领域无可争议的市场领导者,但英特尔已经采取了重要的步骤来缩小差距。今年年初,时评员想知道“AI非常火爆,那么没有命名为Nvidia的芯片公司在哪里呢?”但似乎英特尔不会这样容易的超越Nervana系统,但这为一般的深度学习基础设施打下了基础,Movidius获得高性能SoC平台,以加快开发计算机视觉应用。除此之外,英特尔投资公司将在未来两年内投资2.5亿研究自主驾驶,巩固公司以人为本的理念。新的一年,英特尔收购的第一批成果将以深度学习芯片的形式进入市场。

  正在同时,NVIDIA20亿美元的研发项目以及开始有所回报。 4月份,他们宣布开发了一个新的芯片,基于Pascal架构的Tesla P100 GPU,以及世界上第一个深度学习超级计算机DGX-1,它使用8x 16GB Tesla GPU,提供250个基于CPU的服务器,网络,电缆和机架,这些东西都包含在一个DGX-1盒子里。

  这些新产品以及硬件领域的激烈竞争,对有资金困难的初创公司来说是一种福利。因为复杂的深度学习基础设施的成本变得更便宜而且更容易获得。 此外,如果创业公司设法找到合作机会,使他们能够获得丰富和高质量的数据,我们可能会看到更多独立公司获得更大的话语权,这个现象会抵挡行业合并的趋势。 另一方面,减少数据依赖,关键在于提出能够处理原始的未标记的数据,或按需生成的算法。 所以进入新的一年,我们将继续关注生成方法和增强学习领域的新研究。

  希望你们喜欢这篇文章。


英文原文:http://www.deeplearningweekly.com/blog/deep-learning-2016-the-year-in-review
译者:qwertyl7


 
Python程序员 更多文章 高效利用Sentry追踪日志发现问题 每月好书:一路编程 高效学习Python的建议 机器学习最受欢迎的语言是什么? 网站培训9折,仅此一天
猜您喜欢 数盟5.18上海大数据技术聚会【免费】 接口承受200公斤!神奇的塑料焊接 【IBM Bluemix微课堂第六讲】21世纪互联专家带来干货 英伟达飙涨逾15%创历史新高 人工智能开创芯片新时代 运维杂谈