微信号:ai-front

介绍:面向AI爱好者、开发者和科学家,提供最新最全AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、最新AI论文解读。每周一节技术分享公开课,助力你全面拥抱人工智能技术。

特斯拉AI主管说深度学习是软件 2.0,第二天他就被人怼了

2017-11-15 18:00 Debra


作者| Debra

编辑|Emily

“有时候,我会听见有些人仅把神经网络视为机器学习的工具。但是我并不认同这个观点。“双十一”当天,特斯拉 AI 主管 Andrej Karpathy 在一篇文章中发表了他的观点。他认为深度学习是软件 2.0,然而第二天,他在文章中关于深度学习的看法就被人怼了。提出反对观点的人为 Carlos E. Perez,曾著有《Deep Learning AI Playbook》一书。 

更多干货内容请关注微信公众号“AI 前线”,ID:ai-front


“Andrej Karpathy 曾在 OpenAI 公司(计算机视觉深度学习、生成建模和强化学习研究)担任研究员,获得多伦多大学计算机科学与物理双学位,斯坦福大学计算机科学专业博士学位。博士在读期间,他曾在谷歌实习,学习 YouTube 视频大规模特征,并在 DeepMind 进行深度强化学习。他还与李飞飞合作研究卷积 / 回归神经网络架构及其在计算机视觉、自然语言处理以及两者重叠领域的应用,并在斯坦福大学首开深度学习课程——视觉识别的卷积神经网络 (CS231n)。此外, Andrej 还用脚本语言创办深度学习图书馆 arxiv-sanity.com,用户可在该网站查到近三年来关于深度学习的 30000 多篇论文。


软件 2.0


在他看来,神经网络不仅是一个分类器,更意味着编程基础开始发生变化。神经网络有滋生的优势和缺点,应用范围广泛,甚至有时候还能凭此赢得 Kaggle 大赛的胜利。这就是软件 2.0。大家所熟知的 软件 1.0,是程序员通过 Python, C++ 等编程程序指令组成,每一行代码赋予程序特定的功能。而软件 2.0 与软件 1.0 不同,前者是通过神经网络权值进行编程。

Karpathy 表示,软件 2.0 的应用范围广泛,在视觉识别、语音识别、语音合成、机器翻译、机器人、游戏中的应用,将展现其不同于软件 1.0 的优势。

例如,软件 2.0 在机器学习方面的应用。以前,视觉识别由设定程序和一些机器学习组成。此后,机器学习发展成能够发现具有更强大图像分析功能的程序,最近机器学习已经能够完成在架构内搜索了。

软件 2.0 在机器翻译方面的应用也快速发展。机器翻译通常通过以词组为基础的数据技术实现,但神经网络很快将成为主流。比如,架构可以设定为弱指导(或完全无监管)多语言,一个模型就可以搞定所有语言翻译。

软件 2.0 不会替代软件 1.0(事实上,训练和推理编辑 2.0 代码需要大量 1.0 架构),但是会逐渐蚕食软件 1.0 目前所应用的领域。

然而,Carlos E. Perez 却对他提出的软件 2.0 存在的一些优势并不认同,认为 Andrej 的文章缺乏支持性的观点,有些他提到的优势并不能判断其真实性。


  同态计算(在计算上等同)


神经网络的最典型特征,就是通过矩阵乘法(matrix multiplication )和线性整流函数(ReLU) 进行操作,而传统软件与之相比更有异质性、更复杂。对此,反对的观点则认为,这种观点虽然有趣,但却是不成立的。虽然神经网络看起来是均匀计算,但这是因为其仍处于早期发展阶段。多样化将朝着专业化和模块化的方向发展,这是自然发展的规律。以大脑为例,我们的大脑是非同态的,因为大脑由不同的若干部分和多种神经网络组成。


  更易烧录


在 Karpathy 看来,因为神经网络的指令集更加简短,因此会更加方便地传到专用集成电路、神经形态芯片等组件上。但 Carlos E. Perez 认为这不现实。硬件是机器学习的关键组成部分,但这个领域变化太快,这也是可编程 GPU 比专用集成电路价值更大的原因。


  持续运行


典型的神经网络每一次传输都会花费等量的每秒浮点计算。基于不同的执行路径,代码可以通过一些庞大的 C++ 代码库来实现,几乎可以保证我们永远不会陷入无意的无限循环中。然而,Carlos E. Perez 认为,这仅适用于简单的网络,但对于更复杂的条件遍历网络却是不一定正确;在运行时间有所差异的迭代组件上,这却完全有可能实现。


  常量存储


因为不存在动态分配存储,存储泄露,需要在代码中搜索的可能性极小。而反对的观点则认为,这对于不断快速写入的网络并不适用。


  运算高效


由于连续的矩阵乘法序列,深度学习在任意计算机设备上运算比二进制更加简单。而反对的观点则认为,深度学习比传统的 ML 更加便携和模块化,但是却忽略了模块化系统的固有特点。


  十分敏捷


软件 2.0 能够减少计算步骤,计算速度可以加快 2 倍,但效率会略差。因此,在计算量较大和需要快速计算时,这一点有非常重要的意义。

此外,Andrej 认为软件 2.0 还具有模块融合最优化、简单易学等特点,但同时也存在数据偏差等不可忽视的缺陷。


软件 2.0 不会超越物理定律


而对于 Andrej 认为软件 2.0 的编程更加进步这一说法,Carlos E. Perez 则表示同意,并称许多伟大的发现都是通过无理论的方式得到的,深度学习或将成为“人类最近的创新”。具有争议性的是,这个系统是否和其他普遍使用的系统有所不同。软件 2.0 所用的材料、信息处理方式与软件 1. 0 相同,不同的是核心、计算和存储。深度学习同样支持图灵机,并且可以从归纳中进行学习。这意味着,这种模块性的系统有别于一般的编程。但不同的模块性并不意味着基础的硬件特征会消失——软件 2.0 永远不会超越物理定律。因此,从物理层面为深度学习建模时(而不是数学),就会发现机器学习的缺陷。

关于软件深度学习的问题有哪些?考虑到深度学习系统本质上为“直觉机器”,它的行为会和软件 1.0 大为不同。

我们还处于深度学习开发的初始阶段,在这种具有软件 1.0 的功能,但性能优于软件 1.0 的新型计算系统得到应用的过程中,还有很多问题亟待解决。虽然谷歌和优步正致力于这一领域的研究,但还有很多问题仍然存在。

深度学习将会逐渐变成软件 2.0,但还需要一些时间。


 素材来源:


https://medium.com/@karpathy/software-2-0-a64152b37c35


https://medium.com/intuitionmachine/is-deep-learning-software-2-0-cc7ad46b138f


 
AI前线 更多文章 所有人都在评论新发布的智能音箱时,我们挖出了百度背后的这家瑞典小公司 Geffory Hinton的“胶囊”里到底装的什么“药”? AI一周热闻盘点:亚马逊宣布支持ONNX;科技部公布首批国家人工智能开放创新平台名单 论文导读 | 一点微小的扰动,就可能导致深度神经网络做出错误判断 准确率99%!基于深度学习的二进制恶意样本检测
猜您喜欢 良心推荐!30款实用的数据可视化工具 12个鲜为人知的CSS技能(上) Codis架构笔记 关于 Web Workers 你需要了解的 7 件事 70年前的今天,那一道闪光撕碎了广岛