微信号:bigdatalab

介绍:宽客俱乐部旗下美国大数据实验室,大数据研究应用.

学习神经网络,需要哪些前导知识?

2016-01-25 08:46 大数据实验室

从入门到精通估计大概是这么个顺序:


入门
1. 线性代数(初级):神经网络里涉及到最多的就是矩阵运算了
2. 微积分(初级):反向传播(back propagation)就是求导链式法则的应用
3. 线性代数+微积分:学会对矩阵函数(变量是矩阵的函数)求导之后,计算会快很多
4. 编程语言(matlab/python优先):这两种语言可以很方便做线性代数计算(python可以用numpy)

理解
5. 线性代数(中级):特征值特征向量、线性方程组等等,为优化做准备
6. 微积分(中级):梯度、Hessian、曲率等等,为优化做准备
7. 凸优化(中级):优化算法等,结合线性代数和微积分的知识,可以更好地了解怎么训练神经网络
8. 概率统计/随机数学(中级):了解一些深层神经网络的概率模型,比如resticted Boltzmann machines之类的

应用
9. 计算机视觉/自然语言处理/语音识别等(中级):应用背景了解
10. 计算机原理/体系结构(中级):了解存储器层级(memory hierarchy)、I/O等等
11. 编译原理(中级):了解代码优化
12. 并行计算(中级/高级):了解GPU计算、多线程计算、分布式计算等等

理论研究
13. 凸优化(高级):优化算法背后的理论(online learning等等)、近几年的paper
14. 非凸优化(中级/高级):近几年的paper,可能对神经网络优化有借鉴/指导意义
15. 概率统计/随机数学(高级):可能对深入了解以概率图模型(probabilistic graphical models)建模神经网络的方法有帮助
16. 其他可能尚未成体系的模型、优化算法、目标函数等等:参见近几年的paper



(作者:齐鹏           来源:知乎)






招聘启事


某投资公司因拓展业务需要,现招聘以下人员,欢迎发送简历至邮箱,简历中请注明应聘职位名称、期望薪金。

1.量化投资经理

2.新三板项目经理
3.金融行业人力资源顾问
4.网站微信编辑(财经/金融/投资)
5.活动策划与执行专员


工作地点:上海浦东

简历发送邮箱:5424567@qq.com


招聘详情请点击下面”阅读原文“


 
大数据实验室 更多文章 用户画像数据建模方法 李光斗:警方是如何利用大数据抓到王全安的 降楼价,新加坡居然靠的是无人驾驶! 小数法则和经验主义 什么性格的人适合 Quant 这个职位?能否描述一下 Quant 一天的生活是怎样的?
猜您喜欢 祝:天下游子中秋节快乐 从头认识java-10.3 自定义异常类型 一个移动开发者与创业者的2015 PingCAP 专访|写代码、玩开源,体会造物的成就感 FaceBook推出的Android图片加载库Fresco