微信号:ecshujufenxi

介绍:专注大数据,移动/互联网,IT科技,电子商务,数据分析/挖掘等领域的综合信息服务与分享平台.合作|约稿请加qq:365242293

【重磅】50页PPT揭秘腾讯大数据平台与推荐应用架构。

2014-12-10 18:44 数据分析

2014年10月25日,由eBay、CSDN共同举办的“大数据峰会”将在上海豫园万丽酒店举办。腾讯T4技术专家、数据平台部精准推荐中心总监李勇,以“腾讯大数据平台与推荐应用架构”作为峰会的结尾。

内容简介:

  • 腾讯的月活跃用户8.3亿

  • 微信月活跃用户4.4亿

  • QQ空间月活跃用户6.5亿

  • 游戏月活跃用户过亿

如今腾讯的数据分析已经能做到始终“不落地”,即全部的实时处理。腾讯大数据平台有如下核心模块:TDW、TRC、TDBank、TPR和Gaia。简单来说,TDW用来做批量的离线计算,TRC负责做流式的实时计算,TPR负责精准推荐,TDBank则作为统一的数据采集入口,而底层的Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础,数据应用商业化是价值导向。

数据平台体系化是应用基础,数据应用商业化是价值导向。

腾讯深度学习平台的挑战

深度神经网络模型复杂,训练数据多,计算量大

  • 模型复杂:人脑有100多亿个神经细胞,因此DNN的神经元和权重多

  • 训练数据多:大量训练数据才能训练出复杂模型

  •  微信语音识别:数万个神经元,超过50,000,000参数,超过4,000,000,000样本,单机训练耗时以年计,流行的GPU卡需数周

深度神经网络需要支持大模型

  •  更深更宽的网络能获得更好的结果

  •  以图像识别为例,增加卷积层的filter数量,加大模型深度等,可获得更好的模型质量

 深度神经网络训练中超参数多,需要反复多次实验

  •  非线性模型:代价函数非凸,容易收敛到局部最优解

  •  敏感的超参数:模型结构、输入数据处理方式、权重初始化方案、参数配置、激活函数选择、权重优化方法等

  • 数学基础研究稍显不足,倚重技巧和经验

腾讯深度学习平台Mariana

 腾讯有广泛的深度学习应用需求,其挑战如下

  •  模型复杂,训练数据多,计算量大

  •  需要支持大模型

  • 训练中超参数多,需要反复多次实验

 Mariana腾讯深度学习平台提供三个框架解决上述问题

  •  Mariana DNN: 深度神经网络的GPU数据并行框架

  •  Mariana CNN: 深度卷积神经网络的GPU数据并行和模型并行框架

  • Mariana Cluster: 深度神经网络的CPU集群框架

 Mariana已支持了训练加速、大模型和方便的训练作业

  •  微信语音识别6 GPU做到4.6倍加速比

  • 微信图像识别4 GPU做到2.5倍加速比,并支持大模型

Mariana已成功应用到微信语音识别和微信图像识别,并在广点通广告推荐的点击率预估中积极尝试




转自:36大数据 更多请回复“ 月光宝盒 ”。


数据分析 ~因你而变~
新鲜·干货·案例·有意思
微信号:ecshujufenxi
 
数据分析 更多文章 父爱如山:给女儿的信 数据挖掘关联规则之Apriori算法 数据科学家面试的常问77个问题 定性基础分析5步法 如何才能设计出伟大的数据产品
猜您喜欢 街机模拟器 MAME 正式成为开源软件 [活动]开发者最佳实践日·第4期-铁人三项之软件,硬件,云 【实战试听课】第四节:如何爬取异步加载数据 谈谈编程范式 百度2015校园招聘面试题回忆录(成功拿到offer)