微信号:infoqchina

介绍:有内容的技术社区媒体

手把手教你从0到1构建大数据分析平台|StuQ小班课

2016-07-08 08:00 StuQ

StuQ 联合三位大数据资深专家桑文锋、曹犟、付力力共同推出《从0到1构建大数据分析平台》精品小班教学,仅有 60 席位,精品小班课区别于大众在线视频教学,课程设置具有如下特色:

  • 采用在线视频直播授课

  • 以实战为主

  • 在线解答疑问

  • 课后作业review

精品小班课通过以上方式帮助同学深度、系统、实战学习构建大数据分析平台。

1
适用人群
  • 创业公司从事大数据相关项目研发人员;

  • 能够独立完成功能模块开发,了解过分布式计算基本知识,接触过 hadoop、spark 等大数据处理系统;

  • 对大数据平台设计开发感兴趣。

2
教学目标

对大数据分析平台的架构有系统认识,能够基于开源系统,设计符合创业公司的大数据分析平台。

3
讲师简介

桑文锋

Sensors Data(神策数据) 创始人&CEO

浙江大学计算机科学与技术专业硕士,在百度任职8年,2008 年底开始组建并带领团队,从零实现了百度日志的大数据平台,覆盖数据搜集、传输、元数据管理、作业流调度、海量数据查询引擎、数据可视化等。

曹犟

Sensors Data(神策数据) 创始人兼 CTO

清华大学计算机硕士,2008 年至 2014 年就职于百度大数据部,担任百度用户数据仓库 (BUDW) 技术负责人,资深研发工程师,参与数据收集与传输、数据建模、海量数据处理、数据应用、数据分析、ID-mapping 等各个环节的数据处理工作。2014年4月—2015年4月就职于北京极科极客科技有限公司(极路由)任数据总监职务,2015 年 4 月至今作为神策数据创始人并担任 CTO 职务。

付力力

Sensors Data(神策数据) 创始人兼首席架构师

毕业于北京理工大学软件工程专业,2008 年至 2013 年期间历任百度新产品研发部、网页搜索部、基础架构部工程师,2013 年 9 月至 2014 年8月担任豌豆荚 SearchPA 后端研发工程师,2014 年9月至 2015 年4月担任黄金钱包研发部技术合伙人,目前担任神策数据联合创始人及首席架构师。

4
课程内容

一、大数据分析概述(By 桑文锋)

大数据的概念

数据驱动的概念

数据处理流程

数据平台总体架构

思考:尝试列举每个子系统在市面上的开源或商业选型

二、百度大数据平台演进(By 桑文锋)

日志统计平台

用户数据仓库

数据源管理

百度大数据平台架构

思考:百度在数据处理所面临的问题和学员本身所在公司的问题有何异同?

三、数据采集与传输(By 曹犟)

数据采集与埋点

数据传输系统

开源传输系统介绍(kafka、flume、scribe)

思考:kafka能够保证数据不丢不重吗?

四、数据建模与存储(By 曹犟)

数据模型

数据ETL

数据存储管理(包括元数据、hadoop)

调度器(包括开源调度器oozie、azkaban)

思考:为什么在大数据平台上,要把元数据独立出来?

五、查询引擎设计(By 付力力)

查询引擎架构

开源查询引擎分析(包括impala、spark SQL、hive等)

思考:分布式查询系统和MySQL在设计上,有哪些特别的点?

六、数据可视化(By 桑文锋)

数据可视化概述

可视化工具介绍

数据分析方法

运营分析实践

大数据分析总结

思考:结合所在公司的现状,设计一张大数据分析平台架构图。

5
学习环境

学习地点:

学习QQ群 + 在线直播教室+作业答疑平台

学习工具:

StuQ 在线教室,在浏览器中使用,无需下载客户端,使用会员用户名和密码进入教室:


StuQ 作业答疑平台:


6
开班信息

开班时间:

报名人数满 25 人开班,共 60 个名额。

(人员超过 25 名后确定开班,会在正式开课前安排预演)

什么是预演:

学员可以直观的了解老师、课程内容以及学习方式,老师也可以围绕课程内容对学员关心的问题做面对面的沟通。

上课时间:

暂定每周四 21:00-22:30,预计七月中旬开课。

上课时长:

每周 1.5 小时,共计 6 周课程

课程学习方式:

60 分钟直播视频讲解

15 分钟交流答疑

15 分钟作业点评课

注:课程视频支持回放观看。

7
课程收费

价格: 998 元

(共 60 个名额,目前还剩 16 个名额)

8
课程报名

方式1. 直接报名交费。扫描StuQ官方支付宝账号二维码进行转账。报名成功后,添加官方支付宝账号为好友并注明课程名称“大数据分析平台”,会有 StuQ 工作人员联系您获得上课方式。


方式2.报名咨询。报名课程的用户请加 QQ 群号 103471666,或者扫描微信二维码进入报名咨询微信群,详细了解报名信息,会有 StuQ 工作人员统一解答大家疑问,然后报名缴费。


微信咨询群

方式3. 咨询小助手。报名课程的用户也可以扫描小助手的微信二维码,私聊小助手详细了解报名信息,小助手会统一解答大家疑问,然后报名缴费。


另附报名流程图

 
InfoQ 更多文章 微服务的团队应对之道 Q新闻丨为什么敏捷开发在亚洲实行不了;java单元测试框架之争 沈剑:58到家「通用实时」消息平台架构的实现细节是什么? | 视频+PPT下载 敏捷已死?错!3招助你炼出一个更好的技术团队! 包建强:为什么我说Android插件化从入门到放弃?
猜您喜欢 实录分享 | 最需要关爱的运维能通过容器得到什么? 独家放送|金融IT行业与容器的巅峰对话:听梁胜博士畅谈容器技术未来 每周阅读清单:过年见闻,Kotlin,Retrofit 2.0 机器学习-人脸检测和Haar分类器 浅谈音悦台PC端(前端开发)的改造,告别刀耕火种