微信号:infoqchina

介绍:有内容的技术社区媒体

大数据 Spark Streaming 入门丨StuQ小班课

2016-04-27 08:01 StuQ

StuQ(www.stuq.org)为 IT 技术人员提供了“一个新的学习方式”,旨在完善知识结构,提升技术能力。

StuQ 推出 50 人小班教学,老师全程视频直播授课+在线答疑+作业练习+项目实践,帮助同学深度、系统、实战学习大数据 Spark Streaming 入门!

1
课程简介

该课程是 Spark Streaming 入门课,但所涉及的点较为全面,从架构介绍到实际编码示例,同时还涉及到如何对分布式应用进行测试,可以让你掌握对应的编程技能。与热门存储引擎HBase/ElasticSearch的整合,以及和 Spark 相关组件 Spark MLlib/Spark SQL 的集成,则可让你学以致用,更加贴近实际场景。

2
适用人群

全程采用 Scala 语言,Intellj Idea 编辑器,基于 Spark 1.5.1(更高版本也都适用)。需要对 Scala/Spark 略微有些基础,如果没有,请先学习StuQ相关课程。

3
教学目标
  • 掌握如何开发 Spark Streaming 程序

  • 掌握如何集成常规存储系统如 HBase/ElasticSearch

  • 掌握如何整合 Spark 其他组件 

4
讲师简介


祝海林(祝威廉)

  • 乐视云高级大数据工程师

  • 超过 5 年大数据从业实战经验以及 8 年技术开发经验。

  • 目前就职于乐视云数据部门,负责实时计算,数据平台、搜索和推荐,数据分析等多个方向。

  • 主要技术研究和实践方向是以 Spark/ES 为核心的数据分析平台;关注集群自动化部署,服务管理,资源自动化调度等。

  • 是 ServiceFramework 等多个开源项目的核心成员。

    https://github.com/allwefantasy/ 

  • 拥有技术专栏

    http://www.jianshu.com/users/59d5607f1400

5
课程内容

一、Spark/Spark Streaming 架构与组件介绍

微批和实时的区别

Spark 平台简介

Spark Streaming 架构

二、分布式日志实时处理

处理日志并且按特定结构写入HDFS实例(附源码)

三、对流式数据进行Transformation操作

Transform操作介绍

Windowing操作介绍

Statefull操作介绍

四、持久化分析后的数据

持久化到HBase

持久化到ES

五、和Spark 其他相关库的整合

Spark SQL

Spark MLlib

六、如何对Spark Streaming进行测试

设置local 模式

模拟数据输入

模拟数据输出

和maven配套打包项目

6
学习环境

学习地点:

专属学习 QQ 群 + 在线直播教室+作业答疑平台

学习工具:

StuQ 在线教室,在浏览器中使用,无需下载客户端,使用会员用户名和密码进入教室:


StuQ 作业答疑平台:


7
开班信息

开班时间:

报名人数满 30 人开班,共 50 名额。

(人员超过 30 名后确定开班,会在正式开课前安排一次预演,预演内容主要是直播环境测试、预习资料和虚拟环境的部署搭建等等)

上课时间:

暂定每周二晚 21:00-22:30,预计五月下旬开课。

上课时长:

每周  1 小时 30 分,共计 6 周课程

课程学习方式:

40 分钟直播视频讲解

30 分钟交流答疑

20  分钟作业点评课

注:每次微课堂视频可以回看,所有讲师在学习群可以日常交流。

8
课程收费

预售价 799 元,全价 998 元

(前 10 名享受预售优惠)

9
课程报名

方式1. 直接报名交费。扫描确认报名 StuQ 大数据 Spark Streaming 小班课的支付宝付费群二维码。报名成功进群后,会由 StuQ 工作人员联系您获得上课方式。


方式2. 报名咨询。扫描下方二维码进入报名咨询微信群,了解详细的课程信息,会有 StuQ 工作人员统一解答大家疑问,然后报名。


报名咨询群

10
最后

希望每一位学员是经过理性、冷静、谨慎的了解和判断选择我们!我们面向具有一定的编程基础,会 Scala/Java 的初中级 IT 从业人员,技术大咖亲授实战经验、技术应用,希望您最终的学习成果能够应用于您的工作,提升您的技术能力!

 
InfoQ 更多文章 年前挖的坑都填了吗?技术债务偿还计划 程序员VS武林高手:技术为外功,思维乃内力 腾讯游戏大数据服务场景与应用(附PPT) 偷师饿了么:怎样用HTTP/2优化iOS APP网络层次架构? 作为高颜值的女程序员是一种怎样的体验?
猜您喜欢 Python高效编程技巧 C语言在屏幕上显示内容 Android系统字体规范与应用探索 采用HTML5+SignalR2.0(.Net)实现原生Web视频 为什么Python中没有switch语句?