微信号:ApacheKylin

介绍:Apache Kylin 公众号,介绍Kylin的各种功能,特性以及相关的新闻,活动等.更多信息,请访问Kylin网站:http://kylin.io 相关技术问题,请订阅Apache Kylin邮件列表

【预热 · 滴滴技术沙龙】史少锋:用Alluxio提升OLAP引擎性能

2018-01-08 18:02 apachekylin

滴滴技术沙龙是由滴滴出行工程委员会发起主办的高质量技术交流活动。每期围绕一个主题,由滴滴出行和其他互联网公司的专家以独立演讲、Q&A、开放讨论等方式,与领域内的中高端技术人员进行自由、深度的交流和学习。


本期滴滴技术沙龙第3期,将携手Alluxio社区,以“Alluxio的探索和应用实践”为主题,邀请Kyligence、滴滴出行、Alluxio、京东、腾讯的核心工程师,围绕Alluxio在大数据生态系统中的位置和设计理念、架构功能特色、最新发展、在知名公司生产级环境应用的探索和实践,以及在使用过程中的心得等话题,与现场参会者深入分享。


时间&地点



2018年1月20日 13:30-18:00


北京海淀尚东数字山谷B区2号楼5层分享厅


活动议程




讲师&议题


在本次技术沙龙中,Kyligence高级软件架构师、Apache Kylin核心开发者及PMC 史少锋,将为现场带去题为《使用Alluxio加速云上超大数据OLAP分析》的演讲。


《使用Alluxio加速云上超大数据OLAP分析》


讲师简介:史少锋,Kyligence高级软件架构师,Apache Kylin核心开发者和项目管理委员会成员(PMC),专注于大数据分析和云计算技术。曾任eBay全球分析基础架构部大数据高级工程师,IBM云计算部门软件架构师。


演讲概述:联机分析处理(OLAP)技术已被企业广泛采用,企业运用OLAP分析其业务数据,生成报表,从而帮助业务人员制定商务决策。在当今的大数据时代,OLAP 越来越重要,且面临诸多挑战;而云计算使这种情况更加复杂化。在本次演讲中将介绍大数据智能科技公司Kyligence如何在云上利用Alluxio提升其OLAP引擎的性能。


现场其它讲师及演讲信息详见下文:


01


《如何使用Alluxio来有效分离计算与存储》


内容简介:本议题首先将整体介绍开源分布式存储系统Alluxio,及其在大数据生态系统中的位置与设计理念。随后介绍如何理解存储与计算分离是大数据领域新的架构趋势,并从系统搭建、数据本地化、云部署等多方面,分析Alluxio架构上的优势,以及如何使用它搭建一个高效灵活的去耦大数据平台。最后,讲解Alluxio的内部架构并分享在构建Alluxio过程中,关于分布式系统设计与实现的心得与思考。


讲师简介:富羽鹏,Alluxio公司创始成员与资深架构师,Alluxio开源项目PMC成员。先后在Google、Palantir等公司工作,专注数据库与存储平台的搭建。本科与硕士毕业于清华大学,并在美国加州大学圣地亚哥分校进行数据库领域的博士研究。目前负责Alluxio项目的核心模块与整体架构。


02


《Alluxio在京东计算框架-可插拔容错组件的应用》


内容简介目前,JDPresto on Alluxio已经带来了10倍的平均性能提升。当Alluxio服务不可用时,JDPresto可以直接访问HDFS。在应用过程中,不断扩展Alluxio,增强Alluxio和HDFS的一致性。Alluxio已经在京东的生产环境运行了1年。本次演讲会把这一年多以来的心得和经验分享给参会者。


讲师简介:毛宝龙,毕业于北京信息科技大学。曾经在航天领域从事嵌入式平台开发6年,目前在京东大数据部门从事大数据平台的研发工作,主要负责HDFS、Alluxio等分布式存储系统的探索和应用。


03


Presto & Alluxio在滴滴的探索和实践》


内容简介本次演讲主要从业务场景、架构设计和实现方式等几个方面介绍滴滴的Presto&Alluxio的应用。主要包括两个方面:

1、概述Alluxio的技术演进、架构原理和应用场景,以及结合现有滴滴业务场景的案例分享。

2、重点介绍Presto在滴滴OLAP场景下的实践,包括Presto的架构特点、性能调优方法、问题及解决办法,最后是对Presto&Alluxio未来的规划和思考。


讲师简介

杨华峰,滴滴出行大数据研发工程师,长期关注分布式系统、大数据高性能处理的应用和开发,目前负责Alluxio的应用探索和实践落地。


杜若飞,滴滴出行大数据研发工程师,先后在阿里巴巴、美团点评工作,期间主要负责搜索引擎架构研发和搜索在线离线复用。长期关注分布式检索系统、分布式架构和大数据系统,目前主要负责滴滴出行的Presto生态建设。


04


《Alluxio在腾讯新闻和快报个性化推送业务的应用》


内容简介

对于腾讯新闻这样亿级用户体量的产品,个性化推送服务最初设计的技术架构,是采取将用户画像数据全量加载到Spark内存进行计算,但伴随着业务的井喷式增涨时,这种架构存在着很大的瓶颈,计算的实时性出现急剧的下降,无法满足产品的需求;同时业务的稳定性也承受了很大的挑战。


团队在调整技术架构之后,将画像数据首先加载到Alluxio缓存层,使得Spark作业变“轻”,以达到读写分离的目的,使得任务更加健壮;另外借助Alluxio的本地性等特征,计算耗时并没有出现大幅提高,很好的满足了业务的需求。本次演讲主要分享使用Alluxio的经验与心得。


讲师简介贺灿,腾讯研发工程师。现就职于腾讯网络媒体事业群,主要负责大数据平台的管理工作,以及对腾讯新闻和天天快报等基于平台运行的业务提供解决方案和技术支持。


点击阅读原文,免费报名参加活动。



另外,Apache Kylin & Alluxio Meetup @上海开始报名啦!

限量200席位,报名信息戳下文:

【Meetup 预告】Apache Kylin & Alluxio Meetup @上海开始报名啦!



 "Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks."

您可能还会想看


【Meetup 预告】Apache Kylin & Alluxio Meetup @上海开始报名啦!

【Apache Kylin年终回顾】2017,感恩有你

【技术帖】Apache Kylin Cube优化方式

顶级项目孵化的故事系列——Kylin的心路历程

开源访谈 | 2.0 划时代版本后的 Apache Kylin ,前路何方?

【干货】AWS上Apache Kylin调度系统的设计

Kyligence Robot V1.5发布说明

 
apachekylin 更多文章 【技术帖】使用 Hue 与 Apache Kylin 交互 【Meetup 预告】Apache Kylin & Alluxio&nb 【Apache Kylin年终回顾】2017,感恩有你 【技术帖】Apache Kylin Cube优化方式 顶级项目孵化的故事系列——Kylin的心路历程
猜您喜欢 学好数据库,看这9本书就够了 抓包,只为让DBA过的更开心 IBM沃森:认知计算打开一个新世界 OpenFalcon in SREcon 2017 改变世界的程序员们,节日快乐!