微信号:infoqchina

介绍:有内容的技术社区媒体

【工具】Kylin:来自eBay的OLAP分析引擎

2014-10-16 22:03 InfoQ

Kylin是一个开源、分布式的OLAP分析引擎,它由eBay公司开发,并且基于Hadoop提供了SQL接口和OLAP接口,能够支持TB到PB级别的数据量。从Kylin官网得知,它具有以下特性:

  • 超级快的OLAP分析引擎,并具备较强的可伸缩性

Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。

  • 为Hadoop 提供 ANSI-SQL 接口

Kylin为Hadoop提供了ANSI-SQL接口,并且支持大多数的ANSI-SQL的函数。

  • 交互式查询能力

用户能够通过Kylin在秒级别的延迟状况下同Hadoop进行交互,并且对于相同的数据。集效果优于Hive的查询

  • 多维联机分析处理数据仓库(MOLAP Cube)

用户能够定义数据模型,并且通过Kylin能够预建超过10多亿行原始数据记录的数据模型。

  • 数据模型可与其他 BI 工具无缝集成

目前,Kylin提供了同BI工具无缝集成的功能,如Tableau。

  • 其他值得关注的特性

具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。


支持Kylin能够良好运行的生态系统包括以下组成部分:

  • Kylin的核心部分

Kylin的OLAP引擎框架包括元数据引擎、查询引擎、作业引擎、存储引擎以及用来处理客户端请求的REST服务器

  • 可扩展的组件部分

包括支持更多功能的插件,如HBase的Coprocessor、Hive等。

  • 集成的组件部分

生命周期管理器支持集成作业调度器、ETL工具、监控和报警系统。

  • 用户界面部分

允许第三方用户基于Kylin 核心组件定制自己的用户界面。

  • 驱动部分

ODBC和JDBC 驱动能够支持不同的工具和产品,如Tableau。


Kylin是开源的OLAP分析引擎,OLAP即联机分析处理,它能够帮助分析人员、管理人员或执行人员从多角度快速、一致、交互地存取信息和更加深入的了解信息。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。目前,比较著名的开源OLAP分析引擎还有Lemur和Mondrian。Lemur是用C++编写的面向混合型联机分析处理(HOLAP)的引擎,它能够被其他语言的程序所调用,支持切片、切块和旋转等基本操作。Mondrian是用JAVA编写的面向关系型联机分析处理(ROLAP)引擎,它符合XML和XMLA协议,可以完成异构平台下的数据通信。Mondrian被设计运行在关系数据库上,提供基于JAVA 的API供应用程序调用展示结果。 另外,Kylin的源代码托管在GitHub上,更多Kylin相关信息,读者可登录其官网或者GitHub查看。

 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 游戏设计,基于神经网络的Dota人机对抗人工智能系统 最新活动 | 主题帖被加精华,最高可拿10000积分+500经验 布冯的历史行程 Javac编译过程 【第1章第116回】JavaScript Array 整理 - 遍历操作