微信号:ChinaScala

介绍:Scala & Spark & Docker 坚持原创!

Bye, Shark! Hello, Spark SQL!

2014-07-02 09:18 陈 超

DataBricks在刚刚的Spark Summit 2014上面宣布终止Shark开发,全面转向Spark SQL。Raynold刚刚也在微博上说明:「三年前在Berkeley AMPLab我们开始了Shark项目。通过Shark,整个Hadoop生态圈认识到并不是只有高价格的EDW才能做到高性能的数据分析。Shark完成了他的学术使命,但是整个设计架构对Hive依赖性太强,难以支持长远的发展。今天我们正式宣布终止Shark的开发,全面转向Spark SQL」


具体可看下这篇文章:http://databricks.com/blog/2014/07/01/shark-spark-sql-hive-on-spark-and-the-future-of-sql-on-spark.html


那对于现在正在使用Shark的用户来讲,Spark SQL提供了非常友好的无缝切换的升级机制,所以Shark用户也不必过多烦恼,之前写好的SQL几乎都是不需要动的。当然需要注意的是,Spark SQL也在迅速的完善过程中,期间会有新功能的加入,当然也会有bug的引入,如果大家在使用Spark SQL过程中发现有问题(注意,是Spark SQL本身的问题),可以去Jira提issue,如果你真的懒得去搞Jira,那么你也可以报给我。


总之,Shark的使命完成了,大家现在可以直接转向Spark SQL,但是我认为,玩过Shark的才是真正玩过Spark的,哈哈,为什么呢?我也不知道,心里就是这么想的。


过段时间再来聊下Spark SQL吧。

 
scala 更多文章 大数据五问五答 by CrazyJvm Spark 1.4 新特性概述 Spark Summit China 2015总结 Kafka 0.8.2 新的offset管理 杭州第二次Spark meetup topic解析
猜您喜欢 2014年讨论最多的编程语言:JavaScript居首位 Paxos理论介绍(1): 朴素Paxos算法理论推导与证明 预测|2017年PHP工程师将会成为下一个高薪群体 【Mac程序分析】mybese个人知识管理软件破解分析 任何时候都要认清自己的价值。