微信号:infoqchina

介绍:有内容的技术社区媒体

第三只眼:有关伯克利大学AMPLab和Spark的那些事儿

2013-11-25 17:39 杨赛

在QCon上海的时候,程显峰同学对Intel的夏俊鸾(@Andrew-Xia)做了一个有关Spark大数据处理框架的采访。Spark号称“闪电一般快的集群计算系统”,内存用得很重,还跟Scala语言进行了集成。作为Spark项目的committer之一,Andrew在访谈中对Spark给予极高的评价,认为它性能很好,速度很快,从社区活跃度看也非常有潜力。另外还提到了一个叫做Databricks的创业公司,专门围绕Spark做企业级应用的业务。


上周六跑去China Hadoop Summit找一个朋友的朋友,他在大会上有个分享,讲的话题正是Spark的一个存储系统子项目。事实上,这次Hadoop峰会上为Spark准备了一个完整的专题,Databricks的创始人之一辛湜(@hashjoin)正好是第一位演讲者,同时Andrew Xia也替人顶班讲了一个议题。也是之前没注意,稍微看了下微博才发现:


1、Andrew Xia和hashjoin其实是好基友,经常在微博上眉来眼去,难怪他要在采访中专门提到Databricks


2、我去找的那位朋友的朋友HY同学正是辛湜的师弟,都在伯克利大学(UCB)的AMPLab,而AMPLab正是Spark项目的孵化地


3、这些玩Hadoop的不少同学们在10月底O'Reilly组织的Strata Conference+Hadoop World上都happy过一次了,这次China Hadoop峰会算是找个借口到中国再happy一次。不少人过来根本没打算听课,都是来找朋友聊天、认识新朋友的。这个圈子其实不是很大


这次听说一些UCB和AMPLab的事情,感觉跟自己之前想象的还是不太一样,列出几条跟大家分享一下:


1、同样在湾区周边,UCB的创业氛围据说没有斯坦福那么好,教授也并不鼓励研究生出去创业。但即使如此,AMPLab还是有半数左右的人曾经加入创业或正在创业(看了一下数据,从2007年到2011年间,投给斯坦福背景的风投/天使有203笔,是全美第一;UCB有90笔,为全美第三)


2、虽然在学院里做研究也可以选择工业界的研究方向,但是跟在公司里做的事情还是非常不同。拿博士学位需要有三篇paper,所以研究方向必须是可以出paper、可以有故事讲的点;而企业则更注重将其产品化、商业化


3、有的人出去创业就不回学院了,有的人还会回去把博士念完,一般情况下都可以在跑出去之前的积累之上继续做,但也有少数倒霉蛋因为之前做的项目没了不得不重头开始


4、12月初在旧金山的Spark峰会,AMPLabs(作为Spark项目的发起地)是以黄金赞助商的身份列席的,跟Yahoo、Cloudera、tuplejump、ClearStory Data等企业同席,很有意思。(顺便说一下,这个峰会还有三个白金赞助商,分别是DataBricks、Amazon和Intel)


5、华为也是AMPLab的投资方之一


之前对学院这方面了解的比较少,偶尔听一些这方面的事情还是挺有意思的。如果一个技术型企业能够充分利用开源社区的力量和学院实验室的力量,的确可以以较低的成本、在比较短的时间内快速获得非常可观的竞争力。


“第三只眼”:主要由InfoQ编辑专门为微信公众账号自编自写的一个栏目,旨在表明编辑态度及表述平日见闻和思考,期望成为和读者沟通的桥梁。亦接受投稿:editors@cn.infoq.com


今日专栏作者:

杨赛(@lazycai),InfoQ中文站编辑。到处串门的互联网信徒,相信规则的力量。


***********************************

本文来自InfoQ微信公众账号:infoqchina

1、回复“今日新闻”,查看今天更新的新闻;

2、回复“今日英文”,查看今天英文站的更新;

3、回复“文章 +关键词”,搜索关键词相关内容;

4、回复“QCon”,了解QCon大会相关信息;

5、回复“活动”,了解最近InfoQ组织的线下沙龙;

6、回复“架构师”,获取《架构师》下载地址;

7、回复“投稿”,了解投稿和加入编辑团队的流程。

***********************************

 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 互联网公司VS行业软件公司,去哪个好? 为什么要关注前端性能优化 IE 11 预览版初体验 [多图] 闲话数据库 大数据的应用实践案例分享~