注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

钱五哥の163空间

记录俺的生活和工作历程

 
 
 

日志

 
 
关于我

从事网络通信软件和开发管理开发多年,了解各类软件系统的架构、设计、开发和测试以及相应的开发方法。工作之余,喜欢研究一些自己感兴趣的事情,包括写写小程序、做做木工、看看连续剧、读读军事杂志、养鱼种花等等

网易考拉推荐

Hadoop World 2012 随笔  

2012-11-05 01:56:23|  分类: IT技术 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

这次有机会参加了2012年在纽约的Hadoop World大会。这次大会依然是Cloudera主办的会议,共约3天,参加的厂商很多,GP、MapR、SAS、SPSS都是金牌赞助商,Oreilly是协办单位,看来Cloudera希望通过媒体多宣传一下自己,毕竟HortonWorks正式加入战团。

第一天是Tutorial,分了不少主题,都比较初级,适合初学者,开始选择了脏数据分析这个session,后来发现实在没有不感兴趣,于是就跑到MR调试会场去听,后来还去听了HBase、R语言的议程,应该说收获不大。下午的时候很多参展商都陆续入场了,跑上去看来一圈,发现来了很多尚未被收购的DW厂商,Vectorwise、ParAccel、Kognitio、Rainstor、Hadapt、Lucidworks都出现了,当然HP、Intel、Google、microsoft这类老大也是一定会到场的,此外还有一些小型的咨询公司。

第二天是技术session,选择了Google的Dremel Session,介绍了原理,但是主要介绍的还是Big Query,有些失望,跑上去问一些具体的问题,回答的有些不那么仔细。此后就是Cloudera介绍的一个ETL解决方案,非常详细,其中还提到了Impala,有些一头雾水,随后才知道咋回事。然后尝试了一个厂商的session,感觉很一般,此后就专跟Cloudera等技术类厂商了。收获较大的是Cloudera和HortonWorks合作的一个HAdoop演进Session,讲的很技术,Tod同学亲自登场介绍了很多计划,HortonWorks出场的是Sanjay,主要介绍了安全、Federation等内容,感觉不是那么实用。然后就是Tod和Aaron一起介绍HDFS 2.0的改进,这次是第一次完整地听人介绍HDFS-HA,感觉终于解决了HAdoop的这个老毛病,看来是可以投入生产系统测试了,但是和周边系统的兼容性还是没有100%保证。

第三天还是技术session,首先选择了Kimball介绍的Wibidata,算是一个新的开发接口,应该说在某些领域可能有用处。后来就看到Cloudera发布了Impala,并将一个session改为Impala介绍,才知道Impala作者中有一位来自Google F1团队。

几点观察:

(1)基于Hadoop的实时计算是大家普遍面临的需求,目前已经有包括Impala、RainStor、Platfora等开源和商用方案

(2)Hadoop周边的产业链极大发展,从硬件、DW、集成商、ISV到咨询商和创业公司,这晚饭不太好吃了

(3)商业化大数据产品将Hadoop作为靶子,宣称自己如何优化,最终需要实力说话

(4)NoSQL依然是重要的领域,但是易用性和可靠性需要同时改进

此外,会场还贴了很多数据可视化的照片,感觉这活主要还是艺术家的事情微笑

贴几张现场照片:

IMG_8282

IMG_8351

IMG_8354

IMG_8360

IMG_8371

IMG_8376

121023152013

121023152359

相关信息:

http://strataconf.com/stratany2012

  评论这张
 
阅读(118)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017