注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

钱五哥の163空间

记录俺的生活和工作历程

 
 
 

日志

 
 
关于我

从事网络通信软件和开发管理开发多年,了解各类软件系统的架构、设计、开发和测试以及相应的开发方法。工作之余,喜欢研究一些自己感兴趣的事情,包括写写小程序、做做木工、看看连续剧、读读军事杂志、养鱼种花等等

网易考拉推荐

借Hadoop In China之机,和Doug Cutting座谈  

2011-12-04 19:56:33|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

本来打算自己约Doug来技术交流,正好有一个客户帮我们安排了,于是就这么见到了Doug Cutting一行。Doug Cutting个子真的很高,大约有两米的样子,和我站在一起,我也就到他的肩膀。开始大家并不熟悉,有些拘束,后来说着说着就放开了,项目组十几人轮番向Doug一行询问Hadoop相关的问题:Doug主要讨论技术相关的内容;而同来的Cloudera COO Kirk则主要回答商务问题。

简要记录一些讨论如下:

1. Cloudera推出了一个企业版的CDH管理工具SCM Express,可以查看Hadoop工具链的各种状态。不过这个工具并不开源,在50个节点(?)的集群中可以免费使用。

2. Doug 介绍了Apache上推出的BigTop项目,此项目的主要目标是对Hadoop相关工具进行打包和测试,以方便用户的使用,有意者可以看看这里:http://wiki.apache.org/incubator/BigtopProposal

3. Hadoop的HA方案会在23版本推出,比如23.1之类的版本,这个是社区达成一致的版本。低于这个版本的Hadoop则不会有官方的HA方案。

4. 小郭介绍了我们自己的在研的Hadoop HA方案,基于20版本的,Doug希望我们会公开这个版本,当然我们会公开的,但是维护一个我们自己的版本,Doug嘴上没说,也是有些顾虑的。

5. 私有Hadoop的实现,比如MapR的Hadoop。大家的共识是这个玩意没法评估,也不知道到底好不好,问题是此后和开源版本的同步是个大问题,但是如果自己需要的feature开源不包括,则自研版本似乎是唯一的选择。等到Hadoop成熟一些可能私有版本会少一些,此前则很可能会有私有发布。

6. 跨IDC的可靠性目前Hadoop是不支持的,也不建议将一个Hadoop部署在两个IDC上。

7. PIG和HIVE应用在不同的场景,PIG用在ETL多一些,HIVE用在DW多一些。

8. Cloudera设置了一个Clouderau.com,所谓的Cloudera University,主要用于Hadoop的培训和交流。

9. 参与开源社区的工作需要投入很大的时间和精力,即需要公司的支持,也需要个人的努力。

IMG_3425

交流结束后,大家先是合影,然后大家便一窝蜂上去和Doug合影,Kirk有些被冷落,在旁边有些酸溜溜地说Doug的粉丝真多:-)

 

相关信息:

1 BigTop:http://wiki.apache.org/incubator/BigtopProposal

2 Source Code:https://github.com/cloudera/bigtop

3 Hadoop University:http://www.clouderau.com/

4 SCM Express:http://www.cloudera.com/

  评论这张
 
阅读(128)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017