注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

钱五哥の163空间

记录俺的生活和工作历程

 
 
 

日志

 
 
关于我

从事网络通信软件和开发管理开发多年,了解各类软件系统的架构、设计、开发和测试以及相应的开发方法。工作之余,喜欢研究一些自己感兴趣的事情,包括写写小程序、做做木工、看看连续剧、读读军事杂志、养鱼种花等等

网易考拉推荐

Hadoop Summit 2013 Day1:BOF&Meetup  

2013-06-26 22:19:19|  分类: IT技术 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

几番周折终于到达San Jose,帮我办理很多手续的小郭却由于Visa被Check而未能成行,开始认为是PRISM之后,美国对中国的一项报复措施,今天遇到同学,才知道可能是美使馆的一个潜规则:即上次签证被Check但是通过的人,下一次签证肯定被check,而且时间会延长。

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

IMG_20130625_114732

p1 meetups,注意有个牵小狗参会的女士,好像是条小斗牛犬

YRAN的Developer Meetup是几个HortonWorks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。

IMG_20130625_105239

p2 Accumulo meetup

HBase meetup貌似也是HortonWorks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示hbase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个regionserver都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。

IMG_20130625_115400

p3 大门口和工作人员

?

IMG_20130625_152546

p4 下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

?

相关信息:

  1. http://hadoopsummit.org/san-jose/
  2. Hoya Blog
  3. http://accumulo.apache.org/
  4. Yarn Resource Manager API
  5. http://www.sqrrl.com/
  6. http://en.wikipedia.org/wiki/Apache_Accumulo
  评论这张
 
阅读(89)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017