在stacklab上搭建Hadoop平台

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2012/10/05/hadoop-on-stacklab/

什么是stacklab

stacklab是中国开源云联盟(COSCL)和中国OpenStack用户组(COSUG)联合成立OpenStack实验室,简单的来说就是一个免费申请和使用OpenStack的平台,和国外的那个TryOpenstack有点像,不过stacklab没有门槛,不需要邀请码什么的就可以申请使用。稍微试用了一下感觉很爽,特意和大家分享一下。

在stacklab建立镜像

网址:http://stacklab.org/

点击Register注册,验证完邮箱以后登录。

在建立镜像以前先配置好Keypairs。

点击Create Keypair,名字随便填写就行了。完成可以得到一个pem文件。

在Security Groups中添加一个22端口的许可(起初是为了添加对ssh的许可,后来我发现好像不加也没有关系…这里大家随意吧)

在Images and Snapshots中选择一个喜欢的镜像,我这里选择的是CentOS6.2_x64,点击Launch。

这里的Keypair选择我们刚才创建的那个,其他的随便填写。

我创建了hmaster和hsalve两个镜像。

注意一下中间的Size里面Disk是0,这个没有关系,可以使用的。点击Public Domain可以看到连接命令。

比如

ssh -i hmaster.pem -p11011 [email protected]

第一次登录输入一个yes接受ssh的证书。

登录以后输入passwd修改密码,这样就可以通过VNC登录了。

网页上的那个VNC经常失灵…最好还是用ssh吧。如果是用putty,先把pem转成ppk就行了。

使用CDH4搭建Hadoop

CDH4使用很方便,参考:https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation

先看一下主机名称和对应的IP,修改一下host。

执行

wgethttp://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.noarch.rpm

然后

yum--nogpgchecklocalinstallcloudera-cdh-4-0.noarch.rpm

再把Key加上

rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

在hmaster上安装hadoop-yarn-resourcemanager

yuminstall hadoop-yarn-resourcemanager

然后开始漫长的等待。

说实话速度真的有点慢…我登录将近一个上午才安装完成。

hmaster上面还要安装hadoop-hdfs-namenode、hadoop-hdfs-secondarynamenode

hsalve上面安装hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode hadoop-client

配置什么的就不介绍了…剩下的步骤没有什么大的区别。

写在最后

总的来说stacklab还是不错的,起码提供了一个平台让大家尝试一下。不过问题还是有的..

第一个就是语言,虽然不是大问题,但是既然有中文选项就不要给我显示英文呀…

第二个就是网速,安装东西很慢很慢…

第三个就是有时候会出现Connection closed by remote host,多试试就行了。

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2012/10/05/hadoop-on-stacklab/

发表评论