在stacklab上搭建Hadoop平台

5 10月

什么是stacklab

stacklab是中国开源云联盟(COSCL)和中国OpenStack用户组(COSUG)联合成立OpenStack实验室,简单的来说就是一个免费申请和使用OpenStack的平台,和国外的那个TryOpenstack有点像,不过stacklab没有门槛,不需要邀请码什么的就可以申请使用。稍微试用了一下感觉很爽,特意和大家分享一下。

在stacklab建立镜像

网址:http://stacklab.org/

点击Register注册,验证完邮箱以后登录。

在建立镜像以前先配置好Keypairs。

点击Create Keypair,名字随便填写就行了。完成可以得到一个pem文件。

在Security Groups中添加一个22端口的许可(起初是为了添加对ssh的许可,后来我发现好像不加也没有关系…这里大家随意吧)

在Images and Snapshots中选择一个喜欢的镜像,我这里选择的是CentOS6.2_x64,点击Launch。

这里的Keypair选择我们刚才创建的那个,其他的随便填写。

我创建了hmaster和hsalve两个镜像。

注意一下中间的Size里面Disk是0,这个没有关系,可以使用的。点击Public Domain可以看到连接命令。

比如


第一次登录输入一个yes接受ssh的证书。

登录以后输入passwd修改密码,这样就可以通过VNC登录了。

网页上的那个VNC经常失灵…最好还是用ssh吧。如果是用putty,先把pem转成ppk就行了。

使用CDH4搭建Hadoop

CDH4使用很方便,参考:https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation

先看一下主机名称和对应的IP,修改一下host。

执行


然后


再把Key加上


在hmaster上安装hadoop-yarn-resourcemanager


然后开始漫长的等待。

说实话速度真的有点慢…我登录将近一个上午才安装完成。

hmaster上面还要安装hadoop-hdfs-namenode、hadoop-hdfs-secondarynamenode

hsalve上面安装hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode hadoop-client

配置什么的就不介绍了…剩下的步骤没有什么大的区别。

写在最后

总的来说stacklab还是不错的,起码提供了一个平台让大家尝试一下。不过问题还是有的..

第一个就是语言,虽然不是大问题,但是既然有中文选项就不要给我显示英文呀…

第二个就是网速,安装东西很慢很慢…

第三个就是有时候会出现Connection closed by remote host,多试试就行了。

发表评论

电子邮件地址不会被公开。