月度归档: 2012 年 10 月

  • 在stacklab上搭建Hadoop平台

    在stacklab上搭建Hadoop平台

    什么是stacklab

    stacklab是中国开源云联盟(COSCL)和中国OpenStack用户组(COSUG)联合成立OpenStack实验室,简单的来说就是一个免费申请和使用OpenStack的平台,和国外的那个TryOpenstack有点像,不过stacklab没有门槛,不需要邀请码什么的就可以申请使用。稍微试用了一下感觉很爽,特意和大家分享一下。

    在stacklab建立镜像

    网址:http://stacklab.org/

    点击Register注册,验证完邮箱以后登录。

    在建立镜像以前先配置好Keypairs。

    点击Create Keypair,名字随便填写就行了。完成可以得到一个pem文件。

    在Security Groups中添加一个22端口的许可(起初是为了添加对ssh的许可,后来我发现好像不加也没有关系…这里大家随意吧)

    在Images and Snapshots中选择一个喜欢的镜像,我这里选择的是CentOS6.2_x64,点击Launch。

    这里的Keypair选择我们刚才创建的那个,其他的随便填写。

    我创建了hmaster和hsalve两个镜像。

    注意一下中间的Size里面Disk是0,这个没有关系,可以使用的。点击Public Domain可以看到连接命令。

    比如

    ssh -i hmaster.pem -p11011 [email protected]

    第一次登录输入一个yes接受ssh的证书。

    登录以后输入passwd修改密码,这样就可以通过VNC登录了。

    网页上的那个VNC经常失灵…最好还是用ssh吧。如果是用putty,先把pem转成ppk就行了。

    使用CDH4搭建Hadoop

    CDH4使用很方便,参考:https://ccp.cloudera.com/display/CDH4DOC/CDH4+Installation

    先看一下主机名称和对应的IP,修改一下host。

    执行

    wgethttp://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.noarch.rpm

    然后

    yum--nogpgchecklocalinstallcloudera-cdh-4-0.noarch.rpm

    再把Key加上

    rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

    在hmaster上安装hadoop-yarn-resourcemanager…