上一篇使用PXE安装了集群的操作系统,接下来配置一下各个主机,以及安装Hadoop。本文不会讲解Hadoop搭建以及配置,网上以及官方文档有很详细的解释,按照版本和不同情况配置就好。shell脚本在ubuntu下运行,需要通用的话还需要修改一点内容,所以也就直接贴在这不放github了。

初始化脚本

首先是系统安装完的初始化脚本,脚本中设置hostname、IP、DNS,因为PXE安装完apt更新源地址设成了当时的安装服务器,现在还需要把它改成ubuntu官方中国镜像地址,然后安装sshd,产生ssh的key并加入到本地登录,最后下载下一步安装hadoop的脚本。这里有一点,网上有163提供的ubuntu镜像地址,但是貌似现在有坑,比如sshd就不能正常安装,原因不知。

脚本通过wget获取需要的文件,其中配置文件和脚本都放在web服务器的conf目录下面,我的地址是http://192.168.1.230/conf/。下面有更新源地址sources.list文件、网卡设置interfaces文件。

下面是sources.list文件和interfaces文件。interfaces根据情况修改。

JDK、Hadoop、Mahout下载安装

安装包位置根据脚本中webserver变量设置,包名也在里面写着都可以修改。另外还需要环境变量配置脚本java.sh,会自动下载后放在/etc/profile.d/。

这个脚本使用source install.sh执行,要不然最后一句不起作用需要手动运行最后一句。

java.sh脚本还是放到服务器conf目录中。

把主节点的ssh公钥发到从节点

这个在主节点跑,除了发送公钥外,一并取得其hostname并加入到主节点的hosts文件里。

主节点hosts分发到从节点

根据本地hosts自动分发下去。

后面只需要配置好主节点的haoop的xml文件,然后写个类似于上面的分发脚本就可以了。