快乐学习
前程无忧、中华英才非你莫属!

小白也能玩转大数据集群

前言:

本人是力求完美,下载的是最适合做服务器的centos最新版的精简版本。因为环境有限,只能用虚拟机给大家搭建虚拟大数据集群。

因为时代在进步,观点在改变,通过手动改配置文件,集成JAR包的热情已经过去了,假设说真让你接手阿里巴巴的1万台节点服务器的管理,难道要挨个手工配置么,哥们这样你很容易就过劳死~

我们是程序猿,就应该杜绝过劳死,哈哈哈,于是乎神一样的利器诞生了:Ambari 

她(Ambari  )是个什么东东?

Ambari™:用于配置,管理和监控Apache Hadoop集群的基于Web的工具,包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。Ambari还提供了一个用于查看群集健康的仪表板,如热图,以及以视觉方式查看MapReduce,Pig和Hive应用程序的功能,以便以用户友好的方式诊断其性能特征。

一、Ambari 下载 和安装

集群初始环境介绍:1、CentOS-7-x86_64-Minimal-1511.iso  

                             2、Ambari 2.4.2  

                             3、VMware11.2 (已破解成功,就不建议玩最新的了。不好破解)

                             4、  三台主机 ambari1(192.168.1.205)、ambari2(192.168.1.206) 、ambari3((192.168.1.207) )    搭建成微集群。(保证三台集群ssh无障碍,并且都关闭防火墙。) 

                             5、桥接模式(保证访问外网通常,能够支持下载和安装)

                          

1、修改IP:

   ip route list /#查看路由表。   cd /etc/sysconfig/network-scripts/ #进入网络配置文件目   vi ifcfg-eno16777736 #编辑配置文件,添加修改以下内容

   (只改IPADDR就可以,其他参数可以百度自行脑补)

   

         service network restart #重启网络ping www.baidu.com #测试网络是否正常

2、分别修改三台主机名和配置hosts文件(经常运维的小伙伴肯定知道有批量配置主机名和hosts的工具!这里不做解释,自行百度补脑,这里依然手工!):

hostnamectl set-hostname  ambari1 

 vi   /etc/hosts    为ambari1 、ambari2,ambari3。

192.168.1.205   ambari1

192.168.1.206   ambari2

192.168.1.207   ambari3

(期间如果出现缓存文件,到缓存文件的目录下执行:rm .f1.swp    然后提示 rm: remove regular file `.f1.swp'? y(打y 就是yes 删除) 

3、关闭防火墙(略)精简版无防火墙。

4、之前配置集群间ssh公钥之间的来回复制真是一个招人烦,通过不懈的努力终于找到一键ssh通(不管什么规模的集群):

  •     首先在每个节点安装:   yum -y install expect

  •   在每个节点上创建: /root 下 mkdir script

  •   vi /etc/ssh/ssh_config

  •   #StrictHostKeyChecking ask  //取消注释并把ask 修改为no

  •   将auto_ssh文件夹上传到192.168.1.205机器的 根节点上。并把此文件夹和以下文件都给777执行权限。

  •    在ip.txt中输入各节点ip地址,一行一个ip、修改scp_to_cluster.sh和copy_id.sh的服务器用户名和密码。

  •     进入 /auto_ssh 文件夹下执行:#./distribute_file.sh ../auto_ssh /root/script

以下是一键万能批量脚本打通ssh免密码登陆:

                                 

auto_ssh.rar

5、确保 home 目录的写权限,777就可以了。

6、 登录到 Linux 主机并执行下面的命令(也可以自己手工下载)

  wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo

精简版提示未安装wget:三台机器分别 安装wget:yum -y install wget

剪切文件:mv ambari.repo  /etc/yum.repos.d/

将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。

1 yum clean all
2 yum list|grep ambari

  

如果可以看到 Ambari 的对应版本的安装包列表,说明公共库已配置成功。然后就可以安装 Ambari 的 package 了。执行下面的命令安装 Ambari Server 到该机器。

1 yum install ambari-server

  

待安装完成后,便需要对 Ambari Server 做一个简单的配置。执行下面的命令。

1 amari-server setup

  

在这个交互式的设置中,采用默认配置即可。Ambari 会使用 Postgres 数据库,默认会安装并使用 Oracle 的 JDK。默认设置了 Ambari GUI 的登录用户为 admin/admin。并且指定 Ambari Server 的运行用户为 root。

  

简单的 setup 配置完成后。就可以启动 Ambari 了。运行下面的命令。

1 ambari-server start

  

当成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以本文环境为例,在浏览器的地址栏输入 http://www.namenode.zgw:8080,登录密码默认为 admin/admin

http://blog.csdn.net/yeruby/article/details/49618933  遇到的坑!

打赏
赞(0) 打赏
未经允许不得转载:同乐学堂 » 小白也能玩转大数据集群

特别的技术,给特别的你!

联系QQ:1071235258QQ群:710045715

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

error: Sorry,暂时内容不可复制!