快乐学习
前程无忧、中华英才非你莫属!

MapReduce编程入门

一、配置环境

     1、下载Hadoop

          从官网http://hadoop.apache.org/  直接下载。

          推荐国内可下载地址:http://mirrors.hust.edu.cn/apache/、http://mirror.bit.edu.cn/apache/

     图解:

      

         如果有人嫌弃社区版本的Hadoop集群配置繁琐,可以装CDH版本的,个人建议还是安装社区版本的,然后后续跟各个组件结合搭建出自己的大数据处理环境,享受软件配置的过程,哈哈,这才能成为高手中的高手!

        

         我的基础测视环境是(Myeclipse10.7+Hadoop2.6.0+Centos7+jdk1.7+VMware12)

        2、安装hadoop  

          部署方式:  1、本地模式(一台机器下运行) 

                            2、伪分布模式 (学习用到的)  

                            3、集群模式(工作中用到的)

             

             集群模式安装步骤:1、关闭防火墙 :service iptables stop                                 centos7版本:   systemctl stop firewalld.service

                                          2、关闭防火墙的自动开启 :chkconfig iptables off              centos7版本:   systemctl disable firewalld.service

                                          3、设置ssh自动登录 (就是集群之间ssh的公钥共享,让ssh通信无障碍。方便hadoop的沟通~)

                                          4、安装jdk117并配置好她的path和home环境。

                                          5、从官网下载的Hadoop2.6.0压缩包,解压到centos7 上,并且配置好它的path和home环境变量。

                                          6、 接下来就是配置hadoop里面的各种xml文件按照此博客(http://www.cnblogs.com/yjmyzz/p/4280069.html  )配置就行。  亲测可用~     

                                          7、在hadoop的bin目录下执行>hdfs namenode -format 第一次安装要格式化节点。

                                          8、启动hadoop命令:start-dfs.sh  

                                          9、启动hadoop 的yarn调度器:start-yarn.sh     

                                          10、查看集群状态:hdfs dfsadmin -report

           

        3、配置开发环境       

          配置Myeclipse 开发环境(亲测可用!):

                                         1、 hadoop 配置eclipse :http://my.oschina.net/muou/blog/408543 (备注 :配置myeclipse 稍微不一致的是放到 D:\MyEelipse\MyEclipse 10\dropins)

                                              (备注:博客里由编译hadoop跟eclipse的插件,我尝试编译了一下出错,果断在CSDN下了一个插件,直接就可以用爽歪歪~)

                                           

                                        2、 Win下Eclipse提交hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied

                                               解决:hadoop权限问题:hadoop fs -chmod 777 /user/root/  给777权限

       4、如何在Hadoop上编写MapReduce程序

      

            http://dongxicheng.org/mapreduce/writing-hadoop-programes/

二、MapReduce编程入门

   1、熟悉hadoop2.6API :http://hadoop.apache.org/docs/r2.6.0/api/*(开发首先了解Api)

   2、初级案例:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html   有详细的注释和图解,最好的入门案例没有更好只有最好~。

   3、Hadoop MapReduce应用开发:http://siyuan-zhu.iteye.com/blog/2036352(介绍了MapReduce实战总体流程)

打赏

未经允许不得转载:同乐学堂 » MapReduce编程入门

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

特别的技术,给特别的你!

联系QQ:1071235258QQ群:226134712
error: Sorry,暂时内容不可复制!