<p id="9bn5v"></p>

<menuitem id="9bn5v"></menuitem>

    <nobr id="9bn5v"><thead id="9bn5v"><i id="9bn5v"></i></thead></nobr>
    <menuitem id="9bn5v"></menuitem>
    <menuitem id="9bn5v"><thead id="9bn5v"><i id="9bn5v"></i></thead></menuitem>
    <nobr id="9bn5v"></nobr>
    <menuitem id="9bn5v"></menuitem>

      <nobr id="9bn5v"><delect id="9bn5v"></delect></nobr>

      大數據 | 基于Windows平臺搭建hadoop偽分布式集群(上篇)

      2021-06-03 16:35:28 閱讀量:


      \
      ▲作者:泰克教育講師李剛強
       
      01
      前情
       
      本人在高校擔任大數據講師四年,期間遇到過一些棘手的問題,比如,高職院校需要購買大數據設備,但設備費用昂貴,那么在資金困難、學生數量眾多的情況下,怎么解決這個問題呢?

      這個時候我們就可以利用筆記本自己手動搭建大數據平臺,這樣不僅可以減輕高校的經濟壓力,同時學生也能夠從底層了解大數據組件的架構原理,工作機制以及實現模式,兩全其美。
       
      現在我根據4年的教學經驗在手動搭建平臺方面做個簡單的總結,希望對需要的人有所幫助。
       
      02
      需要的組件和工具
       
      1、Windows7、Windows10所有版本,建議使用Win10專業版本;
      2、VMware Workstation Pro、Centos6.4 (本文檔使用Centos6.4操作系統);
      3、遠程工具SecureCRTPortable,用于遠程連接集群(根據個人喜好使用XShell、WinSCP都可以) 這里不做限制;
      4、Linux版本的JDK1.8以上;
      5、hadoop組件,版本建議不要太高,我這里使用的是hadoop2.5.6,需要注意后期與其他組件的搭建是否兼容。
       
      03
      安裝虛擬機
       
      軟硬件需求
      1、操作系統:Windows 7或更高版本;
      2、硬件需求:內存8G以上內存,500G以上硬盤;
      3、軟件:
      1)虛擬機軟件:VMware Workstation 12.exe以及激活密鑰
      2)系統鏡像:CentOS-7-x86_64-DVD-1708.iso
      3)ssh工具:SecureCRT
      4)注:虛擬機到安裝參考《基于Windows平臺搭建hadoop偽分布式集群之虛擬機安裝》
       
      04
      搭建hadoop偽分布式環境
       
      1、修改主機名vi /etc/sysconfig/network,添加如下信息。
      NETWORKING=yes
      HOSTNAME=hadoop[主機名]
       
      2、修改網卡信息:vi /etc/sysconfig/network-scripts/ifcfg-eth0,其他的刪除后留以下信息。
      DEVICE=eth0
      TYPE=Ethernet
      ONBOOT=yes
      BOOTPROTO=static
      IPADDR=192.168.100.110[這是本機IP地址]
      NETMASK=255.255.255.0
      GATEWAY=192.168.100.2
      DNS1=202.106.0.20
      # DNS2=114.114.114.114
      # DNS3=8.8.8.8
       
      3、重啟網卡服務:service  network  restart
      4、使用SecureCRTPortable進行遠程鏈接,如圖,連接成功后輸入密碼即可登錄。
       
      \
       
      5、主機名和IP地址的映射關系:vi /etc/hosts,編輯該文件后添加如下內容,將原本的localhost去掉。
      192.168.100.110  hadoop
       
      6、關閉防火墻
      1、開啟端口(推薦):vi /etc/sysconfig/iptables;
      2、永久性關閉防火墻:chkconfig iptables off(需重啟才生效,建議將防火墻永久性關閉);
      3、臨時關閉防火墻:service iptables stop;
       
      7、安裝JDK
      1、查看默認:rpm -qa | grep java
      2、卸載默認jdk:rpm -e --nodeps jdk1 jdk2 ……
      3、進入/usr/local目錄下創建一個bigdata文件夾
      4、進入bigdata創建一個jdk的文件夾用于解壓jdk,使用遠程工具把linux版本的jdk上傳到jdk目錄中進行解壓。
      5、解壓后配置環境變量:編輯/etc/profile/文件,vi /etc/profile,在文件底部添加如下信息:
      export JAVA_HOME=/usr/local/bigdata/jdk/jdk1.8.0_11
             export PATH=$JAVA_HOME/bin:$PATH
      6、重新加載環境變量:source  /etc/profile
      7、驗證:輸入java -version
       
      8、安裝hadoop(偽分布式)
       
      8.1、進入/bigdata目錄下,
      創建hadoop文件夾,將使用遠程工具上傳過來的hadoop解壓到/bigdata目錄下的/hadoop目錄中,簡單介紹幾個hadoop的解壓目錄:
      sbin:存放啟動和停止腳本目錄
      bin:存放相關服務(HDFS,YARN)操作腳本目錄
      etc:存放配置文件目錄
      share:存放依賴包和文檔目錄
      lib:存放本地庫目錄
       
      \
       
      8.2、配置:進入hadoop的解壓目錄下的/etc/hadoop/目錄中修改5個配置文件即可;


      8.2.1、hadoop-env.sh修改JAVA_HOME路徑(大約在第25行)
      export JAVA_HOME=/usr/local/bigdata/jdk/jdk1.8.0_11[JDK的解壓路徑]

      8.2.2、core-site.xml在<configuration>里面添加如下
      <!--配置hdfs的namenode的地址-->
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop:9000</value> [說明:這里hadoop是主機名,做了映射的話用IP地址和主機都可以的]
      </property>
      <!--配置運行時產出數據存儲目錄,不是臨時數據,可選項-->
      <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hadoop2.5.6/hadoop_tmp /</value>
      ( hadoop_tmp是臨時存放數據的,不能用于存放hadoop的數據,所以這里要更改)
      </property>  

      8.2.3、hdfs-site.xml在<configuration>里面添加如下
      <!--指定hdfs保存數據的副本數量-->
      <property>
      <name>dfs.replication</name>
      <value>1</value>
      </property>   

      8.2.4、將mapred-site.xml.template修改為mapred-site.xml(使用mv命令),在mapred-site.xml在<configuration>里面添加如下
      <!--告訴hadoop以后MR(Map/Reduce)運行在YARN上-->
      <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
      </property>

      8.2.5、yarn-site.xml在<configuration>里面添加如下
      <!--nomenodeManager獲取數據的方式是shuffle-->
      <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
      </property>
      <!--指定Yarn的老大(ResourceManager)的地址-->     
      <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>hadoop </value>[說明:hadoop是主機名]
      </property>

       
      8.3、設置免密登錄

      1、進入 /etc/ssh/目錄下,編輯文件sshd_config文件
      2、將以下幾行內容前面的#去掉
      #RSAAuthentication yes
        #PubkeyAuthentication yes
        #AuthorizedKeysFile      .ssh/authorized_keys
      3、去掉#號之后,保存文件,重啟ssh服務:service sshd restart
      4、生成公鑰:ssh-keygen -t rsa
      5、復制公鑰給主機:ssh-copy-id hadoop[主機名]

       
      8.4、hadoop初始化

      輸入命令:hadoop  namenode  –format 即可進行初始化,初始化完成查看有無successfully,有則初始化成功。
       
      8.5、啟動服務

      輸入命令:start-all.sh,啟動全部節點 
       
      8.6、查看進程:jps

      有如下進程則代表hadoop偽分布式搭建成功
      NameNode   SecondaryNamendoe   ResourceManager  DataNode    NodeManager

       
      8.7、Web端訪問

      打開火狐瀏覽器,在地址欄輸入http://192.168.100.110:50070[這是hdfs的訪問地址]
      重新打開頁面輸入http://192.168.100.110:8088[這是yarn的訪問地址]
       
      注意:如果無法訪問,考慮防火墻是否關閉。
       
      未完待續
      END

       

      歡迎加入到IE大家庭
      這里有無數個IE人等待你來
      共同勾勒IE王國藍圖
      既已決定,就可行動
      ▼▼▼
       點擊咨詢
       

      一级毛片一级毛片,毛片毛片毛片,一级做α爱毛毛片,一级毛毛片,一级做a爱片性色毛片