Zainstaluj Hadoop na wielu węzłach przy użyciu Ubuntu 15.10

  • Yurii Anneticus
  • 0
  • 1649
  • 45

Przedmowa

Dajemy krótkie wprowadzenie do Hadoop w poprzednim samouczku, na dzień dzisiejszy nauczymy się instalować Hadoop na wielu węzłach, w scenariuszu demonstracyjnym będziemy używać Ubuntu 15.10 jako Desktop, utworzymy 2 węzły podrzędne lub węzły danych wraz z 1 węzłem nazwy. Upewnij się, że masz wspólne klucze publiczne ssh z węzłami danych i przypisz odpowiednie adresy IP, nazwę hosta i inne usługi Hadoop (wspomnimy w samouczku) wymagane do uruchomienia wielu węzłów klastra Hadoop.

Wymagania wstępne

będziemy używać Ubuntu 15.10 jako 1 węzła głównego, 2 węzłów Slave / danych. nazwą hosta dla namenode będzie masternode, węzły danych będą miały nazwę hosta slave1slave2 odpowiednio.

Masternode adres IP: 192.51.10.10

Adres IP Slave1: 192.51.10.11

Adres IP Slave2: 192.51.10.12

Konfiguracja

Proces wkraplania jest podobny do poprzedniego samouczka, z wyjątkiem kilku zmian. Przede wszystkim skonfigurujmy węzeł główny .

Zdefiniuj nazwę hosta Namenode

# vim / etc / hostname

Zdefiniuj hosty w / etc / hosts plik

# vim / etc / hosts

Przykładowe dane wyjściowe

127.0.0.1 localhost 192.51.10.10 masternode 192.51.10.11 slave1 192.51.10.12 slave2

Skonfiguruj usługi Hadoop

# cd / usr / local / hadoop / etc / hadoop /

Edytuj hdfs-site.xml

# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

Plik będzie wyglądał jak poniżej, zmień wartość replikacji na 3.

   dfs.replication  3     dfs.namenode.name.dir   file: /// usr / local / hadoop / hadoopdata / hdfs / namenode  

Upewnij się, że posiadasz namenode katalog pod / usr / local / hadoop

# mkdir -p / usr / local / hadoop / hadoopdata / hdfs / namenode # sudo chown -R hadoop: hadoop / usr / local / hadoop /

Podobnie edytuj yarn-site.xml, to będzie wyglądać jak poniżej, upewnij się, że odpowiednio przypisałeś nazwę hosta masternodu

# vim yarn-site.xml

Przykładowe dane wyjściowe

   yarn.nodemanager.aux-services  mapreduce_shuffle    yarn.resourcemanager.scheduler.address  masternode: 8030    yarn.resourcemanager.address  masternode: 8032     yarn.resourcemanager.webapp.address   masternode: 8088     yarn.resourcemanager.resource-tracker.address   masternode: 8031     yarn.resourcemanager.admin.address   masternode: 8033  

Upewnij się, że plik core-site.xml ma odpowiednią nazwę hosta

Utwórz plik o nazwie niewolnicy pod / usr / local / hadoop / etc / hadoop katalogu i przypisz nazwy hostów do węzłów danych

# vim / usr / local / hadoop / etc / hadoop / slaves

Umieść następujące wpisy

slave1 slave2

Podobnie utwórz plik o nazwie mistrzowiew tej samej hierarchii katalogów

# vim / usr / local / hadoop / etc / hadoop / masters

Wpisz następujące

masternode

Na tym etapie mamy działający węzeł główny, stwórzmy 2 węzły slave. Stworzyliśmy dwie maszyny wirtualne do klonowania za pomocą VirtualBox, pierwszy klon to slave1, a drugi stożek to slave2, ponieważ ta maszyna jest klonem Masternode więc będziemy mieć wszystkie pliki konfiguracyjne Hadoop (.xml) w formie gotowej do użycia.

Podobieństwo tworzy kolejny klon dla slave2 datanode.

Zmień adres IP na 192.51.10.11

Zmień nazwę hosta na slave1 i uruchom ponownie system. Uzupełnij proces dla innego klonu VirtualBox, który będzie używany jako slave2,przypisać adres IP 192.51.10.12 do slave2.

Nazwę mamy jeden NameNode (masternode) z adresem IP 192.51.10.10 i dwoma datanodes (slave1, slave2).

Teraz przełącz się z powrotem na węzeł główny i udostępnij klucze ssh rsa dla slave1 i slave2, aby nie było potrzeby haseł ssh.

# ssh-keygen -t rsa # ssh [chroniony adres e-mail] "chmod 755 .ssh; chmod 640 .ssh / autoryzowane_klucze" # cat .ssh / id_rsa.pub | ssh [chroniony adres e-mail] 'cat >> .ssh / autoryzowane_klucze' # ssh [chroniony adres e-mail] "chmod 755 .ssh; chmod 640 .ssh / autoryzowane_klucze"

Zrestartuj wszystkie trzy systemy, aby upewnić się, że wszystko idzie gładko.

Edytuj plik hdfs-site.xml węzłów danych slave1 i slave2, upewnij się, że masz następujące wpisy

     dfs.data.dir    file: /// usr / local / hadoop / hadoopdata / hdfs / datanode  

Stwórz  / usr / local / hadoop / hadoopdata / hdfs / datanode informatorna obu węzłach danych

# mkdir -p / usr / local / hadoop / hadoopdata / hdfs / datanode # chown -R hadoop: hadoop / usr / local / hadoop /

Przejdź do Masternode i uruchom usługi uruchamiania węzła

# cd / usr / local / hadoop / sbin && ls

Uruchom wszystkie usługi węzłów

# ./start-all.sh

Widzimy, że oba węzły danych (slave1, slave2) działają poprawnie.

Uruchom komendę jps na Masternode

# jps

Przykładowe dane wyjściowe

8499 SecondaryNameNode 8922 Jps 8650 ResourceManager

Przełącz się na Slave1 i ponownie uruchom komendę jps

# ssh [chroniony adres e-mail]

# jps

Przykładowe dane wyjściowe, działa datanode

4373 DataNode 4499 NodeManager 4671 Jps

Podobnie w przypadku slave2 datanode działa doskonale

Na tym etapie proces instalacji wielowęzłowego klastra Hadoop jest zakończony.

Otwórz przeglądarkę i wpisz

http://192.51.10.10:8088/cluster/nodes

Taht

Otóż ​​to! Baw się dobrze!!




Jeszcze bez komentarzy

Zbiór przydatnych informacji o systemie operacyjnym Linux i nowych technologiach
Świeże artykuły, praktyczne wskazówki, szczegółowe recenzje i poradniki. Poczuj się jak w domu w świecie systemu operacyjnego Linux