Comissió i desactivació de nodes en un clúster Hadoop

Sabeu com afegir o eliminar nodes en un clúster Hadoop? Aquí teniu una publicació de bloc per fer-la: posada en funcionament i desactivació de nodes en un clúster Hadoop.

Una de les característiques més atractives del framework Hadoop és la seva utilització de maquinari bàsic . Tot i això, això provoca bloquejos freqüents de DataNode en un clúster Hadoop. Una altra característica sorprenent de Hadoop Framework és el facilitat d’escala d’acord amb el ràpid creixement del volum de dades . Per aquestes dues raons, una de les tasques més habituals d’un administrador d’Hadoop és fer-ho comissió (Afegeix) i desmantellament (Eliminar) nodes de dades en un clúster Hadoop.



com utilitzar un iterador a Java

Posada en funcionament i desactivació de nodes en un clúster Hadoop:

Desactivació (eliminació) de nodes de dades en un clúster Hadoop



El diagrama superior mostra un procés pas a pas per donar de baixa un DataNode al clúster.

La primera tasca és actualitzar excloure ‘Fitxers per a tots dos HDFS (hdfs-site.xml) i MapReduce (mapred-site.xml).



El fitxer 'exclou':

  • per al buscador de llocs de treball conté la llista d'amfitrions que el responsable de treball hauria d'excloure. Si el valor està buit, no s'exclouen cap amfitrió.
  • per a Namenode conté una llista d'amfitrions als quals no se'ls permet connectar-se al Namenode.

Aquí teniu la configuració de mostra del fitxer d’exclusió a hdfs-site.xml i mapred-site.xml:

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / exclou
cert

mapred-site.xml


exclou mapred.hosts.
/ home / hadoop / exclou
cert

Nota: Cal especificar la ruta completa dels fitxers.

De la mateixa manera, tenim els fitxers 'inclou':

  • per al buscador de llocs de treball que conté la llista de nodes que es poden connectar al JobTracker. Si el valor està buit, es permeten tots els amfitrions.
  • per a Namenode que conté una llista d'amfitrions que tenen permís per connectar-se al Namenode. Si el valor està buit, es permeten tots els amfitrions.

El ‘ dfsadmin 'I' mradmin ’Actualitza la configuració amb els canvis per fer-los conscients del nou node.

El ‘ esclaus ’Al servidor principal conté la llista de tots els nodes de dades. Això també s'ha d'actualitzar per assegurar qualsevol problema en el futur inici / aturada del dimoni hadoop.

El pas important en el procés de comissió de nodes de dades és executar el Cluster Balancer.

> equilibri hadoop-llindar 40

Equilibrador intenta proporcionar un saldo a un llindar determinat entre els nodes de dades mitjançant la còpia de dades de blocs de nodes antics a nodes recentment posats en servei.

Així doncs, així es pot fer - Posada en marxa i Desmantellament Nodes en un clúster Hadoop.

Tens alguna pregunta? Esmenta’l a la secció de comentaris i et respondrem.

Enllaços relacionats: