Instal·lació d’Apache Hive a Ubuntu

En aquest bloc coneixerem la instal·lació d’Apache Hive a Ubuntu i els conceptes sobre Hadoop Hive, Hive sql, base de dades Hive, servidor Hive i instal·lació Hive.

Apache Hive és un dels marcs més importants de l’ecosistema Hadoop, que al seu torn el fa molt crucial . En aquest bloc, aprendrem sobre la instal·lació d’Apache Hive i Hive a Ubuntu.



Què és Apache Hive?

Rusc Apache és una infraestructura de magatzem de dades que facilita la consulta i la gestió de grans conjunts de dades que resideixen en un sistema d'emmagatzematge distribuït. Està construït sobre Hadoop i desenvolupat per Facebook. Rusc proporciona una manera de consultar les dades mitjançant un llenguatge de consulta similar a SQL HiveQL (llenguatge de consulta Hive).



Internament, un compilador tradueix HiveQL declaracions a MapReduce treballs, que després s’envien a Marc Hadoop per a l'execució.

Diferència entre Hive i SQL:

Rusc té un aspecte molt similar a la base de dades tradicional amb SQL accés. No obstant això, perquè Rusc està basat en Hadoop i MapReduce operacions, hi ha diverses diferències clau:



As Hadoop està pensat per a exploracions seqüencials i llargues Rusc està basat en Hadoop , esperareu que les consultes tinguin una latència molt alta. Vol dir això Rusc no seria adequat per a aquelles aplicacions que necessiten temps de resposta molt ràpids, com podeu esperar amb una base de dades RDBMS tradicional.

Finalment, Rusc es basa en la lectura i, per tant, no és adequat per al processament de transaccions que normalment impliquen un alt percentatge d’operacions d’escriptura.

què és una aplicació a Salesforce

Instal·lació de Hive a Ubuntu:

Seguiu els passos següents per instal·lar-los Rusc Apache a Ubuntu:



Pas 1: descarregar Quitrà de rusc.

Comandament: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

Pas 2: Extraieu el fitxer quitrà dossier.

Comandament: tar -xzf apache-hive-2.1.0-bin.tar.gz

Comandament: ls

Untar Hive File - Hive Installation - Edureka

Pas 3: Editeu el fitxer '.Bashrc' per actualitzar les variables d'entorn per a l'usuari.

Comandament: sudo gedit .bashrc

Afegiu el següent al final del fitxer:

# Estableix HIVE_HOME

exporta HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
exporta PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

A més, assegureu-vos que el camí hadoop també estigui definit.

Executeu l'ordre següent perquè els canvis funcionin al mateix terminal.

Comandament: font .bashrc

Pas 4: Comproveu la versió del rusc.

c ++ salta a la línia

Pas 5: Crear Rusc directoris dins HDFS . El directori 'Magatzem' és la ubicació per emmagatzemar la taula o les dades relacionades amb el rusc.

Comandament:

  • hdfs dfs -mkdir -p / usuari / rusc / magatzem
  • hdfs dfs -mkdir / tmp

Pas 6: Definiu els permisos de lectura / escriptura de la taula.

Comandament:

En aquesta ordre, donem permís d’escriptura al grup:

  • hdfs dfs -chmod g + w / usuari / rusc / magatzem
  • hdfs dfs -chmod g + w / tmp

Pas 7: Conjunt Hadoop camí a h ive-env.sh

Comandament: cd apache-hive-2.1.0-bin /

Comandament: gedit conf / hive-env.sh

Establiu els paràmetres tal com es mostra a la instantània següent.

Pas 8: Edita hive-site.xml

Comandament: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string per a un metastore JDBC. Per utilitzar SSL per xifrar / autenticar la connexió, proporcioneu el senyalador SSL específic de la base de dades a l'URL de connexió. Per exemple, jdbc: postgresql: // myhost / db? Ssl = true per a la base de dades postgres. hive.metastore.warehouse.dir / user / hive / magatzem ubicació de la base de dades per defecte per al magatzem hive.metastore.uris Thrift URI per al metastore remot. Utilitzat pel client metastore per connectar-se a metastore remot. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Nom de la classe de controlador per a un metastore JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory que implementa la jdo persistent

Pas 9: Per defecte, fa servir Hive Derby base de dades. Inicialitzeu la base de dades Derby.

Comandament: bin / schematool -initSchema -dbType derby

Pas 10 :Llançament Rusc.

anul·lació i sobrecàrrega a Java

Comandament: rusc

Pas 11 :Executeu poques consultes a l'intèrpret d'ordres Hive.

Comandament: mostrar bases de dades

Comandament: crear empleat de taula (cadena d'identificació, cadena de nom, cadena dept) camps delimitats en format de fila acabats per '' emmagatzemat com a fitxer de text

Comandament: mostrar taules

Pas 12: Per sortir de Rusc:

Comandament: sortir

Ara que heu acabat la instal·lació de Hive, el següent pas endavant és provar les ordres de Hive a l'intèrpret d'ordres de Hive. Per tant, el nostre proper bloc ' Comandaments principals de rusc amb exemples en HQL ”Us ajudarà a dominar les ordres de Hive.

Articles Relacionats:

Com executar Hive Scripts?

Ordres del rusc

Introducció a Apache Hive