Apache Falcon: nova plataforma de gestió de dades per a l’ecosistema Hadoop

Apache Falcon és una nova plataforma de gestió de dades per a l’ecosistema Hadoop que simplifica el processament i la gestió de pinsos integrats en clústers de hadoop. Obteniu informació sobre com es configura.



Apache Falcon és un marc per gestionar el cicle de vida de les dades en clústers Hadoop. Estableix la relació entre diverses dades i elements de processament en un entorn Hadoop i també proporciona serveis de gestió de feeds com ara retenció de feeds, rèpliques a través de clústers, arxiu, etc.



Anem a parlar primer de com configurar Apache Falcon. Executeu l'ordre següent per descarregar el repositori git de Falcon:

Comandament: git clon https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Per executar falcon, primer heu de construir-lo.

Comandament: cd falcon



Comandament: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Comandament: mvn clean assembly: assembly -DskipTests -DskipITs

Un cop hàgiu creat falcon, trobareu un paquet de falcon al directori / falcon / distro / target /.

Les ordres per construir falcon semblen molt fàcils, però us enfrontareu a molts problemes abans de veure el missatge Build Build. M’he enfrontat a molts problemes mentre el construïa per a Hadoop-2.2.0

Per tant, per saltar-vos el dolor de construir Falcon, us dono un paquet de falcons construït amb èxit, que podeu descarregar mitjançant l’enllaç següent.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Descomprimiu el fitxer per obtenir el directori falcon-0.10.

Comandament: descomprimir falcon-0.10-SNAPSHOT.zip

Estableix les variables d'entorn de flacon al fitxer .bashrc.

Comandament: sudo gedit .bashrc

clonació profunda i clonació superficial a Java

Comandament: font .bashrc

Podeu anar al directori falcon i veure els fitxers i directoris que hi ha al seu interior.

Comandament: cd falcon-0.10-SNAPSHOT /

Comandament: ls

Podeu trobar scripts falcon dins del directori bin.

Executeu l'ordre següent per iniciar Falcon.

Comandament: ./bin/falcon-start

Veureu un nou dimoni FalconServer que s’executa ara.

Ordre: jps

Comandament: ./bin/falcon administrador -versió

Obriu el navegador i aneu a localhost: 15000 . Podeu veure Falcon web ui.

Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.

Articles Relacionats:

Drilling Down on Apache Drill