Exemples de rusc i fil a Spark

En aquest bloc, executarem exemples de Hive and Yarn a Spark. En primer lloc, creeu Hive and Yarn a Spark i després podeu executar exemples de Hive and Yarn a Spark.



Hem après a fer-ho Construeix Hive and Yarn a Spark . Ara provem exemples de Hive and Yarn a Spark.



Learn-Spark-Now

Exemple de rusc a Spark

Executarem un exemple d’Hive on Spark. Crearem una taula, carregarem les dades en aquesta taula i executarem una consulta senzilla. Quan es treballa amb Hive, s’ha de construir un HiveContext que hereta de SQLContext .



Comandament: cd spark-1.1.1

Comandament: ./bin/spark-shell



Creeu un fitxer d'entrada 'Mostra' al directori inicial tal i com es mostra a continuació (separada per pestanyes).

Comandament: val sqlContext = nou org.apache.spark.sql.hive.HiveContext (sc)

Comandament: sqlContext.sql (prova 'CREA TAULA SI NO EXISTEIX (nom STRING, rang INT) FORMAT DE FILA CAMPS DELIMITATS TERMINATS PER' 'LÍNIES TERMINADES PER
' ')

Comandament: sqlContext.sql ('CARREGAR DADES LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')

Comandament: sqlContext.sql ('SELECCIONA * DE la prova WHERE classificació<5”).collect().foreach(println)

Exemple de fil a Spark

Executarem l'exemple de SparkPi a Yarn. Podem desplegar Yarn on Spark en dos modes: mode clúster i mode client. En mode de clúster de filats, el controlador Spark s'executa dins d'un procés mestre d'aplicacions que gestiona Yarn al clúster i el client pot desaparèixer després d'iniciar l'aplicació. En mode client-fil, el controlador s'executa en el procés client i el mestre d'aplicacions només s'utilitza per sol·licitar recursos de Yarn.

Comandament: cd spark-1.1.1

Comandament: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Després d'executar l'ordre anterior, espereu una estona fins que obtingueu ÈXIT missatge.

Navega localhost: 8088 / cluster i feu clic a l'aplicació Spark.

Fer clic a registres .

Fer clic a stdout per comprovar la sortida.

system.exit (0) es pot utilitzar per finalitzar el programa.

Per desplegar Yarn on Spark en mode client, només cal que feu –Deploy-mode com 'Client'. Ara ja sabeu com construir Hive and Yarn a Spark. També els vam fer pràctiques.

Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.

Articles Relacionats

Apache Spark amb Hadoop: per què és important?

Rusc i fils s’electrificen amb Spark