Big Data i ETL són familiars

En aquest bloc, veurem la relació entre Big Data i ETL. Talend és l’eina que s’utilitza àmpliament per connectar Big Data i ETL.



El Big Data ha estat realment prou publicitari en els darrers temps, així com els professionals qualificats que en tenen coneixement. No utilitzar les vostres habilitats primàries i començar des del punt zero no sempre és una feina fàcil. No obstant això, utilitzar els talls quadrats i adaptar-se a les botes farà meravelles per a vosaltres. Bingo, parlem d’aprendre el Big Data mitjançant la tecnologia ETL.



Els desenvolupadors d'ETL que dissenyen fluxos de treball de transformació de dades poden utilitzar eines i traduir els fluxos de treball a feines Hadoop. Hadoop és un marc de codi obert que s’utilitza àmpliament per processar BigData mitjançant el programa MapReduce (que és una altra tecnologia de codi obert que ajuda a processar grans quantitats de dades a Hadoop). La majoria de les vegades, trobar recursos qualificats a Big Data pot ser un repte.

Si un desenvolupador d’ETL ha de trobar adreces IP que han fet més d’un milió de sol·licituds al lloc web del banc, ha d’escriure un treball MapReduce que processa les dades de registre web emmagatzemades a Hadoop . Tanmateix, amb l’avenç en la tecnologia ETL, un desenvolupador de treballs pot utilitzar les eines de disseny ETL estàndard per crear un flux ETL que pugui llegir dades de diverses fonts a Hadoop (Files, Hive, HBase), unir-les, agregar-les, filtrar-les i transformar-les. per trobar una resposta a la consulta sobre adreces IP.



Talend és l'única eina d'interfície gràfica d'usuari prou capaç de 'traduir' un treball ETL a un treball MapReduce. Per tant, el treball ETL Talend s’executa com un treball MapReduce a Hadoop i realitza el treball de big data en qüestió de minuts. Aquesta és una innovació clau que ajuda a reduir les barreres d’entrada a la tecnologia Big Data i permet als desenvolupadors de treballs ETL (principiants i avançats) dur a terme la descàrrega de Data Warehouse en major mesura.

La vida a la ciutat de Big Data és molt més fàcil amb Talend

Una capa d’abstracció gràfica a la part superior de les aplicacions d’Hadoop: això fa que la vida sigui molt més fàcil al món del Big Data.



El que Talend ha de dir: “Seguint la nostra història com a innovador i líder en integració de dades de codi obert, Talend és el primer proveïdor que ofereix una solució pura de codi obert que permeti integració de big data . Talend Open Studio per a Big Data, mitjançant la superposició d’un entorn de desenvolupament gràfic fàcil d’utilitzar, a més de les potents aplicacions Hadoop, fa que gestió de big data accessible per a més empreses i més desenvolupadors que mai.

Amb el seu espai de treball gràfic basat en eclipses, Talend Open Studio for Big Data permet al desenvolupador i al científic de dades aprofitar tecnologies de processament i càrrega d’Hadoop com HDFS, HBase, Hive i Pig sense haver d’escriure. Aplicació Hadoop codi. Simplement seleccionant components gràfics d'una paleta, organitzant-los i configurant-los, podeu crear treballs Hadoop. Per exemple:

  1. Carregueu dades a HDFS (sistema de fitxers distribuïts Hadoop)
  2. Ús Hadoop Pig per transformar dades en HDFS
  3. Carregueu les dades a un fitxer Hadoop Hive magatzem de dades basat
  4. Realitzeu agregacions ELT (extracte, càrrega, transformació) a Hive
  5. Apalancament Sqoop per integrar bases de dades relacionals i Hadoop

Aplicacions Hadoop, perfectament integrades en pocs minuts amb Talend.

Perquè les aplicacions d’Hadoop siguin realment accessibles a la vostra organització, cal que s’integrin sense problemes als vostres fluxos de dades generals. Talend Open Studio per a Big Data és l'eina ideal per integrar aplicacions Hadoop a la vostra arquitectura de dades més àmplia. Talend proporciona més components de connector integrats que qualsevol altra solució d'integració de dades disponible, amb més de 800 connectors que faciliten la lectura o l'escriptura a qualsevol format de fitxer, base de dades o aplicació empresarial empaquetada. Per exemple, a Talend Open Studio for Big Data, podeu utilitzar components configurables per arrossegar i deixar anar per crear fluxos d'integració de dades que traslladin dades des de fitxers de registre delimitats a Hadoop Hive, realitzin operacions a Hive i extreguin dades de Hive a una base de dades MySQL (o Oracle, Sybase, SQL Server, etc.).

Voleu veure el fàcil que pot ser treballar amb aplicacions Hadoop d’avantguarda?

No cal esperar: Talend Open Studio per a Big Data és un programari de codi obert, de descàrrega gratuïta i utilitzat amb una llicència Apache.

Xerrada a la ciutat

Talend ha estat unVisionari al Magic Quadrant per a eines d'integració de dadesdes del 2009. Recentment, també han sorgit com a pioners en l'àrea de qualitat de dades i MDM, així com tots els ingredients per cuinar un fantàstic plat de Big Data.

Afirmen que: 'La integració del Big Data augmenta el rendiment i l'escalabilitat en un 45% a la vostra organització'.

Només Talend 5.5 (i versions posteriors) permet als desenvolupadors generar codi Hadoop d’alt rendiment sense necessitat de ser un expert en MapReduce o Pig.

Fa uns mesos, un dels articles de Talend deia: 'L'adopció d'Hadoop està disparant-se i les empreses grans i petites estan lluitant per trobar prou desenvolupadors Hadoop coneixedors per satisfer aquesta creixent demanda'. Només Talend 5.5 permet a qualsevol desenvolupador d'integració de dades utilitzar un entorn de desenvolupament visual per generar codi Hadoop natiu, d'alt rendiment i altament escalable. Això desbloqueja una gran quantitat de recursos per al desenvolupament que ara poden contribuir a projectes de big data. A més, Talend es manté a l’avantguarda dels nous desenvolupaments a Hadoop que permeten als projectes d’anàlisi de dades massives impulsar les interaccions amb els clients en temps real.

Talend for Big Data pot ajudar a entendre les organitzacions recopilant conjunts de dades de sistemes de fonts heterogenis (com ara tercers, API i canals de xarxes socials) i transformant aquestes dades en una imatge visual del recorregut del client de punta a punta.

Ja sigui indústria bancària, productes farmacèutics, comerç electrònic i assegurances: Talend pot integrar dades a qualsevol escala amb una combinació fàcil amb Hadoop, que demostra ser la tecnologia més avançada per satisfer la demanda del present i del futur.

Casos d’ús arreu del món

Començant des de la campanya de màrqueting fins al servei al client en el sector bancari fins a la detecció de fraus, el big data és a tot arreu.

Amb més de 800 connectors sols a la seva edició de codi obert, afirma que és la plataforma més àmpliament admesa per connectar-se a qualsevol cosa i que pot obtenir-ho tot.

Amb el patró canviant i alineat cap a NoSQL, Open Source, Hadoop, l'elecció d'aprendre el Big Data i l'estil ETL mitjançant Talend seria la decisió més lògica per a qualsevol persona que tracti les dades de qualsevol forma i moment.

En resum, les eines ETL estan lluny de ser aprovades. Són fonamentals per a l’ecosistema de Big Data i tenen un paper crucial a l’hora de permetre l’anàlisi de dades.

Per això, Talend brilla afirmant 'Zero a Big Data sense codificar, en menys de 10 minuts'.

Tens alguna pregunta? Esmenteu-los a la secció de comentaris i us respondrem.

public string tostring ()

Articles Relacionats: