Zerbitzua

Spark Streaming datuak garbitzeko mekanismoa
(I) DStream eta RDD
Dakigunez, Spark Streaming konputazioa Spark Core-n oinarritzen da, eta Spark Core-ren muina RDD da, beraz, Spark Streaming-ek ere RDD-rekin erlazionatuta egon behar du. Hala ere, Spark Streaming-ek ez die erabiltzaileei RDD zuzenean erabiltzen uzten, DStream kontzeptu multzo bat abstraktu egiten du baizik. DStream eta RDD harreman inklusiboak dira, Java-ko apaingarri eredu gisa uler daitezke, hau da, DStream RDD-ren hobekuntza bat da, baina portaera RDD-ren antzekoa da.
DStream-ek eta RDD-k hainbat baldintza dituzte.
(1) antzeko eraldaketa-ekintzak dituzte, hala nola map, reduceByKey, etab., baina baita bereziak diren batzuk ere, hala nola Window, mapWithStated, etab.
(2) guztiek Ekintza ekintzak dituzte, hala nola foreachRDD, count, etab.
Programazio eredua koherentea da.
(B) DStream-en sarrera Spark Streaming-en
DStream-ek hainbat klase ditu.
(1) Datu-iturri klaseak, hala nola InputDStream, DirectKafkaInputStream bezalakoak, etab.
(2) Bihurketa klaseak, normalean MappedDStream, ShuffledDStream
(3) irteera klaseak, normalean ForEachDStream bezalakoak
Goikotik abiatuta, hasieratik (sarrera) amaieraraino (irteera) datuak DStream sistemak egiten ditu, hau da, erabiltzaileak normalean ezin ditu zuzenean RDDak sortu eta manipulatu, eta horrek esan nahi du DStream-ek aukera eta betebeharra duela RDDen bizi-zikloaren arduradun izateko.
Beste era batera esanda, Spark Streaming-ek badugarbiketa automatikoafuntzioa.
(iii) Spark Streaming-en RDD sortzeko prozesua
Spark Streaming-eko RDD-en bizi-fluxua honela da, gutxi gorabehera.
(1) InputDStream-en, jasotako datuak RDD bihurtzen dira, hala nola DirectKafkaInputStream, eta honek KafkaRDD sortzen du.
(2) ondoren, MappedDStream eta beste datu-bihurketa batzuen bidez, oraingoan zuzenean RDD deitzen da, bihurketarako mapa-metodoari dagokiona.
(3) Irteera klaseko eragiketan, RDD agerian dagoenean bakarrik utzi diezaiokezu erabiltzaileari dagokion biltegiratzea, beste kalkulu batzuk eta beste eragiketa batzuk egiten.