סערוויס

אָנצינדן סטרימינג דאַטן רייניקונג מעקאַניזאַם
(איך) DStream און RDD
ווי מיר וויסן, Spark Streaming קאַמפּיוטינג איז באזירט אויף Spark Core, און די האַרץ פון Spark Core איז RDD, אַזוי Spark Streaming מוזן אויך זיין שייַכות צו RDD.אָבער, Spark Streaming קען נישט לאָזן יוזערז גלייך נוצן RDD, אָבער אַבסטראַקץ אַ סכום פון DStream קאַנסעפּס, DStream און RDD זענען ינקלוסיוו באַציונגען, איר קענען פֿאַרשטיין עס ווי די באַפּוצונג מוסטער אין Java, דאָס איז, DStream איז אַן ימפּרווומאַנץ פון RDD, אָבער די נאַטור איז ענלעך צו RDD.
DStream און RDD ביידע האָבן עטלעכע באדינגונגען.
(1) האָבן ענלעך טראַנספאָרמאַציע אַקשאַנז, אַזאַ ווי מאַפּע, reduceByKey, אאז"ו ו, אָבער אויך עטלעכע יינציק, אַזאַ ווי פֿענצטער, mapWithStated, עטק.
(2) אַלע האָבן קאַמף אַקשאַנז, אַזאַ ווי פאָרעאַטשרדד, ציילן, עטק.
די פּראָגראַממינג מאָדעל איז קאָנסיסטענט.
(ב) הקדמה פון DStream אין ספּאַרק סטרימינג
DStream כּולל עטלעכע קלאסן.
(1) דאַטאַ מקור קלאסן, אַזאַ ווי InputDStream, ספּעציפיש ווי DirectKafkaInputStream, עטק.
(2) קאַנווערזשאַן קלאסן, טיפּיקלי MappedDStream, ShuffledDStream
(3) רעזולטאַט קלאסן, טיפּיקלי אַזאַ ווי ForEachDStream
פון די אויבן, די דאַטן פון די אָנהייב (אַרייַנפּרייַז) צו די סוף (רעזולטאַט) איז דורכגעקאָכט דורך די DStream סיסטעם, וואָס מיטל אַז דער באַניצער נאָרמאַלי קענען נישט גלייַך דזשענערייט און מאַניפּולירן RDDs, וואָס מיטל אַז די DStream האט די געלעגנהייט און פליכט צו זיין. פאַראַנטוואָרטלעך פֿאַר די לעבן ציקל פון RDDs.
אין אנדערע ווערטער, Spark Streaming האט אַןאָטאַמאַטיק רייניקונגפֿונקציע.
(iii) דער פּראָצעס פון RDD דור אין Spark Streaming
די לעבן לויפן פון RDDs אין Spark Streaming איז פּראָסט ווי גייט.
(1) אין InputDStream, די באקומען דאַטן זענען פארוואנדלען אין RDD, אַזאַ ווי DirectKafkaInputStream, וואָס דזשענערייץ KafkaRDD.
(2) דערנאָך דורך MappedDStream און אנדערע דאַטן קאַנווערזשאַן, דאָס מאָל איז גלייַך גערופֿן RDD קאָראַספּאַנדינג צו די מאַפּע אופֿן פֿאַר קאַנווערזשאַן
(3) אין דער רעזולטאַט קלאַס אָפּעראַציע, נאָר ווען די RDD איז יקספּאָוזד, איר קענען לאָזן די באַניצער דורכפירן די קאָראַספּאַנדינג סטאָרידזש, אנדערע חשבונות און אנדערע אַפּעריישאַנז.