• vexillum nuntiorum

Servitium

Mechanismus purgationis datorum Spark Streaming
(I) DStream et RDD
Ut scimus, computatio Spark Streaming in Spark Core fundatur, et nucleus Spark Core est RDD, ergo Spark Streaming etiam cum RDD coniunctum esse debet. Attamen Spark Streaming usores RDD directe uti non sinit, sed seriem conceptuum DStream abstrahit. DStream et RDD sunt relationes inclusivae, quas intellegere potes ut exemplar ornatum in Java, id est, DStream est amplificatio RDD, sed modus agendi similis est RDD.
Et DStream et RDD plures condiciones habent.
(1) similes actiones transformationis habent, ut `map`, `reduceByKey`, etc., sed etiam nonnullas singulares, ut `Window`, `mapWithStated`, etc.
(2) omnes actiones actionis habent, ut foreachRDD, count, etc.
Exemplar programmandi constans est.
(B) Introductio DStream in Spark Streaming
DStream plures classes continet.
(1) Classes fontium datorum, ut InputDStream, specificae ut DirectKafkaInputStream, etc.
(2) Classes conversionis, typice MappedDStream, ShuffledDStream
(3) classes exitus, typice ut ForEachDStream
Ex supradictis, notitia ab initio (input) ad finem (output) a systemate DStream geritur, quod significat usorem plerumque non posse directe RDD generare et manipulare, quod significat DStream habere facultatem et obligationem ut pro cyclo vitae RDD respondeat.
Aliis verbis, Spark Streaming habet...purgatio automaticafunctio.
(iii) Processus generationis RDD in Spark Streaming
Fluxus vitae RDD in Spark Streaming sic fere se habet.
(1) In InputDStream, data recepta in RDD transformantur, ut DirectKafkaInputStream, quod KafkaRDD generat.
(2) deinde per MappedDStream aliasque conversiones datorum, hoc tempore directe RDD appellatur, methodo mappae ad conversionem respondens.
(3) In operatione classis output, solum cum RDD patefactus est, usori permittere potes ut repositionem correspondentem, alias computationes, aliasque operationes perficiat.