Acumulatorii sunt variabile care sunt doar „adăugate” printr-o operație asociativă și, prin urmare, pot fi susținute eficient în paralel. Acestea pot fi folosite pentru a implementa contoare (ca în MapReduce) sau sume. Spark acceptă în mod nativ acumulatori de tipuri numerice, iar programatorii pot adăuga suport pentru tipuri noi.
De ce folosim acumulatorul?
Acumulatorii hidraulici sunt utilizați într-o mare varietate de industrii pentru a stoca energie; menține presiunea; atenuează vibrațiile, pulsațiile și șocurile; și mult mai mult. Stocarea energiei – Acumulatorii pot accepta, stoca și elibera energie sub formă de fluid sub presiune pentru a îmbunătăți eficiența sistemului hidraulic.
Care este diferența dintre difuzare și acumulator în Spark?
Diferența cheie dintre o variabilă de difuzare și un acumulator este că, în timp ce variabila de difuzare este numai pentru citire, acumulatorul poate fi adăugat. … Fiecare nod de lucru poate accesa și adăuga la propria sa valoare de acumulator local, iar doar programul driver poate accesa valoarea globală.
Cum funcționează acumulatorul Spark?
Acumulatorii sunt variabile care sunt folosite pentru agregarea informațiilor între executori. De exemplu, aceste informații se pot referi la date sau diagnosticarea API, cum ar fi câte înregistrări sunt corupte sau de câte ori a fost apelată o anumită bibliotecă API.
De ce variabila acumulator din Spark nu ar trebui să fie folosită de lucrător pentru operațiuni de transformare?
Acumulatorul va da rezultate greșite. Dacă o sarcină rulează lent, Spark poate lansa o copie speculativă a acelei sarcini pe un alt nod. Verdict: Nu s-a rezolvat. Acumulatorul va da rezultate greșite.
