Logo ro.boatexistence.com

De ce coborâre stocastică în gradient?

Cuprins:

De ce coborâre stocastică în gradient?
De ce coborâre stocastică în gradient?

Video: De ce coborâre stocastică în gradient?

Video: De ce coborâre stocastică în gradient?
Video: AI Ethics and Democracy: Debating Algorithm-Mediated Direct Democracy and the Democratization of AI 2024, Mai
Anonim

Conform unui cercetător de date senior, unul dintre avantajele distincte ale utilizării Stochastic Gradient Descent este că face calculele mai repede decât coborârea gradientului și coborârea gradientului lot … De asemenea, pe seturi masive de date, coborârea gradientului stocastic poate converge mai rapid, deoarece efectuează actualizări mai frecvent.

Pentru ce este folosit Coborârea cu gradient stochastic?

Coborârea gradientului stocastic este un algoritm de optimizare folosit adesea în aplicațiile de învățare automată pentru a găsi parametrii modelului care corespund celei mai bune potriviri între rezultatele prezise și cele reale Este o tehnică inexactă, dar puternică. Coborârea gradientului stocastic este utilizat pe scară largă în aplicațiile de învățare automată.

De ce trebuie să folosim Stochastic Gradient Descent mai degrabă decât o coborâre standard a gradientului pentru a antrena o rețea neuronală convoluțională?

Coborâre gradient stocastic actualizează parametrii pentru fiecare observație, ceea ce duce la un număr mai mare de actualizări. Deci, este o abordare mai rapidă, care ajută la luarea mai rapidă a deciziilor. Actualizări mai rapide în diferite direcții pot fi observate în această animație.

De ce preferăm coborârea în gradient?

Motivul principal pentru care coborârea gradientului este utilizată pentru regresia liniară este complexitatea de calcul: este mai ieftin din punct de vedere computațional (mai rapid) să găsiți soluția folosind coborârea gradientului în unele cazuri. Aici, trebuie să calculați matricea X′X apoi să o inversați (vezi nota de mai jos). Este un calcul costisitor.

De ce este folosit SGD?

Coborârea gradientului stocastic (deseori abreviat SGD) este o metodă iterativă pentru optimizarea unei funcții obiective cu proprietăți adecvate de netezime (de exemplu, diferențiabilă sau subdiferențiabilă).

Recomandat: