Amikor a minimalizálandó célfüggvénynek több lokális minimuma van, a sztochasztikus gradiens algoritmus „zajos” változata megtalálja a globális minimumot. Ha azonban a függvény gyorsabban nő a kvadratikusnál, ezek az algoritmusok divergálnak.

A sztochasztikus egyenletek elméletében az ilyen problémákat ún. „szelídítéssel” orvosolják: a gradienst alkalmas szinten levágják (majd a levágással a végtelenhez tartanak). Ilyen típusú algoritmusok konvergenciasebességét tudtuk megbecsülni. A numerikus példák azt mutatják, hogy neurális hálóknál jól működhet ez a megközelítés.

Szerzők: Lovas Attila, Iosif Lytras, Rásonyi Miklós, Sotirios Sabanis.

Az előadásról készült felvétel ezen a linken érhető el .

Az előadáshoz ezen a Zoom-linken lehet csatlakozni.