Amikor a minimalizálandó célfüggvénynek több lokális minimuma van, a sztochasztikus gradiens algoritmus „zajos” változata megtalálja a globális minimumot. Ha azonban a függvény gyorsabban nő a kvadratikusnál, ezek az algoritmusok divergálnak.
A sztochasztikus egyenletek elméletében az ilyen problémákat ún. „szelídítéssel” orvosolják: a gradienst alkalmas szinten levágják (majd a levágással a végtelenhez tartanak). Ilyen típusú algoritmusok konvergenciasebességét tudtuk megbecsülni. A numerikus példák azt mutatják, hogy neurális hálóknál jól működhet ez a megközelítés.