Deep learning szeminárium - 2. Terjék Dávid: Lipschitz folytonosság és neurális hálózatok
A Rényi Intézet rendszeres Deep Learning szemináriumot szervez. A szemináriumot elsősorban azoknak szánjuk, akik tisztában vannak a deep learning alapfogalmaival, és érdeklődnek a téma elméletibb (illetve kevésbé domén-specifikus) fejezetei iránt.
Terjék Dávid - Lipschitz folytonosság és neurális hálózatok
A szeminárium két kérdésre kísérel meg választ adni: miért fontos neurális hálózatok, mint leképezések Lipschitz konstansát vizsgálni, és hogyan lehet ezt a mennyiséget approximálni, illetve befolyásolni? A miért szekcióban szó lesz adverzariális módszerekről, azon belül is a Wasserstein GANról és véletlen változók közös információjának neurális hálózatokkal való becsléséről, illetve a Lipschitz konstans és az általánosítóképesség, robusztusság és stabilitás kapcsolatáról. A hogyan szekcióban bemutatásra kerülnek büntetőtagos és normalizációs módszerek neurális hálózatok Lipschitz konstansának regularizációjára, végül pedig annak approximációjára alkalmazott optimalizálási eljárásokról is szó esik. A szeminárium felülnézeti képet ad a kérdéskörről, mindeközben részletesebben kitérve az előadó saját eredményeit is érintő témakörökre.