A Rényi Intézet Deep Learning szemináriumának következő előadását Csiszárik Adrián (Rényi Intézet, ELTE) tartja november 10-én szerdán 16:00-kor, bemutatja a NeurIPS 2021 konferenciára nemrég elfogadott cikkünket. Az előadás hibrid formában kerül megtartásra, a Rényi Intézet Tondós terméből lesz közvetítve ezen a linken.

Neuronhálós reprezentációk hasonlósága és összeilleszthetősége

Az előadáson “Similarity and Matching of Neural Network Representations” című cikkünket [1] fogom ismertetni. Ebben egy új nézőpontot adunk mély neurális hálózatok reprezentációs hasonlósági fogalmainak elemzésére. Megközelítésünk alapja egy Dr. Frankenstein névre keresztelt eszközkészlet, amellyel arra törekszünk, hogy “összevarrjunk” két betanított neurális hálózatot egy “összefércelő” (stitching) réteggel úgy, hogy az még mindig egy jól működő rendszert eredményezzen.
Elemzésünk alapja az az empirikus megfigyelés, hogy ez lehetséges: azonos architektúrájú, de eltérő inicializációjú mély konvolúciós neurális hálózatokban megjelenő belső reprezentációk meglepően nagy pontossággal illeszthetők így össze, akár egyetlen affin összefércelő réteggel is.
Az összefércelő rétegben létrejött transzformációk elemzésével megállapításokat teszünk arról, hogy hogyan hasonlóak a neuronhálós reprezentációk, és reflektálunk a reprezentációs hasonlósági fogalmakkal kapcsolatos jelenlegi kutatásokra.

[1] Similarity and Matching of Neural Network Representations

Adrián Csiszárik, Péter Kőrösi-Szabó, Ákos K. Matszangosz, Gergely Papp, Dániel Varga