Stochastic Multiplicative Updates for Symmetric Nonnegative Matrix Factorization

Innen maskinlæring brukes symmetrisk ikkenegativ matrisefaktorisering (NMF) i forbindelse med clusteranalyse. NMF utføres ofte ved hjelp av algoritmer som tar i bruk multiplikative oppdateringer (MU). Disse har den fordelen at de automatisk opprettholder ikkenegativitet i faktormatrisen. Inspirert av suksessen til stokastisk gradient descent, utvikler vi en ny stokastisk MU-algoritme. Vi kaller algoritmen Stochastic Bound-and-Scale Multiplicative Updates (SBSMU). Så langt vi vet, er dette den første gangen en stokastisk MU-algoritme har blitt utviklet for symmetrisk NMF. Vi presenterer en teoretisk analyse av SBSMU, inkludert et bevis som gir innsikt i betingelsene som avgjør om SBSMU konvergerer. Videre presenterer vi resultatene fra tre empiriske eksperimenter. Dataene tilsier at en standardkonfigurasjon for SBSMU gir relativt god ytelse på tvers av datasett. I tillegg viser vi at SBSMU kan faktorisere store datasett vi tester den på, selv om algoritmen ikke når opp til de beste referansealgoritmene.