Deep Learning study

저번글에선 SN GAN의 전반적인 내용과 기본적인 컨셉에대해서 알아보았습니다. 이번 글에서는 본격적인 Spectral Normalization의 이론적인 바탕과 내용에대해서 알아봅시다. 저번 글에서 Optimal한 D가 f라는 형태의 모양을 가질때에 , 그 함수는 unbounded 되어있기때문에 gradient가 폭발해버리는 현상이 일어난다고 말했었죠. 그래서 그 폭발을 막기위해서 사용할 방법이 Lipschitz constant를 제한하는 것이였습니다. $$ \underset{\lVert f \rVert_{Lip} \le K}{\arg \max }V(G,D)$$ 여기서 말하는 Lipschitz norm(||f||Lip)은 f의 Lipschitz Constant를 의미합니다. 이제 이러한 condition..

오늘 정리할 논문은 spectral normalization GAN 입니다. (모바일이라면 pc버전으로 보세요 ! ) 논문을 보기전에 이 전의 포스팅인 립시츠 함수와 립시츠상수, Singular value decomposition(SVD), Matrix norm에 대해서 알고 본다면 훨씬 이해가 쉬울것 입니다. ! 이 논문에서는 Discriminator의 학습을 안정화(stabilize)시키기위해서 새로운 weight normalization 기법인 Spectral Normalization을 소개합니다. Introduction GAN의 기본적인 컨셉은 model의 분포와 discriminator를 번갈아가면서 학습시켜 model의 분포가 target분포를 따라가게 만드는 것이죠. 이러한 컨셉은 모두 학습..