Deep Learning study

최근 generative network들이 많은 발전을 이루었음에도, 그 이미지 생성에대한 매커니즘은 여전히 잘 알려지지 않았습니다. 그래서 이 논문에서는 explorative sampling algorithm to analyze generation mechanism of DGNNs 을 소개합니다. 이 방법으로 한 쿼리로 부터 동일한 특징을 가진 sample들을 효율적으로 얻을 수 있다고 합니다. Instoduction 일반적으로, 생성모델은 latent space의 한 점(point)을 data space의 한 샘플(sample)에 매핑(map) 합니다. 즉 데이터 인스턴스 들은 latent vector로 임베딩(embedded)되는 것이죠. 그런 latent space 는 모델의 구조로부터 나온 경계..

저번글에선 SN GAN의 전반적인 내용과 기본적인 컨셉에대해서 알아보았습니다. 이번 글에서는 본격적인 Spectral Normalization의 이론적인 바탕과 내용에대해서 알아봅시다. 저번 글에서 Optimal한 D가 f라는 형태의 모양을 가질때에 , 그 함수는 unbounded 되어있기때문에 gradient가 폭발해버리는 현상이 일어난다고 말했었죠. 그래서 그 폭발을 막기위해서 사용할 방법이 Lipschitz constant를 제한하는 것이였습니다. $$ \underset{\lVert f \rVert_{Lip} \le K}{\arg \max }V(G,D)$$ 여기서 말하는 Lipschitz norm(||f||Lip)은 f의 Lipschitz Constant를 의미합니다. 이제 이러한 condition..

오늘 정리할 논문은 spectral normalization GAN 입니다. (모바일이라면 pc버전으로 보세요 ! ) 논문을 보기전에 이 전의 포스팅인 립시츠 함수와 립시츠상수, Singular value decomposition(SVD), Matrix norm에 대해서 알고 본다면 훨씬 이해가 쉬울것 입니다. ! 이 논문에서는 Discriminator의 학습을 안정화(stabilize)시키기위해서 새로운 weight normalization 기법인 Spectral Normalization을 소개합니다. Introduction GAN의 기본적인 컨셉은 model의 분포와 discriminator를 번갈아가면서 학습시켜 model의 분포가 target분포를 따라가게 만드는 것이죠. 이러한 컨셉은 모두 학습..

오늘 볼 논문들은 두가지 입니다 ! 사실상 이전의 글을 보셨다면 지금 보는 논문들은 크게 어려울것 없습니다. 그런의미에서 간단하게만 살펴봅시다. Inception GoogLeNet이라고 알려진 유명한 논문입니다. 먼저 모델을 deep하게 만들수록 모델의 표현능력 또는 수용력이 증가함으로써 성능이 올라간다는것은 어떻게보면 실험적으로 잘 알려진 사실입니다. 그렇지만 단순히 깊게 만드는데에는 한계가 있습니다. 모델의 사이즈가 커진다는 것은 당연하게도 parameter의 수가 커지는것을 의미합니다. 이것은 한정된 labeled data를 가질 수 밖에 없는 우리에게 overfitting이 일어나게 만듭니다. 우리가 가진 계산(computation)능력과 메모리등의 자원은 항상 제한적입니다. 다시말해 우리는 한정..