Deep Learning study

생성 된 이미지를 평가할 때는 두 가지를 고려해 평가한다고 생각할 수 있습니다. Fidelity : 얼마나 실제같은 이미지를 생성하는가. Diversity : GAN이 얼마나 다양한 이미지를 생성하는가. 하지만 GAN 을 평가할 때 가장 많이 쓰이는 FID score 는 단순 두 분포의 거리를 측정하는 방법이기 때문에, 각각에 대한지표를 알 수 없다는 단점이 있습니다. 이렇게 조금은 애매한 지표이지만 그렇다고 GAN이 생성하는 이미지들의 quality를 측정할 마땅한 다른 방법이 딱히 없기에 가장 널리 쓰이고 있죠. Improved Precision and Recall Metric for Assessing Generative Models (GAN 을 평가지표로 Precision 과 Recall 을 처음 ..

오늘 볼 것은 GAN에서 나타나는 mode collapse에대한 문제제기와 이 현상이 생기지 않도록 하는 새로운 방법을 소개하는 논문입니다. 이미지 합성(image synthesis)라하면 가장 먼저 떠오르는 것은 GAN입니다. 하지만 GAN framwork를 사용하는 모델들은 각 input image에 따른 그럴듯한 이미지(plausible image)를 단지 하나, 또는 기껏해야 고정된 수 만큼의 output을 만을 가지게 됩니다. 이논문에서는 semantic segmentation map들로부터 생성하는 이미지에 중점을 두고 같은 semantic layout에 대해서 다양한 형태를 가진 임의의 수 만큼의 이미지를 생성해내는 새로운 방법을 소개합니다. Introduction 현재까지 이미지 생성에 대..

최근 generative network들이 많은 발전을 이루었음에도, 그 이미지 생성에대한 매커니즘은 여전히 잘 알려지지 않았습니다. 그래서 이 논문에서는 explorative sampling algorithm to analyze generation mechanism of DGNNs 을 소개합니다. 이 방법으로 한 쿼리로 부터 동일한 특징을 가진 sample들을 효율적으로 얻을 수 있다고 합니다. Instoduction 일반적으로, 생성모델은 latent space의 한 점(point)을 data space의 한 샘플(sample)에 매핑(map) 합니다. 즉 데이터 인스턴스 들은 latent vector로 임베딩(embedded)되는 것이죠. 그런 latent space 는 모델의 구조로부터 나온 경계..

오늘 살펴볼 논문은 SAGAN 입니다. self-attention을 GAN과 결합한 논문입니다. Attention이라는 것은 쉽게 말하자면 어떤 문장을 예측하는데 전체 입력 문장을 같은 비율로 보는것이 아니라, 예측해야 될 단어와 연관이 있는 단어들에 더 집중(attention)해서 보게하는 것 입니다. 그렇다면 self-Attention은 무엇일까요. 단지 Attention을 자기자신에게 수행하는 것 입니다. Attention에 대한 더 자세한 설명은 여기에서 부터 15.transfomer까지 보시면 더 자세히 알 수 있습니다. Introduction 지금까지의 convolutional GAN들이 생성해낸 샘플들을 보면, multi-class 데이터셋을 학습할때 몇몇의 class들에 대해서는 어려움을 ..

저번글에선 SN GAN의 전반적인 내용과 기본적인 컨셉에대해서 알아보았습니다. 이번 글에서는 본격적인 Spectral Normalization의 이론적인 바탕과 내용에대해서 알아봅시다. 저번 글에서 Optimal한 D가 f라는 형태의 모양을 가질때에 , 그 함수는 unbounded 되어있기때문에 gradient가 폭발해버리는 현상이 일어난다고 말했었죠. 그래서 그 폭발을 막기위해서 사용할 방법이 Lipschitz constant를 제한하는 것이였습니다. $$ \underset{\lVert f \rVert_{Lip} \le K}{\arg \max }V(G,D)$$ 여기서 말하는 Lipschitz norm(||f||Lip)은 f의 Lipschitz Constant를 의미합니다. 이제 이러한 condition..

오늘 정리할 논문은 spectral normalization GAN 입니다. (모바일이라면 pc버전으로 보세요 ! ) 논문을 보기전에 이 전의 포스팅인 립시츠 함수와 립시츠상수, Singular value decomposition(SVD), Matrix norm에 대해서 알고 본다면 훨씬 이해가 쉬울것 입니다. ! 이 논문에서는 Discriminator의 학습을 안정화(stabilize)시키기위해서 새로운 weight normalization 기법인 Spectral Normalization을 소개합니다. Introduction GAN의 기본적인 컨셉은 model의 분포와 discriminator를 번갈아가면서 학습시켜 model의 분포가 target분포를 따라가게 만드는 것이죠. 이러한 컨셉은 모두 학습..

오늘은 super resolrution GAN 에 대해서 알아보도록 합시다 ! SRGAN은 딱히 어렵다거나 복잡한 것은 없지만, image super resolution에 관심이 좀 있던터라 쟁여뒀던 논문을 꺼내어 읽어보았습니다. ㅋㅋ 그럼 먼저 super resolution 이 뭔지부터 알아봅시다. 물론 모르는 사람은 없을테지만, 위의 링크에서도 볼 수 있듯이 이미지의 해상도를 높여주는 작업입니다. 즉 저해상도 이미지를 고해상도로 바꾸는 것이죠 ! 여기서 소개할 super resolution 방법은 GAN을 이용한 방법입니다. Introduction Super Resolution(SR)은 computer vision분야에서 많은 주목을 받고있습니다. 많은 SR문제를 해결하고자하는 노력들이 있었지만, 복..

오늘 살펴볼 논문은 Unrolled GAN입니다. 왠지 읽어야되는 논문 순서가 엄청 뒤죽박죽 된 느낌이지만 ... 그냥 손에 잡히는거 읽는게 잘 되는것 같은 느낌입니다. 여튼 최근에 훈련도있고 일과도 조금 많아져서 오랜만에 정리를하게 되었습니다. ( 전역 언제하나.... ) 그럼이제 본론으로 들어가도록 합시다.. Introduction GAN에서 파생된 눈문들은 대체로 GAN이 가지고있는 문제점들을 개선할 수있는 방안을 제시해주는 것들이 대다수입니다.(내 느낌인가..) 역시 Unrolled GAN도 마찬가지로 몇 가지 문제점들을 개선했다는 내용을 담아내고 있습니다. mode collapse 문제로 주로 generator가 계속 하나의 sample만 생성해내는 현상 generator와 discriminat..