Deep Learning study

오늘은 시간이 없으니 간단하게 MobileNets를 살펴보고 가겠습니다. 정말 특별하게 어렵다거나 새로운건 없습니다. 새로운 아이디어라기보다는 많은 실험 결과들이 실려있는 논문이라고 보면 될 것 같아요. MobileNets은 이름에서도 알 수 있지만, 모바일 기기나 어플 등에서 사용할 수 있도록 효율적인 면에서 설계된 모델입니다. 그럼 한 번 살펴보도록 할까요. MobileNets Architecture 이 모델의 특징은 두가지가 있습니다. Depthwise separable convolution Shrinking hyperparameter(Width mutiplier, Resolution multiplier) 정말정말 많이 봐 왔던 Depthwise separable convolution 입니다. 논문..

오늘 볼 논문들은 두가지 입니다 ! 사실상 이전의 글을 보셨다면 지금 보는 논문들은 크게 어려울것 없습니다. 그런의미에서 간단하게만 살펴봅시다. Inception GoogLeNet이라고 알려진 유명한 논문입니다. 먼저 모델을 deep하게 만들수록 모델의 표현능력 또는 수용력이 증가함으로써 성능이 올라간다는것은 어떻게보면 실험적으로 잘 알려진 사실입니다. 그렇지만 단순히 깊게 만드는데에는 한계가 있습니다. 모델의 사이즈가 커진다는 것은 당연하게도 parameter의 수가 커지는것을 의미합니다. 이것은 한정된 labeled data를 가질 수 밖에 없는 우리에게 overfitting이 일어나게 만듭니다. 우리가 가진 계산(computation)능력과 메모리등의 자원은 항상 제한적입니다. 다시말해 우리는 한정..

오늘 정리해 볼 것들은 앞으로 정리할 논문들을 위해 미리 알아두면 좋은 convolution입니다. 각 convolution들에 대한 간단한 특징과 param수, 연산량 등에대해서 알아봅시다 ㅎㅎ 들어가기에 앞서 몇가지 기호를 정의하고, input 과 output의 크기는 동일하다고 생각하겠습니다. W : input의 width H : input의 height C : input의 channel K : kernel의 크기 M : output의 channel 먼저 standard convolution부터 알아보겠습니다. bias는 생략하도록 하겠습니다. 1. Standard Convolution 모두가 흔히들알고있는 Convolution입니다. 이 standard convolution의 param 수와 연산..

오늘은 super resolrution GAN 에 대해서 알아보도록 합시다 ! SRGAN은 딱히 어렵다거나 복잡한 것은 없지만, image super resolution에 관심이 좀 있던터라 쟁여뒀던 논문을 꺼내어 읽어보았습니다. ㅋㅋ 그럼 먼저 super resolution 이 뭔지부터 알아봅시다. 물론 모르는 사람은 없을테지만, 위의 링크에서도 볼 수 있듯이 이미지의 해상도를 높여주는 작업입니다. 즉 저해상도 이미지를 고해상도로 바꾸는 것이죠 ! 여기서 소개할 super resolution 방법은 GAN을 이용한 방법입니다. Introduction Super Resolution(SR)은 computer vision분야에서 많은 주목을 받고있습니다. 많은 SR문제를 해결하고자하는 노력들이 있었지만, 복..

오늘 살펴볼 논문은 Unrolled GAN입니다. 왠지 읽어야되는 논문 순서가 엄청 뒤죽박죽 된 느낌이지만 ... 그냥 손에 잡히는거 읽는게 잘 되는것 같은 느낌입니다. 여튼 최근에 훈련도있고 일과도 조금 많아져서 오랜만에 정리를하게 되었습니다. ( 전역 언제하나.... ) 그럼이제 본론으로 들어가도록 합시다.. Introduction GAN에서 파생된 눈문들은 대체로 GAN이 가지고있는 문제점들을 개선할 수있는 방안을 제시해주는 것들이 대다수입니다.(내 느낌인가..) 역시 Unrolled GAN도 마찬가지로 몇 가지 문제점들을 개선했다는 내용을 담아내고 있습니다. mode collapse 문제로 주로 generator가 계속 하나의 sample만 생성해내는 현상 generator와 discriminat..

오늘의 논문은 memoryGAN이다. 서울대학교 김건희 교수님연구실의 논문인데 정말 음.. 어렵고, 어려운만큼 잘 이해해보려고 노력했던 논문이다. 논문에 들어가기에 앞서, 읽기전에 이 글을 먼저 읽거나 해당 논문을 읽고 이것을 읽으면 많은 도움이 될 것이다. GAN에관한 논문에는 항상 문제점을 가지고 시작한다. 여기서도 마찬가지로 GAN의 학습에있어서의 두가지 이슈를 가지고 시작하게 된다. GAN은 다수의 클래스나 데이터의 군집(cluster)를 임베딩하기위해서 continuous latent distribution만을 사용하기 때문에 서로다른 클래스들 사이의 구조적인 불연속을 다룰 수 없다. GAN의 discriminator는 과거에 generator가 생성해낸 sample들을 쉽게 잊어버린다. 이러한..

오늘은 memory network에 관한 논문을 정리해 보려한다. neural network는 매우 좋은 성능을 가져오지만, 학습기키기가 까다롭다는 점이있다. 그에대한 예시로, 학습할때 필요한 방대한 양의 dataset과 학습을 한 data에 대한 것을 잘 잊어버리는 것 이다. 그래서 논문에서 다양한 neural network에 사용 될 life-long memory module을 소개한다. 이러한 memory 구조를 가지게 됨 으로써 기억능력에대한 향상, 그리고 one-shot learning(각 class별로 하나 또는 적은 training sample로 부터 학습을 하는 것)이 가능하다고 말한다. introduction 여기서 중점적으로 소개할 내용은 다양한 neural network들에서 one-..

오늘은 infoGAN에 대해서 정리해보도록 하자. InfoGAN은 기존의 GAN에 정보(information) 이론을 가지고 확장시킨다. 기존의 GAN모델이 entangled(얽혀있는) representation들을 학습해왔는데, InfoGAN에서는 disentangled(엉킨것이 풀어진) representation들을 학습하는 방법을 제시한다. 이게 무슨 말 이냐면 , 일반적인 GAN은 input에서 noise에 대한 아무런 제약이 없으므로 noise에 대한 정보를 알 수 없다. 즉, noise input 에서 어느부분이 어떤 representation을 조절하는지를 알기 힘들다. 하지만 이것을 disentangle하게 , 다시말하면 해석가능하게(어느부분이 의미를 가지도록) 만들어 핵심적인 repres..