Deep Learning study

최근 generative network들이 많은 발전을 이루었음에도, 그 이미지 생성에대한 매커니즘은 여전히 잘 알려지지 않았습니다. 그래서 이 논문에서는 explorative sampling algorithm to analyze generation mechanism of DGNNs 을 소개합니다. 이 방법으로 한 쿼리로 부터 동일한 특징을 가진 sample들을 효율적으로 얻을 수 있다고 합니다. Instoduction 일반적으로, 생성모델은 latent space의 한 점(point)을 data space의 한 샘플(sample)에 매핑(map) 합니다. 즉 데이터 인스턴스 들은 latent vector로 임베딩(embedded)되는 것이죠. 그런 latent space 는 모델의 구조로부터 나온 경계..

오늘 살펴볼 논문은 SAGAN 입니다. self-attention을 GAN과 결합한 논문입니다. Attention이라는 것은 쉽게 말하자면 어떤 문장을 예측하는데 전체 입력 문장을 같은 비율로 보는것이 아니라, 예측해야 될 단어와 연관이 있는 단어들에 더 집중(attention)해서 보게하는 것 입니다. 그렇다면 self-Attention은 무엇일까요. 단지 Attention을 자기자신에게 수행하는 것 입니다. Attention에 대한 더 자세한 설명은 여기에서 부터 15.transfomer까지 보시면 더 자세히 알 수 있습니다. Introduction 지금까지의 convolutional GAN들이 생성해낸 샘플들을 보면, multi-class 데이터셋을 학습할때 몇몇의 class들에 대해서는 어려움을 ..

오늘은 infoGAN에 대해서 정리해보도록 하자. InfoGAN은 기존의 GAN에 정보(information) 이론을 가지고 확장시킨다. 기존의 GAN모델이 entangled(얽혀있는) representation들을 학습해왔는데, InfoGAN에서는 disentangled(엉킨것이 풀어진) representation들을 학습하는 방법을 제시한다. 이게 무슨 말 이냐면 , 일반적인 GAN은 input에서 noise에 대한 아무런 제약이 없으므로 noise에 대한 정보를 알 수 없다. 즉, noise input 에서 어느부분이 어떤 representation을 조절하는지를 알기 힘들다. 하지만 이것을 disentangle하게 , 다시말하면 해석가능하게(어느부분이 의미를 가지도록) 만들어 핵심적인 repres..

오늘 정리할 논문은 StarGAN이다. 인공지능수업에서 한 프로젝트에서 이 논문을 참고했었는데, 다시금 한 번 읽어보고 정리를 하려한다. 이 논문에서는 현존하는 접근방식들은 두가지이상의 도메인을 다루는데 있어서 제한된 scalability 와 robustness가 있다고한다. 이유인 즉슨, 모든 domain에 대해서 독립적인 모델들이 만들어져야했기 때문이다. 그래서 제안한 것이 StarGAN구조이다. 단 하나의 모델을 가지고 여러가지의 domain들에대해 image-to-image translation을 다루는 것을 수행한다. 동시에 다른 domain을 가진 dataset들을 동시에 학습시킬수있다. (mask vector method) 위의 사진들은 Celeb A 의 데이터셋을 Multi-domain i..

이번에 정리해 볼 논문은 FCN이다. image segmentation에서 기초가되는 논문.? 이라고 생각돼서 한 번 정리를 해보려고 한다. 여기서 이야기하는 방법론은 단순하면서 간단하다. FCN에서는 기존의 classification에 사용되던 모델들을 이용하여 tranfer learning을 하게 된다. 하지만 기존의 classification의 모델들은 class 분류를 위해 네트워크의 마지막엔 항상 Fully connected layer(이하 Fc layer)가 삽입되게 되는데 이는 image segmentation에는 적합하지 않다. 왜냐하면 Fc layer를 사용하기 위해서는 고정된 크기의 input만을 받아야하며, 1차원적인 정보만을 가지고 있기 때문에 원하는 2차원적인 정보(위치정보 등,,..

최근에( 여기서 최근은 이 논문의 저자가 논문을 썼을 당시를 말한다..)보여지는 여러 결과들이 network의 깊이가 매우 중요하다는 것이 드러나고 있다. 그 예로 ImageNet dataset challenge의 결과를 보면, 좋은 성과를 낸 것들은 모두 very deep한 모델들 이였다. 하지만 과연 network의 깊이만 깊어진다고(layer 들이 많아짐) 더 좋은 network가 될까? 물론 그것은 아니다. 가장 흔히 발생하는 vanishing/exploding gradients의 문제가 있다. 하지만 이러한 문제들은 Batch Norm 과 같은 방법으로 많은 부분 해결이 가능하다. 또한 normalized initialization, intermediate normaliation layer를 사..

​ 내가 이 책을 알게된건 아마도 .. facebook을 보던중 tensorflow kr 그룹의 게시글에서 우연찮게 본것같다. 가장 먼저 눈에 들어오는것은 Andrew ag이였다 . 이 분야에서는 너무나 유명하신 분이기 때문에 주저않고 꼭 읽어봐야겠다 라고 생각했다. Coursera에서 머신러닝 강의도 봤던터라 조금 친숙한 감도 있었던거 같다 ㅋㅋ 여튼 , 이 책은 ai 개발에 있어서의 기술적인 방법들에대해 서술하고있다 . 예를들면 데이터를 어떻게 분류할것인가 , 어떤데이터를 이용해야하는가 등의 테크닉들을 알려주고있다 . 음 .. 내가 이 책을 제대로 써먹으려면 내년 6월 전역한 후겠지만 , 많은 ai개발자들에게 도움이 될만한 책인것은 분명한것 같다 . 책의 마지막에는 ‘슈퍼히어로가 되는것보단 슈퍼히어로..