Deep Learning study

오늘 볼 논문들은 두가지 입니다 ! 사실상 이전의 글을 보셨다면 지금 보는 논문들은 크게 어려울것 없습니다. 그런의미에서 간단하게만 살펴봅시다. Inception GoogLeNet이라고 알려진 유명한 논문입니다. 먼저 모델을 deep하게 만들수록 모델의 표현능력 또는 수용력이 증가함으로써 성능이 올라간다는것은 어떻게보면 실험적으로 잘 알려진 사실입니다. 그렇지만 단순히 깊게 만드는데에는 한계가 있습니다. 모델의 사이즈가 커진다는 것은 당연하게도 parameter의 수가 커지는것을 의미합니다. 이것은 한정된 labeled data를 가질 수 밖에 없는 우리에게 overfitting이 일어나게 만듭니다. 우리가 가진 계산(computation)능력과 메모리등의 자원은 항상 제한적입니다. 다시말해 우리는 한정..

오늘 정리해 볼 것들은 앞으로 정리할 논문들을 위해 미리 알아두면 좋은 convolution입니다. 각 convolution들에 대한 간단한 특징과 param수, 연산량 등에대해서 알아봅시다 ㅎㅎ 들어가기에 앞서 몇가지 기호를 정의하고, input 과 output의 크기는 동일하다고 생각하겠습니다. W : input의 width H : input의 height C : input의 channel K : kernel의 크기 M : output의 channel 먼저 standard convolution부터 알아보겠습니다. bias는 생략하도록 하겠습니다. 1. Standard Convolution 모두가 흔히들알고있는 Convolution입니다. 이 standard convolution의 param 수와 연산..