Deep Learning study

데이터 증강(Data Augmentation) 기법 모아보기 포스트 요약: 이미지, 텍스트, 오디오 도메인에서 모델의 일반화 성능을 향상시키는 다양한 데이터 증강 기법을 이론 배경, 수식 설명, 구현 예시, 장단점 비교 표까지 자세히 소개합니다. 1. 서론 데이터 증강은 학습용 데이터에 인위적인 변형을 가해 데이터셋의 크기와 다양성을 증가시키는 기법입니다.[1] 이는 과적합을 완화하고 모델의 일반화 성능을 크게 향상시키며, 특히 데이터가 제한적일 때 필수적입니다. 2. 이미지 증강 기법 2.1 기본 기법 회전(Rotation), 수평/수직 뒤집기(Flip), 크롭(Crop) 컬러 조정(Color Jitter): 밝기(brightness), 대비(contrast),..

배치 정규화(Batch Normalization)의 비밀: 원리, 구현, 활용 포스트 요약: 배치 정규화는 딥러닝 학습을 안정화하고 수렴 속도를 높이는 핵심 기법입니다. 내부 공변량 변화(internal covariate shift) 개념부터 수식 유도, PyTorch·NumPy 구현 예제, 하이퍼파라미터 설정 팁, 그리고 다양한 정규화 기법 비교까지 자세히 다룹니다. 1. 서론 딥러닝 모델 학습 초기에는 학습률을 높게 설정하면 빠르게 수렴하지만, 깊은 네트워크에서는 gradient가 불안정해지는 문제가 발생합니다. Ioffe & Szegedy(2015)의 Batch Normalization은 내부 공변량 변화(internal covariate shift)를 줄여, 학습을 더 안정적이..

과적합(Overfitting) vs 과소적합(Underfitting): 원인, 진단, 해결법 완전 정복 포스트 요약: 머신러닝/딥러닝 모델이 데이터를 너무 지나치게 학습하거나(tailoring noise) 충분히 학습하지 못하는 문제의 원인을 이해하고, 진단 방법과 대표적인 해결책—including 정규화, 데이터 증강, 하이퍼파라미터 조정—을 상세히 다룹니다. 1. 과소적합 vs 과적합 정의 과소적합(Underfitting)은 모델이 데이터의 기본 패턴조차 학습하지 못해, 훈련 데이터와 테스트 데이터 모두에서 성능이 낮은 상태입니다.[1][2] 과적합(Overfitting)은 모델이 훈련 데이터의 노이즈까지 학습하여, 훈련 성능은 높지만 새로운 데이터에 일반화 성능이 떨어지는 현상..

학습률 스케줄러(Learning Rate Scheduler) 완벽 가이드 포스트 요약: 주요 PyTorch 학습률 스케줄러인 StepLR, ExponentialLR, CosineAnnealingLR, OneCycleLR, ReduceLROnPlateau의 동작 원리와 설정 방법을 상세히 설명하고, 장단점을 비교합니다. 1. 서론 학습률(Learning Rate, lr)은 딥러닝 모델 학습의 핵심 하이퍼파라미터로, 너무 크면 발산하고 너무 작으면 수렴이 늦어집니다. 학습률 스케줄러는 에폭(epoch)이나 성능 지표에 따라 lr을 자동으로 조정하여 안정적이고 빠른 수렴을 돕습니다.[1] 주요 목적: 최적화 과정의 초기 빠른 탐색과 후반 세밀한 조정 PyTorch 내장 클래스..

전이 학습(Transfer Learning) 실전 가이드 포스트 요약: 사전학습된(pre‑trained) 모델을 활용해 새로운 데이터셋에 빠르게 적응시키는 두 가지 전략—특징 추출(feature extraction)과 미세 조정(fine‑tuning)—의 개념과 구현 방법을 자세히 설명합니다. 1. 서론 전이 학습(Transfer Learning)은 풍부한 데이터로 미리 학습된 모델의 지식을, 데이터가 제한적인 새로운 과제에 적용하는 방법입니다. 이미지 분류, 자연어 처리, 음성 인식 등 다양한 분야에서 공통으로 활용되며, 학습 시간을 단축하고 성능을 크게 향상시킵니다.[1] 사전학습 모델 예시: ImageNet으로 학습된 ResNet, BERT, Wav2Vec 등 적용..

PyTorch Autograd 심층 탐구: 연산 그래프부터 커스텀 백워드까지포스트 요약: 본 글에서는 PyTorch Autograd의 동적 계산 그래프 구축 원리와 gradient 전파 메커니즘을 철저히 분석하고, 응용 사례로서 autograd.Function을 이용해 사용자 정의 backward 연산을 구현하는 방식을 단계별로 제시합니다.서론딥러닝 모델 학습에서 역전파(backpropagation)는 핵심 알고리즘이며, 그 기반에는 자동 미분(automatic differentiation)이 자리합니다. PyTorch의 Autograd는 사용자가 작성한 순수 Python 코드에 기반해 연산 그래프를 실시간으로 구성하고, 미분 규칙(chain rule)을 적용하여 gradient를 자동으로 계산합니다.학..