Deep Learning

[딥러닝] 인공지능, 머신러닝, 딥러닝의 차이는?

인공지능, 머신러닝, 딥러닝의 차이는? 인공지능, 머신러닝, 딥러닝의 관계: 머신러닝과 딥러닝은 인공지능에 포함되는 개념이고, 딥러닝은 머신러닝에 포함되는 개념이다. 인공지능(Artificial Intelligence): 사람의 지능을 만들기 위한 시스템이나 프로그램 머신러닝(Machine Learning) / 기계학습: 명시적으로 규칙을 프로그래밍하지 않고, 데이터로부터 의사결정을 위한 패턴을 기계가 스스로 학습함. 학습 방법에 따라 다시 3가지로 나뉨 지도 학습(supervised learning): 정답이 있는 데이터로 학습시키는 것. 예) 분류, 회귀 비지도 학습(unsupervised learning): 정답이 없는 데이터로 학습시키는 것. 예) 클러스터링 강화 학습(reinforcement l..

[딥러닝] Epoch, Batch, Iteration 차이

Epoch, Batch, Iteration 차이 epoch: 전체 데이터를 몇 번 학습시킬지 batch: 데이터를 한 번에 몇 개씩 학습할지 iteration: 1 epoch을 학습하는데 필요한 미니배치 수 예시) 이미지 데이터 1000장, epoch=100, batch=25일 때: iteration = epoch / batch = 1000 / 25 = 40이 된다. 1 iteration: 이미지 25장을 학습하는 것 1 epoch: 이미지 1000장을 학습하는 것 전체 iteration = 전체 데이터 개수 * epoch / batch = 1000 * 100 / 25 = 4000 참고 자료 아이공의 AI 공부 도전기 - Epoch vs Iteration 비교

[딥러닝] Bias, Variance

Bias는 왜 있는걸까? bias는 데이터에 더 fit한 모델을 만들기 위해 평행 이동하는 역할을 한다. 모든 데이터는 원점을 기준으로 분포하지 않기 때문에, bias는 모델이 평면 상에서 이동할 수 있도록 하고, 또한 bias도 학습하도록 한다. Bias vs Variance Bias: 실제 값과 예측 값의 차이 (or 평균간의 거리) Variance: 예측 값의 흩어진 정도 Bias와 variance 모두 loss이므로, 둘 다 작은 모델이 직관적으로 좋은 모델이다. 위 그림은 train/test data에 대한 결과를 bias와 variance 관점에서 해석한 그림이다. (a): bias와 variance 둘 다 작아 가장 좋은 모델 (low bias-low variance) (b): low bia..

질문 리스트

Deep Learning 질문 (출처) epoch, batch, iteration의 차이는? 딥러닝은 무엇인가요? 인공지능과 딥러닝과 머신러닝의 차이는? Cost Function과 Activation Function은 무엇인가요? Tensorflow, PyTorch 특징과 차이가 뭘까요? Data Normalization은 무엇이고 왜 필요한가요? 알고있는 Activation Function에 대해 알려주세요. (Sigmoid, ReLU, LeakyReLU, Tanh 등) 오버피팅일 경우 어떻게 대처해야 할까요? 하이퍼 파라미터는 무엇인가요? Weight Initialization 방법에 대해 말해주세요. 그리고 무엇을 많이 사용하나요? 볼츠만 머신은 무엇인가요? TF, PyTorch 등을 사용할 때 디..

[논문 리뷰] ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators (ICLR 2020)

1. 기존 pre-training 방식 LM(Language Modeling) 왼쪽에서 오른쪽으로 처리해 이전에 등장한 단어들을 기반으로 다음 단어를 예측 GPT 등 MLM(Masked Language Modeling) 랜덤하게 전체 토큰의 일부(일반적으로 15%)를 마스킹 처리한 후, 마스크 토큰의 원본 단어를 예측 LM과 비교해 양방향 정보를 모두 고려하는 장점 전체 입력 토큰 중 15%만 학습하는 단점 BERT, RoBERTa, XLNet 등 ⇒ ELECTRA에서는 MLM pre-training 방식의 단점을 보완해 Replaced token detection 방식을 제안 단점 1: 전체 토큰의 15%만 학습해 학습 비용이 많이 듦 단점 2: [MASK]토큰이 pre-training 단계에서만 등장..

[논문 리뷰] VGGNet (CVPR 2014)

안녕하세요 🐣 이번에 공부할 논문은 Very Deep Convolutional Networks for Large-Scale Image Recognition(VGGNet) 입니다. 아직 논문을 자세히 읽지 못해서 추후에 보완하도록 하겠습니다. 논문 원문은 여기서 확인할 수 있습니다. 논문 핵심 내용 CNN layer를 깊이 쌓을수록 성능이 향상된다. → layer에 따른 성능 차이를 확인하기 위해 동일한 크기의 커널을 사용하고 layer만 다르게 쌓아 실험을 진행했다. layer에 따른 성능 차이를 비교하기 위해 3*3크기의 간단한 커널을 사용했다. 아래는 본 논문에서 실험한 6가지 구조이다. AlexNet, ZFNet 처럼 224*244 크기의 컬러 이미지 사용 1개 or 여러개의 convolution ..