전체 글

[딥러닝] Cost Function과 Activation Function

1. Cost Function(비용 함수) loss function(손실 함수)이라고 부르기도 한다. 신경망이 최적의 가중치, 파라미터(parameter)를 찾는데 사용되는 지표 → 인공신경망은 loss를 낮추는 방향으로 학습 대표적인 cost function에는 MSE, cross-entropy loss 2가지가 있음 MSE(Mean Squared Error) 실제값과 예측값간의 차이의 제곱합 수식에서 y_hat이 예측값에 해당. y_hat = $w_i * x_i + b_i$ cross-entropy loss 분류 모델이 얼마나 잘 수행되는지 측정하기 위해 사용되는 지표 확률값(모델의 예측값)과 원핫인코딩된 레이블값과 비교하는 것 2. Activation Function(활성화 함수) 일반적으로 입력 ..

[딥러닝] 인공지능, 머신러닝, 딥러닝의 차이는?

인공지능, 머신러닝, 딥러닝의 차이는? 인공지능, 머신러닝, 딥러닝의 관계: 머신러닝과 딥러닝은 인공지능에 포함되는 개념이고, 딥러닝은 머신러닝에 포함되는 개념이다. 인공지능(Artificial Intelligence): 사람의 지능을 만들기 위한 시스템이나 프로그램 머신러닝(Machine Learning) / 기계학습: 명시적으로 규칙을 프로그래밍하지 않고, 데이터로부터 의사결정을 위한 패턴을 기계가 스스로 학습함. 학습 방법에 따라 다시 3가지로 나뉨 지도 학습(supervised learning): 정답이 있는 데이터로 학습시키는 것. 예) 분류, 회귀 비지도 학습(unsupervised learning): 정답이 없는 데이터로 학습시키는 것. 예) 클러스터링 강화 학습(reinforcement l..

[딥러닝] Epoch, Batch, Iteration 차이

Epoch, Batch, Iteration 차이 epoch: 전체 데이터를 몇 번 학습시킬지 batch: 데이터를 한 번에 몇 개씩 학습할지 iteration: 1 epoch을 학습하는데 필요한 미니배치 수 예시) 이미지 데이터 1000장, epoch=100, batch=25일 때: iteration = epoch / batch = 1000 / 25 = 40이 된다. 1 iteration: 이미지 25장을 학습하는 것 1 epoch: 이미지 1000장을 학습하는 것 전체 iteration = 전체 데이터 개수 * epoch / batch = 1000 * 100 / 25 = 4000 참고 자료 아이공의 AI 공부 도전기 - Epoch vs Iteration 비교

[딥러닝] Bias, Variance

Bias는 왜 있는걸까? bias는 데이터에 더 fit한 모델을 만들기 위해 평행 이동하는 역할을 한다. 모든 데이터는 원점을 기준으로 분포하지 않기 때문에, bias는 모델이 평면 상에서 이동할 수 있도록 하고, 또한 bias도 학습하도록 한다. Bias vs Variance Bias: 실제 값과 예측 값의 차이 (or 평균간의 거리) Variance: 예측 값의 흩어진 정도 Bias와 variance 모두 loss이므로, 둘 다 작은 모델이 직관적으로 좋은 모델이다. 위 그림은 train/test data에 대한 결과를 bias와 variance 관점에서 해석한 그림이다. (a): bias와 variance 둘 다 작아 가장 좋은 모델 (low bias-low variance) (b): low bia..

질문 리스트

Deep Learning 질문 (출처) epoch, batch, iteration의 차이는? 딥러닝은 무엇인가요? 인공지능과 딥러닝과 머신러닝의 차이는? Cost Function과 Activation Function은 무엇인가요? Tensorflow, PyTorch 특징과 차이가 뭘까요? Data Normalization은 무엇이고 왜 필요한가요? 알고있는 Activation Function에 대해 알려주세요. (Sigmoid, ReLU, LeakyReLU, Tanh 등) 오버피팅일 경우 어떻게 대처해야 할까요? 하이퍼 파라미터는 무엇인가요? Weight Initialization 방법에 대해 말해주세요. 그리고 무엇을 많이 사용하나요? 볼츠만 머신은 무엇인가요? TF, PyTorch 등을 사용할 때 디..