손실 함수와 회귀(Regression)

손실 함수

손실 함수(Loss Function)는 머신러닝과 딥러닝 모델이 학습할 때 모델이 얼마나 잘 예측하고 있는지 평가하는 지표다. 모델의 예측값과 실제값 사이의 차이를 수치화하여, 이 차이를 최소화하도록 학습하는 데 사용된다.

 

[사진 1] 지도 학습의 결과로 발생한 output과 Loss

 

손실 함수의 역할

모델이 주어진 입력 데이터에 대해 예측을 수행할 때, 예측값이 실제값과 얼마나 다른지를 손실 함수가 계산한다. 이 값이 클수록 모델의 예측이 실제값과 많이 다르다는 의미고, 값이 작을수록 모델의 예측이 실제값과 가깝다는 의미다. 즉, 손실 함수의 목표는 예측값과 실제값 간의 차이(오차)를 줄이는 것이다.

 

예를 들어, 다음과 같은 상황을 생각해보자

• 실제 집 값이 500만 원인데 모델이 700만 원을 예측했다면, 손실 함수는 200만 원의 차이가 있음을 계산하여 손실 값으로 반환한다.
• 이후 모델은 이 손실 값을 줄이는 방향으로 학습되면서 예측 성능이 점차 향상된다.

 

Regression(회귀)

회귀 문제는 우리가 원하는 결과값이 연속적인 변수인 것을 예측하는 문제다. 예를 들어 집 값 예측, 온도 예측이 있다. 반면에 분류 문제는 우리가 원하는 결과값이 클래스(class)라고 하는 유한한 모임으로 분류 되는 문제다. 예를 들어 질병 예측(양성(1) 또는 음성(0)), 만족도 예측(1, 2, 3점)이 있다. 여기서 만족도를 1, 2, 3이라고 구분 짓는 것을 라벨링(labeling)이라고 하며 1, 2, 3 숫자들을 라벨(label)이라고 한다. 만약 1, 2, 3을 0과 1로만 구성된 벡터 (1,0,0), (0,1,0), (0,0,1)로 표현하는 방법을 원-핫 인코딩(one-hot encoding)이라고 부르며 표현 된 벡터를 원-핫 벡터(one-hot vector)라고 한다.

 

Regression의 대표적인 함수

• 평균 절대 오차 (Mean Absolute Error, MAE)
  • 정의: 실제 값과 예측 값의 차이의 절대값을 평균한 값이다. (y-y^i, 즉 수직 거리를 잔차(residual)라고 함)
  • 식: MAE = (1/n) * Σ |yi - y^i|  (i=1 to n)
    • MAE : Mean Absolute Error (평균 절대 오차)
    • n : 샘플의 개수
    • Σ : 합계(sum)
    • yi : 실제 값 (i번째 데이터의 실제 값)
    • y^i : 예측 값 (i번째 데이터의 예측 값)
  • 특징: 절대값을 사용하기 때문에 outlier(이상치)에 덜 민감하다. 실제 값과 예측 값의 차이를 그대로 반영하므로 해석이 직관적이다.
  • 장점: 이상치에 영향을 덜 받으며, 모델이 실제 값에서의 평균적인 차이를 얼마나 설명하고 있는지를 쉽게 이해할 수 있다.
  • 단점: 미분 시 절대값이 포함되기 때문에 경사 하강법 등의 최적화 알고리즘을 적용하기가 어려울 수 있다.
• 평균 제곱 오차 (Mean Squared Error, MSE)
  • 정의: 실제 값과 예측 값의 차이를 제곱한 뒤, 그 값을 평균한 값이다.
  • 식: MSE = (1/n) * Σ (yi - y^i)^2  (i=1 to n)
    • MSE : Mean Squared Error (평균 제곱 오차)
    • n : 샘플의 개수
    • Σ : 합계(sum)
    • yi : 실제 값 (i번째 데이터의 실제 값)
    • y^i : 예측 값 (i번째 데이터의 예측 값)
  • 특징: 차이를 제곱하여 계산하기 때문에 outlier에 매우 민감하다. 작은 오차보다 큰 오차에 더 큰 페널티를 주는 효과가 있다.
  • 장점: 미분 가능하여 경사 하강법과 같은 최적화 알고리즘에 사용하기 좋고, 수학적으로도 다루기 쉽다.
  • 단점: 이상치의 영향력이 커지기 때문에, 데이터에 outlier가 많으면 모델이 과대 적합(overfitting)될 위험이 있다.

[사진 2] MAE와 MSE를 활용하여 redidual을 구하여 loss를 구함

 

 

참고 자료

실전 인공지능으로 이어지는 딥러닝 개념 잡기 강의 | 딥러닝호형 - 인프런