AI/개념

최적화(Optimization)먼저 최적화에 대해 알아보기 전에 모델링의 매커니즘에 대해서 알아보자 기본적으로 입력 값 X가 주어졌을 때, 모델을 통해 예측 값을 도출하고, 그 예측 값을 손실 함수에 넣어서 손실을 계산하게 된다. 손실 함수의 역할은 모델이 얼마나 잘 예측했는지를 평가하는 것이며, 손실 값이 작을수록 더 좋은 모델이라는 의미이다.  따라서 우리의 궁극적인 목표는 손실 함수의 값을 최소화하는 w(모델의 파라미터)를 찾는 것이다. 이 w는 모델이 데이터를 잘 설명할 수 있도록 최적화된 값이다.  모든 학습 과정의 핵심은 최적의 w를 찾는 것이며, 이를 위해 다양한 최적화 알고리즘 (예: 경사하강법, Adam 등)이 사용된다. 이러한 알고리즘들은 반복적으로 w를 업데이트하며 손실 함수를 최소화..

손실 함수손실 함수(Loss Function)는 머신러닝과 딥러닝 모델이 학습할 때 모델이 얼마나 잘 예측하고 있는지 평가하는 지표다. 모델의 예측값과 실제값 사이의 차이를 수치화하여, 이 차이를 최소화하도록 학습하는 데 사용된다.  손실 함수의 역할모델이 주어진 입력 데이터에 대해 예측을 수행할 때, 예측값이 실제값과 얼마나 다른지를 손실 함수가 계산한다. 이 값이 클수록 모델의 예측이 실제값과 많이 다르다는 의미고, 값이 작을수록 모델의 예측이 실제값과 가깝다는 의미다. 즉, 손실 함수의 목표는 예측값과 실제값 간의 차이(오차)를 줄이는 것이다. 예를 들어, 다음과 같은 상황을 생각해보자실제 집 값이 500만 원인데 모델이 700만 원을 예측했다면, 손실 함수는 200만 원의 차이가 있음을 계산하여 ..

활성화 함수활성화 함수란?활성화 함수(Activation Function)는 인공 신경망에서 뉴런의 출력을 결정하는 비선형 변환 함수이다. 입력 데이터가 뉴런을 통과할 때, 활성화 함수는 입력의 가중합을 특정 범위로 변환하여 출력하게 되며, 이를 통해 신경망이 학습을 진행할 수 있도록 한다.  엄밀히 말하자면 선형 함수를 활성화 함수로 쓸수도 있지만대체적으로 선형 함수를 활성화 함수로 사용하진 않는다.활성화 함수의 역할비선형성 도입신경망이 복잡한 패턴을 학습하고 비선형적 관계를 모델링할 수 있도록 한다. 만약 활성화 함수가 없다면, 신경망은 단순한 선형 모델로 동작하여 복잡한 문제를 해결할 수 없다. (일차식의 한계)출력값 제한활성화 함수는 뉴런의 출력을 특정 범위로 제한하여 출력 값이 너무 커지거나 작..

퍼셉트론 구조와 학습 규칙퍼셉트론의 등장 배경퍼셉트론은 ‘percept(인지하다)’와 ‘neuron(뉴런)’의 합성어로, 인간의 뇌가 정보를 처리하는 방식을 모방한 인공 신경망이다. MCP 뉴런이 가진 여러 한계점을 극복하기 위해 만들어졌으며, 특히 데이터를 학습하고 조정하는 능력을 갖추고 있다. MCP 뉴런의 한계점과 퍼셉트론의 특징학습 규칙의 부재MCP 뉴런은 입력에 대한 가중치와 임계값을 미리 사람이 정해야 한다. 이렇게 고정된 구조는 새로운 데이터에 유연하게 대처하지 못하는 문제를 발생시킨다.해결 방안: 퍼셉트론은 학습 알고리즘을 통해 가중치를 스스로 조정한다. 즉, 학습된 데이터를 바탕으로 새로운 데이터에 대해서도 예측이 가능해지도록 설계되었다. 이를 통해 예측 성능을 지속적으로 향상시킬 수 있..