미적분학(머신러닝) : 평균 변화율과 순간 변화율, 미분 계수, 도함수

 머신러닝에서 순간적 또는 평균적으로 변화하는 변수의 변화량을 알기 위해서는 미적분학 학습이 필수적으로 필요합니다. 간략한 개념과 방법 등을 설명하겠으니 천천히 읽으시고 개념만 잡으시기 바랍니다.

 

1. 평균 변화율과 순간 변화율

 (1) 평균 변화율 : 평균적으로 변화하는 양(기울기)이라 생각하시면 되겠습니다. 아래 수식을 보시면 평균 변화율이란 x2에서의 y값과 x1에서의 y 값의 변화를 확인하는 것과 동일합니다. 이때 Δ(델타)라는 기호는 변화량이라 생각하시면 되겠습니다. 

반응형

평균 변화율

 간단히 그림으로 이해해 보겠습니다. x1이 4이고 x2가 6이며, y1이 4이며 y2가 8일 때 평균 변화율은 2가 됩니다. 즉 기울기가 2인 직선이 생성된다고 생각하시면 될 것 같습니다. 

 더 쉽게 말씀 드리면 우리가 자동차를 운전하다 구간 단속에 들어갔는데 y1, y2는 거리 그리고 x1, x2는 속도라고 합시다. x1이 10 km/h, x2가 20 km/h 그리고 y1은 10 km, y2는 40 km일 때 평균 속력은 3 km/h라 생각하시면 되겠습니다. 

 자 정리합시다. 평균 변화율이란 x1에서의 y1값과 x2에서의 y2값의 점을 직선으로 이었을 때 발생하는 기울기라 생각하시면 되겠습니다. 만약 기울기가 저점 커진다면, 평균 속도가 증가한다고 생각하시면 되겠지요.

평균 변화율 그림 예제

 

 (2) 순간 변화율 : 접선의 기울기

 아래 수식을 보시면 극한의 개념이 나오죠? x2가 x1에 무한이 가까워질 때를 순간 변화율이라고 하는데 한번 그림으로 설명드리겠습니다. 

 

순간 변화율

 아래 그림을 확인하시면, x2가 x1으로 무한이 가까워지고 있습니다. 그때마다 기울기가 점차 변화하시는 게 보이시죠? 제일 오른쪽에 x 2가 있을 때는 평균 변화율이라 말할 수 있습니다. 하지만 x1에 무한이 가까워졌을 때는 평균 변화율이라 할 수 있을 까요? 평균을 할 것이 없는 점일 뿐인데요. 

 즉, 이럴 때는 순간 변화율이라 명칭하며 접선을 기울기라고 표현하고 있습니다. 순간적으로 변화량이 큰 그래프 등은 순간 변화율로 촘촘히 확인하면서 그 값을 찾아가는 것입니다.

 만약 머신러닝시에 변화율이 적은 데이터라면, 평균 변화율을 사용해서 계산량을 줄일 수 도 있습니다. 만약 변화율이 큰 데이터라면, 순간 변화율로 데이터를 촘촘히 확인하여 계산량은 증가하지만 거의 사실에 가까운 값을 복원할 수 도 또는 예측할 수도 있는 것이지요.

순간 변화율 그림 예제

 

2. 미분 계수 : 접선의 기울기(순간 변화율)

 아래 미분계수 수식을 보면 h로 표현되어 있죠? 이때 x2가 x1+h로 변화하였는데 이 의미만 한번 생각해 봅시다. h는 정확히 말하자면 x1과 x2 사이의 거리라고 생각하시면 됩니다. 아래 그림을 확인해 보실까요?

미분 계수

 아래 그림에서 h는 x2와 x1의 거리 임을 확인할 수 있습니다. 즉, x2는 h+x1으로 나타낼 수 있는 것이며, 이 값을 위의 수식에 대입해 정리한 것뿐입니다. 간단하죠?

h 그림으로 설명

 

3. 도함수 : x에 특정 값을 넣으면 순간 변화율을 구할 수 있다.

 도함수는 위의 미분 계수 수식에 x1이 아닌 x가 들어간 것 뿐입니다. 다 같은 맥락이죠.

쉽게 말씀드려, 도함수는 함수의 성질을 가지고 있는 것이며, x에 특정 값을 넣으면 어떤 새로운 값이 나오는 것이죠. 즉, 도함수는 x에 특정 값을 넣으면, 미분계수가 나온다라고 생각하시면 되겠습니다.

도함수

 이때 Notation은 아래와 같습니다. dy를 dx로 미분한다라고 읽어주시면 됩니다.

도함수 Notation

 예제로 3x에 대한 도함수를 계산해 보겠습니다. 계산하면 2x의 도함수는 2가 나오는 다는 것을 알 수 있습니다. 즉 x값에 상관없이 무조건 2가 나온다고 생각하시면 됩니다.

 

도함수 예제

 그림으로 생각하시면 모든 순간적인 변화율은 일정하게 2인 것을 확인할 수 있죠.

도함수 예제 그림