선형 함수(Linear Function) : 선형 결정 경계, 선형성, homogeneity, additivity

 선형 함수라는 것은 간단히 말씀드려 직선으로 구현되며, 제곱이 없다는 것과 동일합니다. 입력이 있으면 출력이 항상 일정하게 나오는 것을 선형 하다고 하지요. 그러면 이 개념만 가지고 선형 함수를 설명드리겠습니다.

 

 우리가 사는 세계는 전부 비선형적인데 굳이 성형성을 찾는 이유는 어떠한 문제를 분석, 설계, 개선을 위해서 문제점을 최대한 근사하여 단순하게 보겠다는 뜻입니다. 즉, 문제가 선형적으로 변해야 우리는 그. 나. 마 문제에 대한 추측과 계산을 할 수 있기 때문이죠.

 

1. 선형 결정 경계(Linear Decision Boundary)

반응형

 

 특정 그룹들이 직성으로 경계가 구분되는 것을 말합니다. 아래와 같이 예를 들어 보겠습니다. 아래 그림에서 녹색 점들은 만화를, 빨간색 점들은 비디오를 좋아하는 사람들입니다. 두 집단을 y=ax를 이용하여 간단히 구분하였죠. 이를 선형 결정 경계라고 합니다. 

2차원 평면에서의 결정 경계

 3차원에서의 선형 결정 경계도 어떻게 나타내어지는지 확인해 보겠습니다. 아래 그림처면 특정 면을 기준으로 두 그룹이 분리되는 것을 확인할 수 있습니다. 

3차원 평면에서의 결정 경계

 

 그렇다면 무엇이 선형이 아닐까요? 그렇습니다. 제곱 텀이 있으면 아니라고 했죠. 간단히 2차원 평면에서 확인해 보겠습니다. 아래 그림을 보시면 두 그룹이 원으로써 구분이 되어집니다. 원은 제곱이니 직선으로 표현이 되지 않죠. 이를 비 선형 결정 경계라고 합니다.

 

 

 

 

2차원 평면에서의 비 선형 결정 경계

 

 2. 선형성이란 무엇인가

 아래의 두 가지 조건을 만족하는 것이 선형성(Linearity)라고 합니다. 

 - Homogeneity : 입력만큼 출력이 나온다.(먹은 만큼 나온다)

 - Additivity :  다른 값끼리 더한 입력이 있을 지라도 출력 또한 두 값이 더한 값이 나오는 것입니다.(여러 가지를 동시에 먹어도 나오는 양은 변하지 않는다)

 우선 Homogeneity의 경우 먹은 만큼 나오는 것을 확인할 수 있습니다. 과자 2개를 먹었으니 과자 2개가 나오는군요.

 

Homogeneity

 아래는 Additivity인데 과자와 아이스크림을 동시에 먹어도 나오는 양은 같은 것을 확인할 수 있습니다. 과자와 아이스크림을 동시에 먹었는데 출력이 과자와 아이스크림으로 동일하네요.

Additivity

 위의 두 조건을 모두 만족시키는 것이 바로 "Linearity"라고 합니다. 아래와 같이 수식으로 표현됩니다. 이것을 다른 말로 선형 시스템이라고 하지요.

선형성

 

 그러면 선형성이 없는 예제도 궁금하시죠? 간단하게 선형성이 있는 경우의 예제와 선형성이 없는 경우의 예제를 살펴보겠습니다.

 (1) 선형성이 있는 경우

 아래 그림을 보시면 두 식을 각각 더해도 똑같은 출력이 나오는 것을 확인할 수 있습니다. 예제를 보아도 이상이 전혀 없죠. Homogeneity와 additivity가 전부 만족합니다.

 

 

선형성이 있는 경우

 (2) 선형성이 없는 경우

  아래 그림은 Homogeneity 불만족의 대표적인 경우인데 ax + b에서 b라는 바이어스 때문에 입력과 출력이 전혀 다른 값을 가지게 된 경우입니다.

선형성이 없는 경우(Homogeneity 불만족)

  또한 aditivity를 만족하지 않는 경우인데 아래 그림을 확인해 보겠습니다. aditivity 만족성에 의해 출력과 입력에 대하여 각각 계산해 보았는데 바이어스 b로 인해 만족이 되지 않는 것을 확인할 수 있습니다.

선형성이 없는 경우(Aditivity 불만족)

 

 단, 위의 ax + b는 함수적으로는 성형성을 가지지 않지만, 앞서 설명드린 선형 결정 경계 입장에서 1차원 함수적으로는 선형성을 가지게 됩니다. 조금 어렵지만 이런 것이 있다고 생각하시면 돼요. 차 후 코딩 시에는 좀 더 잘 설명 드리겠습니다. 수고하셨고 느리지만 조금씩 앞으로 같이 가보시죠.