선형화(Linearization), 선형 회귀(Linear Regression), 선형 분류(Linear classification), 선형 함수 vs 비선형 함수, 선형 모델(Linear Model), 선형 대수학(Linear Algebra), 주성분 분석(PCA), 비선형 주성분 분석(Non-Lin..

딥러닝을 위한 수학/선형 대수(Linear Algebra)

JIN_YOUNG _KIM 2024. 2. 14. 14:34

[선형](Linear)라는 말은 참 많이 등장한다.

[선형~]라는 이름으로 정의되는 각 용어들에 대해 개념적으로 정리를 하겠다.

선형화(Linearization)

결론부터 말하면, 복잡한 정보를 간단한 직선 하나로 표현하는 것이 선형화(Linearization)이라고 한다.

남자 아이가 여자 아이에게 "너의 집은 어디야?"라고 물었다고 해보자

여자는 실제로 집을 가기위해서, 2개의 상점을 거쳐야 한다.

그러나 "나는 2개의 어느 어느 상점을 거치면 집으로 도착해"라고 보통 일상에서는 표현하지 않는다.

시작점에서 도착점(집)까지의 직선적 방향으로 집의 위치를 표현한다.

-> 직선 하나로 복잡한 것을 단순하게 설명을 하고 있다.

선형 분류(Linear Classification)

결론부터 말을 하자면, 직선 하나를 긋어서 구분 짓는 것을 선형 분류(Linear Classification)이라고 한다.

우리는 사람 모양 쿠키인지 캔디인지 구분을 할 떄, 위 그림과 같이 구불구불한 선을 긋어서 구분하지 않는다.

위 그림과 같이 직선 하나로, 직선을 기준으로 왼쪽이면, 쿠키라고 구분하고 오른쪽이면 캔디라고 구분을 짓는다.

-> 이렇게 직선 하나로 무언가를 구분하는 것을 선형 분류(Linear Classification)이라고 한다.

선형 분류 또한 직선 하나로 단순하게 구분하고 있다.

선형 회귀(Linear Regression)

결론부터 말하면, 이미 주어진 샘플 데이터로부터 데이터의 [경향성]을 직선 하나로 나타내는 것을 선형 회귀(Linear

Regression)이라고 한다. 선형 회귀 직선을 이용하여 결과값을 어느 정도 예측할 수가 있다.

(물론, 데이터의 경향성을 제대로 반영한 직선이였을 때에만 적절한 예측할 수가 있는 것이다.)

-> 선형 회귀 또한 직선 하나로 단순하게 데이터[들]을 표현하고 있다.

주성분 분석(PCA, Principal Component Analysis)

결론부터 말하자면, 주어진 분포에 대해서 직선을 통하여 분석하는 것을 주성분 분석(PCA)라고 한다.

2개의 직선으로, 분포를 표현하고 있다.

그러나 위 분포 같은 경우에는 직선으로 분포를 분석하기는 매우 어렵다.

그래서 아래 그림과 같이 비선형 주성분 분석을 한다.

선형 함수(Linear Function) vs 비선형 함수(Non-Linear Function)

선형 함수(Linear Function) : 직선으로 표현되는 함수 또는 선형 방정식(선형 방정식은 아래에 자세한 설명 나옴)으로

표현하는 함수

비선형 함수(Non-Linear Function) : 선형 함수가 아닌 함수

그러나 주의해야 할 점이 있다.

그것은 바로 어떠한 변수에 대해 선형 or 비선형인지를 파악해야 한다.

변수에 따라 직선으로 표현되는 방정식이라도 비선형 함수가 될 수가 있다.

(아래의 그림을 참조)

직선의 방정식 or 선형 방정식(Linear Equation)

2 변수가 아닌 2개 이상의 변수 간의 관계를 표현한 것이 선형 방정식(Linear Equation)이라고 한다.

선형 대수학에서는 여러 가지 요인(변수)들이 보다 많이 엮여 있는 것을 분석을 하고 싶어한다.

그래서 선형 방정식을 여러 개 합쳐서 시스템을 만든다. 묶음을 만드는 거죠

(아래 3개의 그림 참조)

그리고 이 여러 방정식들을 간단한 형태로 바꾸기 위해서 행렬, 즉 벡터의 형태로 묶는다.

위와 같은 방법으로 복잡하고 큰 각 벡터들을 행렬로 표현함으로써 이해하기 쉽고 비교적 간단한 형태로 분석 및 표현을 할

수가 있다.