민정♥성윤

머신러닝의 개념과 용어

▶ 회귀분석

▶ Linear Regression

▶ Hypothesis

▶ Cost(Loss)

Linear combinations and span

Linear Combination(선형 결합)이란 실수 배의 스칼라 곱을 한 벡터들의 합을 말한다.

벡터 a = (1, 2), 벡터 b = (0, 3)

선형 결합은 (벡터 0a + 벡터 0b) 일 수도 있다. 0벡터를 얻는 것도 선형결합의 하나이다.

아무런 실수를 넣어 벡터 a와 벡터 b의 또다른 선형결합을 얻을 수 있다.

 Linear Combination에서 Linear가 붙는 이유는 벡터끼리 곱하고 있는게 아니라 벡터에 스칼라 곱을 하고 있기 때문이다. 스칼라 곱을 하게되면 선형으로 벡터가 줄어들거나 늘어나는 것을 의미한다.

※ 벡터의 곱셈은 뭔지 정의 하지도 않았다. (몇 가지 방법은 있다.) 벡터를 제곱할 수도 없다. (제곱하면 선형이 아니기 때문이다)

그럼 이 벡터들을 더하고 빼면서 얻을 수 있는 모든 벡터의 집합은 뭔가요

(벡터 3a + 벡터 -2b) = 벡터(3, 0) 그래프

위의 어떤 벡터든지간에, 이 두 벡터의 선형결합으로 나타낼 수 있다. 즉. a를 아무렇게나 스칼라곱을해서 b를 어떤 방향으로든 더하면(위/아래) 위의 모든점을 나타낼 수 있다.

Span(생성)은 스칼라 곱을 벡터들의 선형 결합으로 생성된 공간을 의미한다. 위의 모든 벡터를 a와 b의 선형결합으로 나타낼 수 있다.

벡터 a=(2, 2), 벡터 b는 (-2, -2)로 잡을 경우 모든 벡터를 나타낼 수 없다. 그 이유는 항상 같은 선위에 놓이기 때문이다. ( 벡터 a와 벡터 b는 같은 기울기를 가진 벡터)

벡터 a = (2, 2), 벡터 b = (-2, -2)

벡터 a랑 벡터 b를 어떻게 선형결합을 구하든 간에 절대로 벡터 c를 구할 수 없다.

표준형태에서 더할 수도 있고, 벡터 a의 크기를 키우고 벡터 b도 키우고 시작점과 끝점을 연결해도 다 같은선 위에 놓이게 된다. 이와 같은 경우의 Span(벡터 a, 벡터 b)는  전첼가 아니고 직선이다.

0벡터의 Span은 결국 0벡터 하나 뿐이다. 

벡터 a의 span은 벡터 a 자신의 선형결합으로 얻을 수 있는 벡터이다. 즉 실수배의 스칼라곱이다.  벡터 a하나의 span은 직선이라고 보면 되고 벡터 2 개의 span은 (두 벡터는 같은 직선상에 없어야 한다.)이다.

Span(생성)은 스칼라 곱을 벡터들의 선형 결합으로 생성된 공간을 의미하며 수학적으로 정의를 내리면 다음과 같다.

벡터 a, 벡터b의 선형결합으로 전체를 나타낼 수 있다는 것을 증명한다. 위의 어떤 점 x를 나타내고 싶다고 가정한다. 좌표(x1, x2)인 x1 과 x2를 정의하고 벡터 a와 벡터 b의 선형결합을 통해서 나타낼 수 있는 스칼라 곱 C1, C2를 구하는 공식을 구해낸다.

그럼 R^2 위의 어떤 점을 잡든 간에 임의의 실수 두 개를 잡는 건데요. 이대로 계산을 하면 그 점을 얻으려면 a와 b에 정확히 얼마만큼 상수배를 하는지 알 수 있죠

a와 b의 선형결합을 어떻게 해야 저 점에 다다를 수 있는지를

구해낸 공식이 벡터 x를 나타내는지 확인하기 위하여 벡터 a와 벡터 b의 값을 넣어 계산한다.

이 포스팅은 머신러닝/딥러닝을 위한 선행학습으로 칸 아카데미(Khan Academy)의 Linear algebra(선형 대수) Vectors and spaces의 Linear combinations and span 강의에 대한 학습노트입니다.

Parametric representations of lines

선형대수가 아닌 수업에서 본적이 없을만한 내용이라고 한다.

벡터 v = (2, 1)

벡터 2v, 벡터 1.5v,  벡터 0.001v

벡터 2v, 벡터 1.5v,  벡터 0.001v 그래프

집합 S를 나타내는 선을 벡터 x의 크기만큼 이동한 집합을 L이라고 하면 다음과 같이 표현할 수 있다

벡터 x = (2, 4)

벡터 x, parallel line 그래프

벡터 -2v + 벡터x

y=mx+b의 일차 방정식의 형태로 표현해도 동일하나 굳이 이렇게 집합을 통해서 표현하는 이유는 집합이 더 일반적인 형태(General Form)의 표현 방법이기 때문이다. 2차원 실수 공간에서는 일차 방정식이 형태가 편리하나 n차원 실수 공간이 될 경우, 집합으로 표현할 수 밖에 없다.

벡터 a = (2, 1), 벡터 b = (0, 3)

벡터 a = (2, 1), 벡터 b = (0, 3), (벡터 b - 벡터 a) 그래프

벡터 a와 벡터 b의 끝을 지나가는 선을 L이라고 할 때, L을 집합으로 표현하면 다음과 같다.

could add vector b to it

could add vector a to it

집합 L은 (벡터 b - 벡터 a)를 나타내는 벡터에 스칼라 곱을 한 벡터들의 집합으로 표현한 선을 벡터 b 또는 벡터 a만큼 이동한 것으로 나타낸 것이다. 집합 L을 이용하여 x, y 좌표를 구하는 공식은 다음과 같다.

x, y 좌표

3차원 벡터 p1, 벡터 p2의 끝을 지나가는 선을 집합으로 표현하면 다음과 같다.

p1 - p2

집합 L을 이용하여 x, y, z 좌표의 값을 구하는 공식을 구하면 다음과 같다.

x, y, z 방정식 표현

x+y+z=k의 방정식 형태는 3차원 실수 공간의 선이 아니라 면을 표기한 것이다.

이 포스팅은 머신러닝/딥러닝을 위한 선행학습으로 칸 아카데미(Khan Academy)의 Linear algebra(선형 대수) Vectors and spaces의 Parametric representations of lines 강의에 대한 학습노트입니다.

Unit vectors intro

이전에 벡터를 시각화 하는 것을 해보았다.

수학적으로 표현한다면, 벡터의 꼬리에서부터 벡터의 머리까지 수평방향에서 얼마나 떨어져 있을까?

그리고 수직방향으로는 얼마나 떨어져 있을까?

벡터 v = (2, 3)

Vector examples

이번 영상은 기초로 돌아가서 예시 위주의 강의이다.

는  순서가 주어진 2-튜플로서 모든 순서쌍의 집합이다.

${\mathrm{(x1,\; x2)에서 x1,\; x2는\; 실수이며,\; 실수\; 집합의\; 원소이다.}}^{}$

벡터 a = (-1, 2), 벡터b = (3, 1).

벡터 a와 벡터 b를 성분별로 더한다.

보통 벡터는 어떤 점에서든 시작할 수 있다는게 관습이다.

(x1, x2)에서 시작한다고 했을때 벡터 a를 나타내보면 (x1 - 1, x1 + 2)가 된다.

(-4, 4) 시작접에서 벡터a를 나타내고 싶다면, 벡터 a의 첫 번째 성분에 -4를 더하고 벡터a의 두 번째 성분에 4를 더한다.

(-4, 4)에서의 벡터a

(-4, 4)에서의 벡터a를 그리면 아래와 같다.

수평으로 -1만큼, 수직으로 +2만큼 가는 벡터a는 어느 지점에서든지 나타낼 수 있다.

벡터b를 나타내면 다음과 같다.

standard position은 (0, 0) 이다. 표준점에서 벡터a, 벡터b, 벡터a + 벡터b 를 나타내면 다음과 같다.

벡터 a와 벡터b를 더했을 때 그 관계를 명확하게 표현해 주기 위해서 벡터a에 벡터b를 연결하는 것이다. 즉 벡터 a의 끝점에 벡터b의 시작점을 연결하라는 것이다.

정리하자면 표준점에서 시작한 a의 끝점에서 b를 시작하는 것이다. 그리하여 벡터 a의 시작점이랑 벡터 b의 끝점이랑 이으면 그게 바로 벡터의 합이 된다.

Vector에 양수의 Scalar를 곱하면 Magnitude만 확장된다

벡터 v, 벡터v * 2

x - y 그래프

 y - x

y - x 그래프

x 와 -x는 평행하며, 방향만 정반대이다.

벡터 a = (0, -1, 2, 3), 벡터 b = (4, -2, 0, 5)

벡터 4a - 벡터 2b 

Multiplying a vector by a scalar

값이 (2,1)인 벡터 a가 있다.
 

Vector에 양수의 Scalar를 곱하면 Magnitude만 확장된다.

벡터 a에 3을 곱한다고 하면 3 x (2,1)과 같다. 3은 그저 숫자이며, 벡터는 얼마만큼 어느 방향으로 움직여야 하는지 크기와 방향, 둘 다 알려준다.

각각의 성분에 3을 곱하게 되면, 2와 1이 벡터의 각 성분이니 이들을 3으로 곱한다. (3 x 2)와 (3 x 1)이 된다. 스칼라를 곱한 벡터는 여전히 2차원 벡터(6, 3)이다.

벡터 a 와 스칼라 3을 곱한 그래프로 표현하면 아래와 같다.

위의 스칼라 곱을 하였을 경우 방향은 여전히 같은 방향을 가지고 있으며, 크기는 바뀌었다. 스칼라(scalar)가 확대(scale up)를 해주며, 스칼라(scalar)와 확대하다(scale up)의 어원이 같다. 스칼라의 곱은 벡터를 확대한다고 정리 할 수 있다.

각각의 성분에 -1을 곱하게 되면, 2와 1이 벡터의 각 성분이니 이들을 -1으로 곱한다. (2 x -1)와 (1 x -1)이 된다. 스칼라를 곱한 벡터는 여전히 2차원 벡터(-2, -1)이다.

Vector에 음수의 Scalar 곱을 하면 Direction은 반대방향이 되며 Magnitude도 확장된다.

$${\mathrm{a벡터(6,\; -2),\; b벡터(-4,\; 4)}}^{}$$