선형 대수학(Linear algebra)은 선형 방정식(linear equation)에 대해 연산하는 방법을 제시해 주며, 아래와 같은 형식을 취한다.
$$\begin{aligned}4x_1 - 5x_2 &= -13 \\ -2x_1 + 3x_2 &= 9\end{aligned}$$
두 개의 변수와 두 개의 방정식으로 표현된 위의 선형 시스템을 행렬(matrix)을 사용해서 간단하게 표기할 수 있다.
$$Ax = b$$
$$A = \begin{bmatrix}4&-5 \\-2&3\end{bmatrix}, b = \begin{bmatrix}-13\\9\end{bmatrix}$$
표기법
$A \in \Reals^{m \times n}$은 각 원소가 실수인 $m$개의 행(row)과 $n$개의 열(column)을 가진 행렬
$x \in \Reals^n$은 $n$개의 원소를 가지는 벡터. 일반적으로 $n$개의 행과 $1$개의 열을 가진 행렬을 $n$차원 벡터라고 말하며, 이를 열벡터(column vector)라 한다. 행벡터(row vector)는 $1$개의 행과 $n$개의 열을 가지며, $x^T$로 표기한다.
$$A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$
$$A = \begin{bmatrix} \color{#8FCACA} \rule[-3pt]{1ex}{3ex} & \color{#CBAACB} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \\ \color{#8FCACA} a^1 & \color{#CBAACB} a^2 & \cdots & \color{#FF968A} a^n \\ \color{#8FCACA} \rule[-3pt]{1ex}{3ex} & \color{#CBAACB} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \end{bmatrix}$$
$$A = \begin{bmatrix} \color{#55CBCD} \rule{4ex}{1ex} a^{T}_{1} \rule{4ex}{1ex} \\ \color{#F3B0C3} \rule{4ex}{1ex} a^{T}_{2} \rule{4ex}{1ex} \\ \vdots \\ \color{#EADA52} \rule{4ex}{1ex} a^{T}_{m} \rule{4ex}{1ex}\end{bmatrix}$$
행렬 곱셈
행렬 $A \in \Reals^{m \times \color{#FF968A}{n}}$와 $B \in \Reals^{\color{#FF968A}{n} \color{black}\times p}$의 곱은 다음과 같다.
$$C = AB \in \Reals^{m \times p}$$
$$C_{ij} = \sum^{n}_{k=1} A_{ik}B_{kj}$$
벡터와 벡터 곱(Vector-Vector products)
두 개의 벡터 $x, y \in \Reals^n$가 주어졌을 때, $x^{T}y$를 내적(inner product or dot product)이라고 부른다.
$$x^{T}y \in \Reals = \begin{bmatrix} x_1 & x_2 & \cdots & x_n \end{bmatrix} \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix} = \sum^{n}_{i=1} x_{i}y_{i}$$
두 개의 벡터 $x \in \Reals^m, y \in \Reals^n$가 주어졌을 때, $xy^{T} \in \Reals^{m \times n}$을 벡터의 외적(outer product)이라 한다.
$$xy^{T} \in \Reals^{m \times n} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix} \begin{bmatrix} y_1 & y_2 & \cdots & y_n \end{bmatrix} = \begin{bmatrix} x_{1}y_{1} & x_{1}y_{2} & \cdots & x_{1}y_{n}\\ x_{2}y_{1} & x_{2}y_{2} & \cdots & x_{2}y_{n}\\ \vdots & \vdots & \ddots & \vdots\\ x_{m}y_{1} & x_{m}y_{2} & \cdots & x_{m}y_{n} \end{bmatrix}$$
$$A = \begin{bmatrix} \color{#FF968A} \rule[-3pt]{1ex}{3ex} & \color{#FF968A} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \\ \color{#FF968A} x & \color{#FF968A} x & \cdots & \color{#FF968A} x \\ \color{#FF968A} \rule[-3pt]{1ex}{3ex} & \color{#FF968A} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \end{bmatrix} = \begin{bmatrix} x_{1} & x_{1} & \cdots & x_{1}\\ x_{2} & x_{2} & \cdots & x_{2}\\ \vdots & \vdots & \ddots & \vdots\\ x_{m} & x_{m} & \cdots & x_{m} \end{bmatrix} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix} \begin{bmatrix} 1 & 1 & \cdots & 1 \end{bmatrix} = x1^{T}$$
행렬 벡터 곱(Matrix-Vector products)
행렬 $A \in \Reals^{m \times n}$와 벡터 $x \in \Reals^n$가 주어졌을 때, 곱은 벡터 $y = Ax \in \Reals^m$이다. 이때, 행렬과 벡터의 곱을 여러 가지 방법으로 표기할 수 있다.
행렬 $A$를 행으로 쓰면 곱은 다음과 같이 쓸 수 있다. 즉 $y$의 $i$번째 요소는 행렬 $A$의 $i$번째 행과 벡터 $x$의 내적과 같다.
$$y = Ax = \begin{bmatrix} \color{#55CBCD} \rule{4ex}{1ex} a^{T}_{1} \rule{4ex}{1ex} \\ \color{#F3B0C3} \rule{4ex}{1ex} a^{T}_{2} \rule{4ex}{1ex} \\ \vdots \\ \color{#EADA52} \rule{4ex}{1ex} a^{T}_{m} \rule{4ex}{1ex}\end{bmatrix} x = \begin{bmatrix} a^{T}_{1}x \\ a^{T}_{2}x \\ \vdots \\ a^{T}_{m}x \end{bmatrix}$$
행렬 $A$를 열의 형태로 써서 다음과 같이 표현할 수 있다.
$$y = Ax = \begin{bmatrix} \color{#8FCACA} \rule[-3pt]{1ex}{3ex} & \color{#CBAACB} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \\ \color{#8FCACA} a^1 & \color{#CBAACB} a^2 & \cdots & \color{#FF968A} a^n \\ \color{#8FCACA} \rule[-3pt]{1ex}{3ex} & \color{#CBAACB} \rule[-3pt]{1ex}{3ex} & & \color{#FF968A} \rule[-3pt]{1ex}{3ex} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix} = \begin{bmatrix} \color{#8FCACA} \rule[-3pt]{1ex}{3ex} \\ \color{#8FCACA} a^1 \\ \color{#8FCACA} \rule[-3pt]{1ex}{3ex} \end{bmatrix} x_1 + \begin{bmatrix} \color{#CBAACB} \rule[-3pt]{1ex}{3ex} \\ \color{#CBAACB} a^2 \\ \color{#CBAACB} \rule[-3pt]{1ex}{3ex} \end{bmatrix} x_2 + \cdots + \begin{bmatrix} \color{#FF968A} \rule[-3pt]{1ex}{3ex} \\ \color{#FF968A} a^n \\ \color{#FF968A} \rule[-3pt]{1ex}{3ex} \end{bmatrix} x_m$$
즉, $y$는 행렬 $A$의 열에 대한 선형 조합(linear combination)이며, 선형 조합의 계수는 $x$의 요소들로 주어진다.
#FF968A
댓글