Vector Norm (L1, L2, Frobenius)

공부를 하다보니 ||n|| 과 |n| 의 차이가 헷갈려서 작성을 시작함

 

GPT 에게 물어보니 좀 모호하게 사용되기도 한다고 함

 

벡터의 크기를 나타내는 데 사용되는 표기법에는 여러 가지가 있습니다. 일반적으로 벡터를 나타낼 때는 화살표나 굵은 글씨체를 사용하고, 벡터의 크기를 나타낼 때는 선을 사용하는 것이 일반적입니다. 여기서 선을 하나 또는 두 개 사용하는 것에 대한 차이를 살펴보겠습니다.

1. 단일 선(|v|): 이 표기법은 벡터의 '절대값' 또는 '크기'를 나타냅니다. 예를 들어, 벡터 v가 있을 때, |v|는 벡터 v의 크기를 의미합니다. 이는 벡터가 가리키는 방향과 관계없이 그 길이만을 나타냅니다.

2. 이중 선(‖v‖): 이 표기법은 주로 노름(norm)을 나타내는 데 사용됩니다. 노름은 벡터 공간에서 벡터의 '길이'나 '크기'를 측정하는 함수입니다. 이중 선 표기법은 특히 함수나 고차원 벡터의 크기를 나타내는 데 사용되며, 특정 노름을 의미할 수도 있습니다(예: L2 노름).

간단히 말해서, 단일 선은 일반적으로 기본 벡터 크기를 나타내는 반면, 이중 선은 노름이나 특정한 수학적 문맥에서의 벡터 크기를 나타내는 데 사용됩니다. 그러나 이 두 표기법 간의 구분은 때때로 모호할 수 있으며, 특히 다른 맥락에서는 서로 바꿔 사용될 수도 있습니다. 따라서 사용하는 문맥과 정의를 명확히 확인하는 것이 중요합니다.

 

그래서 이번 기회에 여러가지 vector norm 에 대한 정리를 작성함

 

---

n-dimensional Vector

 

$\mathbf{x} = \left\{x_1, \cdot \cdot \cdot, x_n \right\}$

 

---

Vector Norm

 

방향을 가지는 vector 의 크기를 scalar 값으로 변환 ($V \rightarrow R$)

 

---

$L_p$ Norm

 

측정 방식에 따라 다양한 norm 이 존재하는데 generalize 된 form 은 다음과 같음

 

$\|\mathbf{x}\|_p:=\left(\sum_{i=1}^n\left|x_i\right|^p\right)^{1 / p}$

 

이 중에서 제일 많이 쓰는 norm 이 L1 norm (p=1) 과 L2 norm (p=2)

 

---

R G Y 모두 L1 norm / B 만 L2 norm (Ref: 위키백과)

 

$L_1$ Norm

 

$\|\mathbf{x}\|_1:=\sum_{i=1}^n\left|x_i\right|$

 

L1 norm 의 경우 1차원 vector 한정으로 $\left| \mathbf{x}\right|$ (abs value) 로 표기하기도 함

 

Manhattan distance 라고도 부르는데 도시에서 이동하는 것 같은 형태를 보이기 때문이지 않을까 싶음

 

---

$L_2$ Norm

 

$\|\mathbf{x}\|_2:=\left(\sum_{i=1}^n\left|x_i\right|^2\right)^{1 / 2}$

 

우리가 일반적으로 말하는 직선거리로 Euclidean distance 라고도 부름

 

---

Frobenius Norm

 

위에서 설명한 L2 norm 은 벡터에서 사용된 예시인데, 이것을 그대로 행렬에 적용하는 경우 Frobenius norm 또는 Matrix norm 이라고 부름

 

$\|\mathbf{A}\|_F=\left(\sum_{i=1, n} \sum_{j=1, m} a_{i j}^2\right)^{\frac{1}{2}}$

 

Matrix $\mathbf{A}$ 가 있을 때, 각 행렬의 원소 값을 제곱하여 루트 씌운 값