Linear Algebra Review

最近重新看了小黃大師的線性代數筆記,才發現自己原來忘了這麼多基本定理,而這些定理又是不斷的被利用在自己最近看的papers或是修的課程上面,為什麼論文上或是課本上的式子總是這麼不親易近人呢 ?有必要把數學式子表示的很cool讓大家覺得你很強嗎 ?

1.向量空間(Vector Space)有著8大性質,其中最重要的就是:

a. 向量加法的封閉性

b. 純量積的封閉性

2. 矩陣 A 可逆 <=> Ax=0只有零解 <=> A 可以列運算至 In 單位矩陣 <=>A = E1 E2 E3 …En 可以寫成單位矩陣的乘積 (口訣: 逆零單乘)

3. (AB)’ = B’A’ (AB)^-1 = B^-1 A ^-1

4. 矩陣Rank的概念 : A 做列簡化之後剩下的 n列非零列稱為 A 之 Rank : Rank(A) = n

5. 矩陣三型列運算 : 列交換 ˋ某列乘以 k倍ˋ某列乘以 k 倍加到另一列

6. 子空間的利用 => 可以利用在降低維度上面 ( reduce dimension ) ,子空間的意義:

A 是 B 的子空間 ( subspace ) => A 是向量空間且A包含於B ( A必含0向量)

舉例 : 2 D 空間是一個平面,其中通過原點的其中一條直線必是此平面中的子空間,降維利用: 2D上的一群點,可以利用投影(Projection)投射到一維空間的平面上做計算

7. 相似的概念 : A~B ( A wave B) means Exist a P such that P^-1AP = B ( A is similar to B)

性質: Trace(A) = Trace(A) det(A) = det(B) R(A) = R(B) N = N(B)

8. 線性轉換的概念 ( Linear Transform) : 若某函數 T is linear : V -> V’
then T(v1 + v2) = T(v1) + T(v2) 且 T(a*v1) = a T(v1)
推廣 T(a*v1 + b*v2) = a * T(v1) + b * T(v2) ( a , b 是純量 )

9. Linearly independent的概念 : a1 x1 + a2 x2 + a3 x3 + …. + an xn = 0 => a1=a2=….=an=0 稱作 x1 …. xn 為線性獨立集,反之存在 ai # 0使之整個式子為零則稱作線性相依集。
=> 基底的概念:某個向量空間的全部元素均可以用基底所有元素的線性組合表之。=> 基底必是某個向量空間的最大獨立集,且是最小生成集。
=> 基底的元素個數表示向量空間的維度 (dimension)

10.函數作用於向量轉換成矩陣作用於座標 : 每一個線性函數均可以用一個矩陣表示,每一個向量均可以轉成座標。
例子: T: V -> V’ , T is linear . B: V的基底 B’:V’的基底。
則T用矩陣表示則是T把B中每個元素傳過去V’之後利用V’的基底表示 ( 寫成行 ) => 就可以得到轉換矩陣。相對的把向量表示成座標也就是此向量寫成基底的線性組合之純量項。

11. Eigenvalue與Eigenvector的用途:做矩陣對角化P^-1 A P = B
其中P的每一行均是A的Eigenvector,B是一個對角矩陣,對角線每一元素均是相對A中每一行的Eigenvalue。
直觀意義: T(x) = r*x Ax = r*x 矩陣(函數)作用簡化成純量積,則r稱於相對x(x不可以為0向量)的eigenvalue。Ax – rx = 0 , (A-rI) x = 0,因為x不等於0,所以A-rI為singular => det(A-rI) = 0 => 求算出r (可能有很多個)。又(A-rI)作用於x等於0,則要求x則是求kernel(A-rI) : 核空間=>必是子空間(eigenspace)。

12.美麗的性質:假設我們求出A的特徵值有r1,r2,…,rn,則eigenspace有n個。
這n個eigenspace均是T-invariant ( T不變子空間 : 傳送過去均是落在原始集合),假設T: V->V,這n個eigenspace行成V的直和(direct sum),即這n個eigenspace聯集等於V且是任一個交集其他人的和空間均是零空間{0},所以呢,我們可以把這n個特徵空間的基底聯集起來當作V的基底,很漂亮的V的基底每個元素均有特徵值,當我們把基底的每個元素擺成行放入P,特徵值擺對角放入D則我們可以得到P^-1 A P = D (對角化)。

13.內積(inner product):內積是一把尺,他用來測量兩向量是否垂直,他也可以用來測量一個向量的長度。內積的性質有:左線性,共軛右線性,正定性。
<a*v,b*u> = a<v,u>+b’<v,u>
<v,v> >= 0

14.向量垂直 <v,v> = 0

15. 2 norm 求向量長度 <v,v>^1/2

16.每個向量均有長度,向量除以自己的長度就會得到單位向量:長度=1

17.投影的概念(projection):某向量空間中的向量v要投影到某個子空間w,
則我們要找出w中的正交基底(orthogonal basis),之後v投影到w中的向量v’即可以寫成此基底的線性組合。

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s