Twierdzenie spektralne (Spectral theorem)

Opowiem Ci dziś o reprezentacji spektralnej lub jak kto woli Twierdzeniu spektralnym.
Z tym, że ograniczę się dla prostoty tylko do macierzy.

Pokaże Ci specjalną własność na przykładzie, a potem uogólnimy na szersze przypadki.

PRZYKŁAD 1.
Weźmy macierz, dla której zachodzi warunek $\mathbf{A}{{\mathbf{A}}^{T}}={{\mathbf{A}}^{T}}\mathbf{A}$ . Macierz, która to spełnia nazywana jest to macierz normalną o współczynnikach rzeczywistych, ale do tego jeszcze dojdziemy. Masz zatem dla przykładu macierz

$\mathbf{A}=\left[ \begin{matrix} 1 & 3 & 0 \\ 3 & -2 & -1 \\ 0 & -1 & 1 \\ \end{matrix} \right]$
Tak na marginesie to jest jeszcze szczególniejszy przypadek macierz normalnej rzeczywistej, gdyż jest to macierz symetryczna. Czyli ${{\mathbf{A}}^{T}}=\mathbf{A}$

Wyliczasz wartości własne wychodzą takie $\begin{matrix} {{\lambda }_{1}}=1 \\ {{\lambda }_{2}}=3 \\ {{\lambda }_{3}}=-4 \\ \end{matrix}$ , można to oczywiście zapisać tak $\left\{ {{\lambda }_{i}} \right\}_{i=1}^{3}=\{1,3,-4\}$ . Widać także, że każda lambda jest jednokrotna.
Obliczasz odpowiadające tym wartości własnym wektory własne o normie równej 1, czyli unormowane (bardzo ważne). A następnie dla tych wektorów odpowiadające projektory.

${{\mathbf{V}}_{1}}=\left[ \begin{matrix} 1 \\ 0 \\ 3 \\ \end{matrix} \right]\frac{1}{\sqrt{10}}$

${{\mathbf{p}}_{1}}=\left[ \begin{matrix} 1 \\ 0 \\ 3 \\ \end{matrix} \right]\cdot \left[ \begin{matrix} 1 & 0 & 3 \\ \end{matrix} \right]\cdot \frac{1}{10}=\left[ \begin{matrix} 1 & 0 & 3 \\ 0 & 0 & 0 \\ 3 & 0 & 9 \\ \end{matrix} \right]\cdot \frac{1}{10}$

${{\mathbf{V}}_{2}}=\left[ \begin{matrix} 3 \\ 2 \\ -1 \\ \end{matrix} \right]\frac{1}{\sqrt{14}}$

${{\mathbf{p}}_{2}}=\left[ \begin{matrix} 3 \\ 2 \\ -1 \\ \end{matrix} \right]\cdot \left[ \begin{matrix} 3 & 2 & -1 \\ \end{matrix} \right]\cdot \frac{1}{14}=\left[ \begin{matrix} 9 & 6 & -3 \\ 6 & 4 & -2 \\ -3 & -2 & 1 \\ \end{matrix} \right]\cdot \frac{1}{14}$

${{\mathbf{V}}_{3}}=\left[ \begin{matrix} -3 \\ 5 \\ 1 \\ \end{matrix} \right]\frac{1}{\sqrt{35}}$

${{\mathbf{p}}_{2}}=\left[ \begin{matrix} -3 \\ 5 \\ 1 \\ \end{matrix} \right]\cdot \left[ \begin{matrix} -3 & 5 & 1 \\ \end{matrix} \right]\cdot \frac{1}{35}=\left[ \begin{matrix} 9 & -15 & -3 \\ -15 & 25 & 5 \\ -3 & 5 & 1 \\ \end{matrix} \right]\cdot \frac{1}{35}$

To co chcę Ci pokazać to że zajdzie taka równość:

$\mathbf{A}=\sum\limits_{i=1}^{3}{{{\lambda }_{i}}{{\mathbf{p}}_{i}}}={{\lambda }_{1}}{{\mathbf{p}}_{1}}+{{\lambda }_{2}}{{\mathbf{p}}_{2}}+{{\lambda }_{3}}{{\mathbf{p}}_{3}}$

Sprawdźmy czy rzeczywiście, zapisujemy zatem prawą stronę równości

$P=1\cdot \left[ \begin{matrix} 1 & 0 & 3 \\ 0 & 0 & 0 \\ 3 & 0 & 9 \\ \end{matrix} \right]\cdot \frac{1}{10}+3\cdot \left[ \begin{matrix} 9 & 6 & -3 \\ 6 & 4 & -2 \\ -3 & -2 & 1 \\ \end{matrix} \right]\cdot \frac{1}{14}-4\cdot \left[ \begin{matrix} 9 & -15 & -3 \\ -15 & 25 & 5 \\ -3 & 5 & 1 \\ \end{matrix} \right]\cdot \frac{1}{35}=$

$=\left( \left[ \begin{matrix} 7 & 0 & 21 \\ 0 & 0 & 0 \\ 21 & 0 & 63 \\ \end{matrix} \right]+\left[ \begin{matrix} 135 & 30 & -45 \\ 90 & 60 & -30 \\ -45 & -30 & 15 \\ \end{matrix} \right]+\left[ \begin{matrix} -72 & 120 & 24 \\ 120 & -200 & -40 \\ 24 & -40 & -8 \\ \end{matrix} \right] \right)\cdot \frac{1}{70}=$

$=\left[ \begin{matrix} 70 & 210 & 0 \\ 210 & -140 & -70 \\ 0 & -70 & 70 \\ \end{matrix} \right]\cdot \frac{1}{70}= \left[ \begin{matrix} 1 & 3 & 0 \\ 3 & -2 & -1 \\ 0 & -1 & 1 \\ \end{matrix} \right]=\mathbf{A}=L$

Trzeba przyznać jest to dosyć ciekawe, że można macierz rozłożyć na składniki, w których odpowiednia lambda przemnożona przez odpowiedni projektor, daje tą macierz.

PRZYKŁAD 2.
Teraz dla takiej macierzy:

$\mathbf{A}=\left[ \begin{matrix} 2 & -1 \\ 1 & 2 \\ \end{matrix} \right]$
Najpierw sprawdzamy czy spełniony jest warunek $\mathbf{A}{{\mathbf{A}}^{T }}={{\mathbf{A}}^{T}}\mathbf{A}$ .
$\mathbf{A}{{\mathbf{A}}^{T }}-{{\mathbf{A}}^{T}}\mathbf{A} = \left[ \begin{matrix} 2 & -1 \\ 1 & 2 \\ \end{matrix} \right] \cdot \left[ \begin{matrix} 2 & 1 \\ -1 & 2 \\ \end{matrix} \right] - \left[ \begin{matrix} 2 & 1 \\ -1 & 2 \\ \end{matrix} \right] \cdot \left[ \begin{matrix} 2 & -1 \\ 1 & 2 \\ \end{matrix} \right]=$
$\[ = \left[ \begin{matrix} 4+1 & 2-2 \\ 2-2 & 4+1 \\ \end{matrix} \right] - \left[ \begin{matrix} 4+1 & 2-2 \\ 2-2 & 4+1 \\ \end{matrix} \right] =\left[ \begin{matrix} 0 & 0 \\ 0 & 0 \\ \end{matrix} \right]=\mathbf{0}$

Skoro zachodzi, to wyznaczamy równanie charakterystyczne.

$\left| \begin{matrix} 2-\lambda & -1 \\ 1 & 2-\lambda \\ \end{matrix} \right|=4-4\lambda +{{\lambda }^{2}}+1$ , czyli mamy ${{\lambda }^{2}}-4\lambda +5=0$

wartości własne to ${{\lambda }_{1}}=\frac{4-2i}{2}=2-i$ oraz ${{\lambda }_{2}}=\frac{4+2i}{2}=2+i$

1) dla ${{\lambda }_{1}}=2-i$ mamy:

$\left[ \begin{matrix} i & -1 \\ 1 & i \\ \end{matrix} \right]\left[ \begin{matrix} {{v}_{1}} \\ {{v}_{2}} \\ \end{matrix} \right]=\left[ \begin{matrix} 0 \\ 0 \\ \end{matrix} \right]$ ,
czyli spełnia to ${{v}_{2}}={{v}_{1}}i$ . Mamy wektor np. ${{\mathbf{w}}_{1}}=\left[ \begin{matrix} 1 \\ i \\ \end{matrix} \right]$ .
Trzeba go unormować (skrócić do długości 1). ${{\mathbf{V}}_{1}}=\frac{{{\mathbf{w}}_{1}}}{\left\| {{\mathbf{w}}_{1}} \right\|}$ ,
ale uwaga jest zespolony
$\left\| {{\mathbf{w}}_{1}} \right\| = \sqrt{|1|^2+|i|^2}=\sqrt{2}$ , Jednak zapiszę to tak, aby przyzwyczaić Cię do nowych oznaczeń.
$\left\| {{\mathbf{w}}_{1}} \right\|=\sqrt{\mathbf{w}_{1}^{\dagger }{{\mathbf{w}}_{1}}}=\sqrt{\left[ \begin{matrix} 1 & -i \\ \end{matrix} \right]\left[ \begin{matrix} 1 \\ i \\ \end{matrix} \right]}=\sqrt{2}$

Co to jest ten krzyż ? To jest poprostu trazpozycja i sprzężenie, oczywiście w dowolnej kolejnosci.

$\mathbf{B}^{\dagger}=(\mathbf{B}^T)^*=(\mathbf{B}^*)^T$

Mówi się krótko, że jest to sprzężenie hermitowskie, a czyta (B z krzyżem).

2) dla ${{\lambda }_{2}}=2+i$ jest, zaś:

$\left[ \begin{matrix} -i & -1 \\ 1 & -i \\ \end{matrix} \right]\left[ \begin{matrix} {{v}_{1}} \\ {{v}_{2}} \\ \end{matrix} \right]=\left[ \begin{matrix} 0 \\ 0 \\ \end{matrix} \right]$

czyli spełnia to ${{v}_{2}}=-{{v}_{1}}i$ , mamy wektor np.

${{\mathbf{w}}_{2}}=\left[ \begin{matrix} 1 \\ -i \\ \end{matrix} \right]$ , a unormowany to ${{\mathbf{V}}_{2}}=\frac{{{\mathbf{w}}_{2}}}{\left\| {{\mathbf{w}}_{2}} \right\|}$ ,
$$\left\| {{\mathbf{w}}_{2}} \right\|=\sqrt{\mathbf{w}_{2}^{\dagger }{{\mathbf{w}}_{2}}}=\sqrt{\left[ \begin{matrix} 1 & i \\ \end{matrix} \right]\left[ \begin{matrix} 1 \\ -i \\ \end{matrix} \right]}=\sqrt{2}$
Liczymy projektory:

${{\mathbf{V}}_{1}}=\left[ \begin{matrix} 1 \\ i \\ \end{matrix} \right]\frac{1}{\sqrt{2}}$	${{\mathbf{p}}_{1}}={{\mathbf{V}}_{1}}\mathbf{V}_{1}^{\dagger }=\left[ \begin{matrix} 1 \\ i \\ \end{matrix} \right]\cdot \left[ \begin{matrix} 1 & -i \\ \end{matrix} \right]\cdot \frac{1}{2}=\left[ \begin{matrix} 1 & -i \\ i & 1 \\ \end{matrix} \right]\cdot \frac{1}{2}$
${{\mathbf{V}}_{2}}=\left[ \begin{matrix} 1 \\ -i \\ \end{matrix} \right]\frac{1}{\sqrt{2}}$	${{\mathbf{p}}_{2}}={{\mathbf{V}}_{2}}\mathbf{V}_{2}^{\dagger }=\left[ \begin{matrix} 1 \\ -i \\ \end{matrix} \right]\cdot \left[ \begin{matrix} 1 & i \\ \end{matrix} \right]\cdot \frac{1}{2}=\left[ \begin{matrix} 1 & i \\ -i & 1 \\ \end{matrix} \right]\cdot \frac{1}{2}$

Sprawdzamy czy zachodzi $\mathbf{A} = {{\lambda }_{1}}{{\mathbf{p}}_{2}}+{{\lambda }_{2}}{{\mathbf{p}}_{2}}$ ,
a zatem:

${{\lambda }_{1}}{{\mathbf{p}}_{2}}+{{\lambda }_{2}}{{\mathbf{p}}_{2}}=(2-i)\left[ \begin{matrix} 1 & -i \\ i & 1 \\ \end{matrix} \right]\cdot \frac{1}{2}+(2+i)\left[ \begin{matrix} 1 & i \\ -i & 1 \\ \end{matrix} \right]\cdot \frac{1}{2}=$
$=\left[ \begin{matrix} 2-i+2+i & -2i-1+2i-1 \\ 2i+1-2i+1 & 2-i+2+i \\ \end{matrix} \right]\cdot \frac{1}{2}=\left[ \begin{matrix} 2 & -1 \\ 1 & 2 \\ \end{matrix} \right]=\mathbf{A}$

Rzeczywiście znowu zadziało. Pięknie wyszło prawda 🙂

TWIERDZENIE
Do tej pory mówiłem o warunku $\mathbf{A}{{\mathbf{A}}^{T}}={{\mathbf{A}}^{T}}\mathbf{A}$ . Jednak warunek jest mniej rygorystyczny, gdyż wystarczy, że $\mathbf{A}{{\mathbf{A}}^{\dagger }}={{\mathbf{A}}^{\dagger }}\mathbf{A}$
Czyli macierz spełniająca ten warunek jest macierzą normalną

Sformułujmy twierdzenie spektralne
Macierz normalną można przedstawić w poniższej postaci.

$\mathbf{A}=\sum\limits_{i=1}^{n}{{{\lambda }_{i}}{{\mathbf{p}}_{i}}}$ , gdzie
${{\mathbf{p}}_{i}}=\sum\limits_{k=1}^{{{n}_{i}}}{\mathbf{V}_{i}^{(k)}\mathbf{V}{{_{i}^{(k)}}^{\dagger }}}$

nazywany jest projektorem lub rzutem albo projekcją. Wszystkie wektory $\mathbf{V}$ są unormowane. n jest liczbą różnych wartości własnych, $${{n}_{i}}$ jest krotnością $i$ tej $\lambda_i$
Zachodzą także inne ciekawe zależności. ${{\mathbf{p}}_{i}}{{\mathbf{p}}_{j}}={{\delta }_{ij}}{{\mathbf{p}}_{i}}$ oraz $\mathbf{I}=\sum\limits_{i=1}^{n}{{{\mathbf{p}}_{i}}}$ .

To w dalszym ciągu nie jest ogólne twierdzenie. Twierdzenie w ogólności dotyczy operatorów liniowych nie koniecznie macierzy, jak również nie koniecznie operatorów dyskretnych jak macierz. Operator może być ciągły i wtedy zamiast sum są całki.

PRZYKŁAD 3.
Weźmy sobie macierz:

$\mathbf{A}=\left[ \begin{matrix} 0 & -1 & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & -1 \\ 0 & 0 & 1 & 0 \\ \end{matrix} \right].$

Sprawdzamy czy macierz jest normalna tzn. $\mathbf{A}{{\mathbf{A}}^{\dagger }}={{\mathbf{A}}^{\dagger }}\mathbf{A}$ . Okazuje się, że tak.
Wartości własne to ${{\lambda }_{1}}=\underbrace{i}_{2k}$ , ${{\lambda }_{2}}=\underbrace{-i}_{2k}$
W przypadku, gdyby dana wartość własna ma krotność większą niż 1. W tedy jej projektor to suma poszczególnych iloczynów wektorów własnych dla tej $\lambda$

1) dla ${{\lambda }_{1}}=i$

$\left[ \begin{matrix} -i & -1 & 0 & 0 \\ 1 & -i & 0 & 0 \\ 0 & 0 & -i & -1 \\ 0 & 0 & 1 & -i \\ \end{matrix} \right]\left[ \begin{matrix} x \\ y \\ z \\ w \\ \end{matrix} \right]=\left[ \begin{matrix} 0 \\ 0 \\ 0 \\ 0 \\ \end{matrix} \right]\to \left\{ \begin{matrix} xi=-y \\ zi=-w \\ \end{matrix} \right.$

Jeden unormowany wektor własny to:

$\mathbf{V}_{1}^{(1)}=\left[ \begin{matrix} 1 \\ -i \\ 0 \\ 0 \\ \end{matrix} \right]\cdot \frac{1}{\sqrt{2}},$
a drugi wektor niezależny to: $\mathbf{V}_{1}^{(2)}=\left[ \begin{matrix} 0 \\ 0 \\ 1 \\ -i \\ \end{matrix} \right]\cdot \frac{1}{\sqrt{2}}$
Obliczmy teraz projektor.
${{\mathbf{p}}_{1}}=\mathbf{V}_{1}^{(1)}\mathbf{V}{{_{1}^{(1)}}^{\dagger }}+\mathbf{V}_{1}^{(2)}\mathbf{V}{{_{1}^{(2)}}^{\dagger }}=$
$=\frac{1}{2}\cdot \left[ \begin{matrix} 1 \\ -i \\ 0 \\ 0 \\ \end{matrix} \right]\left[ \begin{matrix} 1 & i & 0 & 0 \\ \end{matrix} \right]+\frac{1}{2}\cdot \left[ \begin{matrix} 0 \\ 0 \\ 1 \\ -i \\ \end{matrix} \right]\left[ \begin{matrix} 0 & 0 & 1 & i \\ \end{matrix} \right]= \frac{1}{2}\cdot \left[ \begin{matrix} 1 & i & 0 & 0 \\ -i & 1 & 0 & 0 \\ 0 & 0 & 1 & i \\ 0 & 0 & -i & 1 \\ \end{matrix} \right]$

2) dla ${{\lambda }_{2}}=-i$

$\left[ \begin{matrix} i & -1 & 0 & 0 \\ 1 & i & 0 & 0 \\ 0 & 0 & i & -1 \\ 0 & 0 & 1 & i \\ \end{matrix} \right]\left[ \begin{matrix} x \\ y \\ z \\ w \\ \end{matrix} \right]=\left[ \begin{matrix} 0 \\ 0 \\ 0 \\ 0 \\ \end{matrix} \right]\to \left\{ \begin{matrix} xi=y \\ zi=w \\ \end{matrix} \right.$

$\mathbf{V}_{2}^{(1)}=\left[ \begin{matrix} 1 \\ i \\ 0 \\ 0 \\ \end{matrix} \right]\cdot \frac{1}{\sqrt{2}}$
i drugi wektor niezależny to:
$\mathbf{V}_{2}^{(2)}=\left[ \begin{matrix} 0 \\ 0 \\ 1 \\ i \\ \end{matrix} \right]\cdot \frac{1}{\sqrt{2}}$
projektor
${{\mathbf{p}}_{2}}=\mathbf{V}_{2}^{(1)}\mathbf{V}{{_{2}^{(1)}}^{\dagger }}+\mathbf{V}_{2}^{(2)}\mathbf{V}{{_{2}^{(2)}}^{\dagger }}=$
$=\frac{1}{2}\cdot \left[ \begin{matrix} 1 \\ i \\ 0 \\ 0 \\ \end{matrix} \right]\left[ \begin{matrix} 1 & -i & 0 & 0 \\ \end{matrix} \right]+\frac{1}{2}\cdot \left[ \begin{matrix} 0 \\ 0 \\ 1 \\ i \\ \end{matrix} \right]\left[ \begin{matrix} 0 & 0 & 1 & -i \\ \end{matrix} \right]=\frac{1}{2}\cdot \left[ \begin{matrix} 1 & -i & 0 & 0 \\ i & 1 & 0 & 0 \\ 0 & 0 & 1 & -i \\ 0 & 0 & i & 1 \\ \end{matrix} \right]$
Sprawdźmy czy tym razem też się uda i równość $\mathbf{A}={{\lambda }_{1}}{{\mathbf{p}}_{2}}+{{\lambda }_{2}}{{\mathbf{p}}_{2}}$ będzie spełniona.

${{\lambda }_{1}}{{\mathbf{p}}_{2}}+{{\lambda }_{2}}{{\mathbf{p}}_{2}}=i \cdot \frac{1}{2}\cdot \left[ \begin{matrix} 1 & i & 0 & 0 \\ -i & 1 & 0 & 0 \\ 0 & 0 & 1 & i \\ 0 & 0 & -i & 1 \\ \end{matrix} \right]-i \cdot \frac{1}{2}\cdot \left[ \begin{matrix} 1 & -i & 0 & 0 \\ i & 1 & 0 & 0 \\ 0 & 0 & 1 & -i \\ 0 & 0 & i & 1 \\ \end{matrix} \right]=$
$=\frac{1}{2} i \left[ \begin{matrix} 0 & 2i & 0 & 0 \\ -2i & 0 & 0 & 0 \\ 0 & 0 & 0 & 2i \\ 0 & 0 & -2i & 0 \\ \end{matrix} \right]=\left[ \begin{matrix} 0 & -1 & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & -1 \\ 0 & 0 & 1 & 0 \\ \end{matrix} \right] = \mathbf{A}$

Czyli znowu zadziałało 🙂

Wiadomości uzupełniające
definicja komutatora
Mówiąc komutator nie mam namyśli elementu np. silnika elektrycznego jak na poniższym zdjęciu 🙂

Tylko o komutator w kontekście matematyki

$\left[a,b \right] = ab-ba$
mówimy, że $a$ komutuje z $b$ jeżeli $\left[a,b \right]=0$

Zatem zamiast pisać, że mamy macierz normalną możemy równie dobrze powiedzieć, że mamy macierz, która komutuje ze swoim sprzężeniem hermitowskim co zapisujemy tak:

$\left[ \mathbf{A},\mathbf{A}^{\dagger} \right]=0$

Macierz symetryczna to tak, która spełnia równość

$\mathbf{A}=\mathbf{A}^T$

Macierz hermitowska to tak, która spełnia równość

$\mathbf{A}=\mathbf{A}^{\dagger}$

Macierz ortogonlana to tak, która spełnia równość

$\mathbf{AA}^T=\mathbf{I}$

oczywiście z tego wynika także to

$\mathbf{A}^T\mathbf{A}=\mathbf{I}$

dlaczego? Bo wystarczy przemnożyć równanie lewostronnie przez $\mathbf{A}^{-1}$ , a potem prawostronnie przez $\mathbf{A}$ i dostaniemy ten drugi warunek.