Произведение Кронекера

Произведение Кронекера — бинарная операция над матрицами произвольного размера, обозначается [math]\displaystyle{ \otimes }[/math]. Результатом является блочная матрица.

Произведение Кронекера не следует путать с обычным умножением матриц. Операция названа в честь немецкого математика Леопольда Кронекера.

Определение

Если A — матрица размера m×n, B — матрица размера p×q, тогда произведение Кронекера есть блочная матрица размера mp×nq

[math]\displaystyle{ A \otimes B = \begin{bmatrix} a_{11} B & \cdots & a_{1n}B \\ \vdots & \ddots & \vdots \\ a_{m1} B & \cdots & a_{mn} B \end{bmatrix}. }[/math]

В развёрнутом виде

[math]\displaystyle{ \mathbf{A}\otimes\mathbf{B} = \begin{bmatrix} a_{11} b_{11} & a_{11} b_{12} & \cdots & a_{11} b_{1q} & \cdots & \cdots & a_{1n} b_{11} & a_{1n} b_{12} & \cdots & a_{1n} b_{1q} \\ a_{11} b_{21} & a_{11} b_{22} & \cdots & a_{11} b_{2q} & \cdots & \cdots & a_{1n} b_{21} & a_{1n} b_{22} & \cdots & a_{1n} b_{2q} \\ \vdots & \vdots & \ddots & \vdots & & & \vdots & \vdots & \ddots & \vdots \\ a_{11} b_{p1} & a_{11} b_{p2} & \cdots & a_{11} b_{pq} & \cdots & \cdots & a_{1n} b_{p1} & a_{1n} b_{p2} & \cdots & a_{1n} b_{pq} \\ \vdots & \vdots & & \vdots & \ddots & & \vdots & \vdots & & \vdots \\ \vdots & \vdots & & \vdots & & \ddots & \vdots & \vdots & & \vdots \\ a_{m1} b_{11} & a_{m1} b_{12} & \cdots & a_{m1} b_{1q} & \cdots & \cdots & a_{mn} b_{11} & a_{mn} b_{12} & \cdots & a_{mn} b_{1q} \\ a_{m1} b_{21} & a_{m1} b_{22} & \cdots & a_{m1} b_{2q} & \cdots & \cdots & a_{mn} b_{21} & a_{mn} b_{22} & \cdots & a_{mn} b_{2q} \\ \vdots & \vdots & \ddots & \vdots & & & \vdots & \vdots & \ddots & \vdots \\ a_{m1} b_{p1} & a_{m1} b_{p2} & \cdots & a_{m1} b_{pq} & \cdots & \cdots & a_{mn} b_{p1} & a_{mn} b_{p2} & \cdots & a_{mn} b_{pq} \end{bmatrix}. }[/math]

Если A и B представляют собой линейные преобразования V₁ → W₁ и V₂ → W₂, соответственно, то A ⊗ B представляет собой тензорное произведение двух отображений, V₁ ⊗ V₂ → W₁ ⊗ W₂.

Пример

[math]\displaystyle{ \begin{bmatrix} 1 & 2 \\ 3 & 4 \\ \end{bmatrix} \otimes \begin{bmatrix} 0 & 5 \\ 6 & 7 \\ \end{bmatrix} = \begin{bmatrix} 1\cdot 0 & 1\cdot 5 & 2\cdot 0 & 2\cdot 5 \\ 1\cdot 6 & 1\cdot 7 & 2\cdot 6 & 2\cdot 7 \\ 3\cdot 0 & 3\cdot 5 & 4\cdot 0 & 4\cdot 5 \\ 3\cdot 6 & 3\cdot 7 & 4\cdot 6 & 4\cdot 7 \\ \end{bmatrix} = \begin{bmatrix} 0 & 5 & 0 & 10 \\ 6 & 7 & 12 & 14 \\ 0 & 15 & 0 & 20 \\ 18 & 21 & 24 & 28 \end{bmatrix} }[/math].

Билинейность, ассоциативность и некоммутативность

• Произведение Кронекера является частным случаем тензорного произведения, и значит оно является билинейным и ассоциативным:

[math]\displaystyle{ A \otimes (B+C) = A \otimes B + A \otimes C, }[/math]

[math]\displaystyle{ (A+B)\otimes C = A \otimes C + B \otimes C, }[/math]

[math]\displaystyle{ (kA) \otimes B = A \otimes (kB) = k(A \otimes B), }[/math]

[math]\displaystyle{ (A \otimes B) \otimes C = A \otimes (B \otimes C), }[/math]

где A, B и C есть матрицы, а k — скаляр.

• Произведение Кронекера не является коммутативным. Хотя, всегда существуют такие матрицы перестановки P и Q, что

[math]\displaystyle{ A \otimes B = P \, (B \otimes A) \, Q. }[/math]

Если A и B квадратные матрицы, тогда A [math]\displaystyle{ \otimes }[/math] B и B [math]\displaystyle{ \otimes }[/math] A являются перестановочно подобными, то есть, P = Q^T.

Транспонирование

Операции транспонирования и эрмитова сопряжения можно переставлять с произведением Кронекера:

[math]\displaystyle{ (A\otimes B)^T = A^T \otimes B^T, }[/math]

[math]\displaystyle{ (A\otimes B)^H = A^H \otimes B^H. }[/math]

Смешанное произведение

• Если A, B, C и D являются матрицами такого размера, что существуют произведения AC и BD, тогда

[math]\displaystyle{ (A \otimes B)(C \otimes D) = AC \otimes BD. }[/math]

• A [math]\displaystyle{ \otimes }[/math] B является обратимой тогда и только тогда, когда A и B являются обратимыми, и тогда

[math]\displaystyle{ (A \otimes B)^{-1} = A^{-1} \otimes B^{-1}. }[/math]

[math]\displaystyle{ (A \otimes B) \odot (C \otimes D) = (A \odot C) \otimes (B \odot D) }[/math], где [math]\displaystyle{ \odot }[/math] - произведение Адамара

[math]\displaystyle{ A \otimes B = (I \otimes B )(A \otimes I) }[/math], где [math]\displaystyle{ I }[/math] - единичная матрица.

Сумма и экспонента Кронекера

• Пусть A — матрица размера n×n, B — матрица размера m×m и [math]\displaystyle{ E_k }[/math] — единичная матрица размера k×k. Тогда можно определить сумму Кронекера [math]\displaystyle{ \oplus }[/math] как

[math]\displaystyle{ A \oplus B = A \otimes E_m + E_n \otimes B. }[/math]

• Также справедливо

[math]\displaystyle{ e^{A \oplus B} = e^A \otimes e^B. }[/math]

Спектр, след и определитель

• Если A и B квадратные матрицы размера n и q соответственно. Если λ₁, …, λ_n — собственные значения матрицы A и μ₁, …, μ_q собственные значения матрицы B. Тогда собственными значениями A [math]\displaystyle{ \otimes }[/math] B являются

[math]\displaystyle{ \lambda_i \mu_j, \qquad i=1,\ldots,n ,\, j=1,\ldots,q. }[/math]

• След и определитель произведения Кронекера равны

[math]\displaystyle{ \operatorname{tr}(A \otimes B) = \operatorname{tr} (A) \, \operatorname{tr} (B), }[/math]

[math]\displaystyle{ \det(A \otimes B) = (\det A)^q (\det B)^n. }[/math]

Сингулярное разложение и ранг

• Если матрица A имеет r_A ненулевых сингулярных значений:

[math]\displaystyle{ \sigma_{A,i}, \qquad i = 1, \ldots, r_A. }[/math]

Ненулевые сингулярные значения матрицы B:

[math]\displaystyle{ \sigma_{B,i}, \qquad i = 1, \ldots, r_B. }[/math]

Тогда произведение Кронекера A [math]\displaystyle{ \otimes }[/math] B имеет r_Ar_B ненулевых сингулярных значений

[math]\displaystyle{ \sigma_{A,i} \sigma_{B,j}, \qquad i=1,\ldots,r_A ,\, j=1,\ldots,r_B. }[/math]

• Ранг матрицы равен количеству ненулевых сингулярных значений,

[math]\displaystyle{ \operatorname{rank}(A \otimes B) = \operatorname{rank} (A) \, \operatorname{rank} (B). }[/math]

История

Произведение Кронекера названо в честь Леопольда Кронекера, несмотря даже на то, что существует мало свидетельств о том, что он был первым, кто определил и использовал эту операцию. В прошлом произведение Кронекера иногда называли матрицей Зефусса.

Блочные версии произведения Кронекера

В случае блочных матриц могут использоваться матричные операции, связанные c произведением Кронекера и отличающиеся порядком соответствующего перемножения блоков. Таковыми являются произведения Трейси – Сингха (англ. Tracy–Singh product) и произведение Хатри — Рао.

Произведение Трейси-Сингха

Указанная операция перемножения блочных матриц заключается в том, что каждый блок левой матрицы умножается последовательно на блоки правой матрицы. При этом формируемая структура результирующей матрицы отличается от характерной для произведения Кронекера. Произведение Трейси – Сингха определяется как

[math]\displaystyle{ \mathbf{A} \odot \mathbf{B} = \left(\mathbf{A}_{ij} \odot \mathbf{B}\right)_{ij} = \left(\left(\mathbf{A}_{ij} \otimes \mathbf{B}_{kl}\right)_{kl}\right)_{ij} }[/math]

Например:

[math]\displaystyle{ \mathbf{A} = \left[ \begin{array} {c | c} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \hline \mathbf{A}_{21} & \mathbf{A}_{22} \end{array} \right] = \left[ \begin{array} {c c | c} 1 & 2 & 3 \\ 4 & 5 & 6 \\ \hline 7 & 8 & 9 \end{array} \right] ,\quad \mathbf{B} = \left[ \begin{array} {c | c} \mathbf{B}_{11} & \mathbf{B}_{12} \\ \hline \mathbf{B}_{21} & \mathbf{B}_{22} \end{array} \right] = \left[ \begin{array} {c | c c} 1 & 4 & 7 \\ \hline 2 & 5 & 8 \\ 3 & 6 & 9 \end{array} \right] , }[/math]

[math]\displaystyle{ \begin{align} \mathbf{A} \odot \mathbf{B} = \left[\begin{array} {c | c} \mathbf{A}_{11} \odot \mathbf{B} & \mathbf{A}_{12} \odot \mathbf{B} \\ \hline \mathbf{A}_{21} \odot \mathbf{B} & \mathbf{A}_{22} \odot \mathbf{B} \end{array}\right] ={} &\left[\begin{array} {c | c | c | c} \mathbf{A}_{11} \otimes \mathbf{B}_{11} & \mathbf{A}_{11} \otimes \mathbf{B}_{12} & \mathbf{A}_{12} \otimes \mathbf{B}_{11} & \mathbf{A}_{12} \otimes \mathbf{B}_{12} \\ \hline \mathbf{A}_{11} \otimes \mathbf{B}_{21} & \mathbf{A}_{11} \otimes \mathbf{B}_{22} & \mathbf{A}_{12} \otimes \mathbf{B}_{21} & \mathbf{A}_{12} \otimes \mathbf{B}_{22} \\ \hline \mathbf{A}_{21} \otimes \mathbf{B}_{11} & \mathbf{A}_{21} \otimes \mathbf{B}_{12} & \mathbf{A}_{22} \otimes \mathbf{B}_{11} & \mathbf{A}_{22} \otimes \mathbf{B}_{12} \\ \hline \mathbf{A}_{21} \otimes \mathbf{B}_{21} & \mathbf{A}_{21} \otimes \mathbf{B}_{22} & \mathbf{A}_{22} \otimes \mathbf{B}_{21} & \mathbf{A}_{22} \otimes \mathbf{B}_{22} \end{array}\right] \\ ={} &\left[\begin{array} {c c | c c c c | c | c c} 1 & 2 & 4 & 7 & 8 & 14 & 3 & 12 & 21 \\ 4 & 5 & 16 & 28 & 20 & 35 & 6 & 24 & 42 \\ \hline 2 & 4 & 5 & 8 & 10 & 16 & 6 & 15 & 24 \\ 3 & 6 & 6 & 9 & 12 & 18 & 9 & 18 & 27 \\ 8 & 10 & 20 & 32 & 25 & 40 & 12 & 30 & 48 \\ 12 & 15 & 24 & 36 & 30 & 45 & 18 & 36 & 54 \\ \hline 7 & 8 & 28 & 49 & 32 & 56 & 9 & 36 & 63 \\ \hline 14 & 16 & 35 & 56 & 40 & 64 & 18 & 45 & 72 \\ 21 & 24 & 42 & 63 & 48 & 72 & 27 & 54 & 81 \end{array}\right]. \end{align} }[/math]

Произведение Хатри-Рао

Основная статья: произведение Хатри-Рао

Данный вариант умножения определён для матриц с одинаковой блочной структурой. Он предусматривает, что операция кронекеровского произведения выполняется поблочно, в пределах одноимённых матричных блоков по аналогии с поэлементным произведением Адамара, только при этом в качестве элементов фигурируют блоки матриц, а для умножения блоков используется кронекеровское произведение.

Литература

• Хорн Р. Матричный анализ: Пер. с англ. / Р. Хорн, Ч. Джонсон. – М.: Мир, 1989.– 655 с.