Идемпотентная матрица

Идемпотентная матрица — матрица, идемпотентная относительно умножения матриц, то есть, матрица [math]\displaystyle{ P }[/math], для которой выполняется условие [math]\displaystyle{ P\cdot P=P }[/math].

Примеры

Примеры идемпотентных матриц:

[math]\displaystyle{ \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{pmatrix}, }[/math]    [math]\displaystyle{ \begin{pmatrix} -26 & -18 & -27 \\ 21 & 15 & 21 \\ 12 & 8 & 13 \end{pmatrix} }[/math]

Вещественные матрицы порядка 2

Если матрица [math]\displaystyle{ \begin{pmatrix}a & b \\ c & d \end{pmatrix} }[/math] идемпотентна, то

• [math]\displaystyle{ a = a^2 + bc, }[/math]
• [math]\displaystyle{ b = ab + bd, }[/math] откуда [math]\displaystyle{ b(1 - a - d) = 0 }[/math], поэтому либо [math]\displaystyle{ b = 0 }[/math], либо [math]\displaystyle{ d = 1 - a, }[/math]
• [math]\displaystyle{ c = ca + cd, }[/math] откуда [math]\displaystyle{ c(1 - a - d) = 0 }[/math], поэтому либо [math]\displaystyle{ c = 0 }[/math], либо [math]\displaystyle{ d = 1 - a, }[/math]
• [math]\displaystyle{ d = bc + d^2. }[/math]

Таким образом, необходимым условием идемпотентности матрицы порядка 2 является её диагональность либо равенство её следа единице. У диагональных идемпотентных матриц [math]\displaystyle{ a }[/math] и [math]\displaystyle{ d }[/math] могут равняться только нулю или единице.

При [math]\displaystyle{ b=c }[/math] матрица [math]\displaystyle{ \begin{pmatrix}a & b \\ b & 1 - a \end{pmatrix} }[/math] будет идемпотентной при [math]\displaystyle{ a^2 + b^2 = a }[/math], то есть если [math]\displaystyle{ a }[/math] является решением квадратного уравнения

[math]\displaystyle{ a^2 - a + b^2 = 0 }[/math] или [math]\displaystyle{ \left(a - \frac{1}{2}\right)^2 + b^2 = \frac{1}{4}, }[/math]

которое представляет собой уравнение окружности радиуса 1/2 с центром в точке (1/2, 0).

Однако, равенство [math]\displaystyle{ b=c }[/math] не является необходимым условием: любая матрица вида

[math]\displaystyle{ \begin{pmatrix}a & b \\ c & 1 - a\end{pmatrix} }[/math] при [math]\displaystyle{ a^2 + bc = a }[/math] будет идемпотентной.

Свойства

Если матрица [math]\displaystyle{ A }[/math] идемпотентна, то матрица [math]\displaystyle{ I-A }[/math] также идемпотентна, так как

[math]\displaystyle{ (I-A)(I-A) = I-A-A+A^2 = I-A-A+A = I-A. }[/math]

Используя метод математической индукции, нетрудно показать, что если матрица [math]\displaystyle{ A }[/math] идемпотентна, то для любого натурального [math]\displaystyle{ n }[/math] выполняется [math]\displaystyle{ A^n = A }[/math].

Если матрица [math]\displaystyle{ P }[/math] идемпотентна, то матрица [math]\displaystyle{ I=2P-E }[/math] инволютивна, и, наоборот, если матрица [math]\displaystyle{ I }[/math] инволютивна, то матрица [math]\displaystyle{ P=\frac{1}{2}(I+E) }[/math] идемпотентна.

Обратимость

Единственная невырожденная идемпотентная матрица — единичная. В самом деле, пусть для идемпотентной матрицы [math]\displaystyle{ A }[/math] существует [math]\displaystyle{ A^{-1} }[/math]. Тогда [math]\displaystyle{ A = A^{-1}A^2 = A^{-1}A = I }[/math].

Собственные значения

Любая идемпотентная матрица всегда диагонализуема и её собственные числа равны нулю и единице.

След

След идемпотентной матрицы равен её рангу. Это позволяет вычислять след матрицы, элементы которой не заданы в явном виде, что бывает полезно, например, в статистике при установлении степени отклонения выборочной дисперсии от теоретической дисперсии.

Приложения

Линейная регрессия

При решении задачи линейной регрессии методом наименьших квадратов необходимо найти оценивающий вектор [math]\displaystyle{ \beta }[/math], минимизирующий сумму квадратов отклонений [math]\displaystyle{ e_i }[/math], которая в матричной форме записывается как

[math]\displaystyle{ e^\mathrm{T} e = (y - X\beta)^\mathrm{T}(y - X\beta), }[/math]

где [math]\displaystyle{ y }[/math] — вектор наблюдений зависимой переменной, [math]\displaystyle{ X }[/math] — матрица, столбцы которой представляют собой наблюдения независимых переменных. Решением является вектор

[math]\displaystyle{ \hat\beta = \left(X^\mathrm{T}X\right)^{-1}X^\mathrm{T}y, }[/math]

а соответствующий вектор отклонений равен

[math]\displaystyle{ \hat{e} = y - X \hat\beta = y - X\left(X^\mathrm{T}X\right)^{-1}X^\mathrm{T}y = \left[I - X\left(X^\mathrm{T}X\right)^{-1}X^\mathrm{T}\right]y = My. }[/math]

Здесь [math]\displaystyle{ M }[/math] и [math]\displaystyle{ X\left(X^\mathrm{T}X\right)^{-1}X^\mathrm{T} }[/math] — идемпотентные и симметричные матрицы, что позволяет упростить вычисление суммы квадратов отклонений:

[math]\displaystyle{ \hat{e}^\mathrm{T}\hat{e} = (My)^\mathrm{T}(My) = y^\mathrm{T}M^\mathrm{T}My = y^\mathrm{T}MMy = y^\mathrm{T}My. }[/math]

Идемпотентность [math]\displaystyle{ M }[/math] также используется при других вычислениях, например, при определении дисперсии оценивающего вектора [math]\displaystyle{ \hat{\beta} }[/math].

Пусть [math]\displaystyle{ X_1 }[/math] — матрица, полученная из [math]\displaystyle{ X }[/math] удалением некоторых столбцов, и пусть [math]\displaystyle{ M_1 = I - X_1 (X_1'X_1)^{-1}X_1' }[/math]. Нетрудно убедиться, что и [math]\displaystyle{ M }[/math], и [math]\displaystyle{ M_1 }[/math] идемпотентны и, более того, [math]\displaystyle{ M M_1 = M }[/math]. Это следует из того, что [math]\displaystyle{ M X_1 = 0 }[/math] или, иными словами, отклонения при регрессии столбцов [math]\displaystyle{ X_1 }[/math] на [math]\displaystyle{ X }[/math] равны нулю, так как [math]\displaystyle{ X_1 }[/math] может быть идеально проинтерполирован как подмножество [math]\displaystyle{ X }[/math] (прямой подстановкой можно также легко показать, что [math]\displaystyle{ M X = 0 }[/math]). Отсюда следует, что матрица [math]\displaystyle{ (M_1 - M) }[/math] симметрична и идемпотентна и что [math]\displaystyle{ (M_1 - M) M = 0 }[/math], то есть [math]\displaystyle{ (M_1 - M) }[/math] ортогональна [math]\displaystyle{ M }[/math]. Эти результаты играют ключевую роль, например, при выводе F-теста.

Оператор проекции

Идемпотентный линейный оператор [math]\displaystyle{ P }[/math] является оператором проекции на образ [math]\displaystyle{ R(P) }[/math] вдоль ядра [math]\displaystyle{ N(P) }[/math]. Оператор [math]\displaystyle{ P }[/math] выполняет ортогональную проекцию тогда и только тогда, когда он идемпотентен и симметричен.

См. также

• Нильпотентная матрица

Литература

• Мальцев А. И. Основы линейной алгебры. — М.: Наука, 1975. — 400 с.
• Horn, R. A., Johnson, C. R. Matrix analysis (англ.). — Cambridge University Press, 1990. — ISBN 0521386322.
• Greene, W. H. Econometric Analysis (англ.). — 5th edition. — Upper Saddle River, NJ: Prentice Hall, 2003. — ISBN 0130661899.