Отношение Рэлея

В математике для данной комплексной эрмитовой матрицы [math]\displaystyle{ M }[/math] и ненулевого вектора [math]\displaystyle{ x }[/math] отношение Рэлея [math]\displaystyle{ R(M, x) }[/math] определяется следующим образом:

[math]\displaystyle{ R(M,x) = {x^{*} M x \over x^{*} x}. }[/math]

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов [math]\displaystyle{ x^{*} }[/math] превращается в обычное транспонирование [math]\displaystyle{ x' }[/math]. Заметьте, что [math]\displaystyle{ R(M, c x) = R(M,x) }[/math] для любой вещественной константы [math]\displaystyle{ c \neq 0 }[/math]. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения [math]\displaystyle{ \lambda_\min }[/math] (наименьшее собственное число матрицы [math]\displaystyle{ M }[/math]) когда [math]\displaystyle{ x }[/math] равен [math]\displaystyle{ v_\min }[/math] (соответствующий собственный вектор). Подобным образом можно показать, что [math]\displaystyle{ R(M, x) \leq \lambda_\max }[/math] и [math]\displaystyle{ R(M, v_\max) = \lambda_\max }[/math]. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чисел. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для итераций с отношением Рэлея.

Множество значений отношения Рэлея называется числовым образом матрицы.

Специальный случай ковариационных матриц

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' A. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во-первых то, что собственные значения [math]\displaystyle{ \lambda_i }[/math] не отрицательны:

[math]\displaystyle{ M v_i = A' A v_i = \lambda_i v_i }[/math]

[math]\displaystyle{ \Rightarrow v_i' A' A v_i = v_i' \lambda_i v_i }[/math]

[math]\displaystyle{ \Rightarrow \left\| A v_i \right\|^2 = \lambda_i \left\| v_i \right\|^2 }[/math]

[math]\displaystyle{ \Rightarrow \lambda_i = \frac{\left\| A v_i \right\|^2}{\left\| v_i \right\|^2} \geq 0. }[/math]

И, во-вторых, что собственные вектора [math]\displaystyle{ v_i }[/math] ортогональны друг другу:

[math]\displaystyle{ M v_i = \lambda _i v_i }[/math]

[math]\displaystyle{ \Rightarrow v_j' M v_i = \lambda _i v_j' v_i }[/math]

[math]\displaystyle{ \Rightarrow (M v_j )' v_i = \lambda _i v_j' v_i }[/math]

[math]\displaystyle{ \Rightarrow \lambda_j v_j ' v_i = \lambda _i v_j' v_i }[/math]

[math]\displaystyle{ \Rightarrow (\lambda_j - \lambda_i) v_j ' v_i = 0 }[/math]

[math]\displaystyle{ \Rightarrow v_j ' v_i = 0 }[/math] (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор [math]\displaystyle{ x }[/math] по базису собственных векторов v_i:

[math]\displaystyle{ x = \sum _{i=1} ^n \alpha _i v_i }[/math], где [math]\displaystyle{ \alpha_i = \frac{x'v_i}{v_i'v_i} = \frac{\langle x,v_i\rangle}{\left\| v_i \right\| ^2} }[/math] является проекцией x на [math]\displaystyle{ v_i }[/math]

Таким образом, равенство

[math]\displaystyle{ R(M,x) = \frac{x' A' A x}{x' x} }[/math]

можно переписать в следующем виде:

[math]\displaystyle{ R(M,x) = \frac{(\sum _{j=1} ^n \alpha _j v_j)' A' A (\sum _{i=1} ^n \alpha _i v_i)}{(\sum _{j=1} ^n \alpha _j v_j)' (\sum _{i=1} ^n \alpha _i v_i)} }[/math]

Поскольку собственные вектора ортогональны, последнее равенство превращается в

[math]\displaystyle{ R(M,x) = \frac{\sum _{i=1} ^n \alpha _i ^2 \lambda _i}{\sum _{i=1} ^n \alpha _i ^2} = \sum_{i=1}^n \lambda_i \frac{(x'v_i)^2}{ (x'x)( v_i' v_i)} }[/math]

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором [math]\displaystyle{ x }[/math] и каждым из собственных векторов [math]\displaystyle{ v_i }[/math], умноженных на соответствующее собственное значение.

Если вектор [math]\displaystyle{ x }[/math] максимизирует [math]\displaystyle{ R(M,x) }[/math], то все вектора, полученные из [math]\displaystyle{ x }[/math] умножением на скаляр ([math]\displaystyle{ k x }[/math] для [math]\displaystyle{ k \ne 0 }[/math]) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума [math]\displaystyle{ \sum _{i=1} ^n \alpha _i ^2 \lambda _i }[/math] при условии [math]\displaystyle{ \sum _{i=1} ^n \alpha _i ^2 = 1 }[/math].

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при [math]\displaystyle{ \alpha _1 = 1 }[/math] и [math]\displaystyle{ \forall i \gt 1, \alpha _i = 0 }[/math] (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат с использованием множителей Лагранжа

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

[math]\displaystyle{ R(M,x) = x^T M x }[/math],

при постоянной величине [math]\displaystyle{ \|x\|^2 = x^Tx = 1. }[/math] То есть, нужно найти критические точки функции

[math]\displaystyle{ \mathcal{L}(x) = x^T M x -\lambda (x^Tx - 1), }[/math]

где [math]\displaystyle{ \lambda }[/math] — множитель Лагранжа. Для стационарных точек функции [math]\displaystyle{ \mathcal{L}(x) }[/math] выполняется равенство

[math]\displaystyle{ \frac{d\mathcal{L}(x)}{dx} = 0 }[/math]

[math]\displaystyle{ \therefore 2x^T M^T - 2\lambda x^T = 0 }[/math]

[math]\displaystyle{ \therefore M x = \lambda x }[/math]

и [math]\displaystyle{ R(M,x) = \frac{x^T M x}{x^T x} = \lambda \frac{x^Tx}{x^T x} = \lambda. }[/math]

Таким образом, собственные вектора [math]\displaystyle{ x_1 \ldots x_n }[/math] матрицы M являются критическими точками отношения Рэлея и их собственные значения [math]\displaystyle{ \lambda_1 \ldots \lambda_n }[/math] — соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции.

Использование в теории Штурма — Лиувилля

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

[math]\displaystyle{ L(y) = \frac{1}{w(x)}\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y\right) }[/math]

со скалярным произведением

[math]\displaystyle{ \langle{y_1,y_2}\rangle = \int_a^b w(x)y_1(x)y_2(x) \, dx }[/math],

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

[math]\displaystyle{ \frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)\frac{dy}{dx}\right] + q(x)y(x)\right)}dx}{\int_a^b{w(x)y(x)^2}dx}. }[/math]

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частям:

[math]\displaystyle{ \frac{\langle{y,Ly}\rangle}{\langle{y,y}\rangle} = \frac{\int_a^b{y(x)\left(-\frac{d}{dx}\left[p(x)y'(x)\right]\right)}dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx} }[/math]

[math]\displaystyle{ = \frac{-y(x)\left[p(x)y'(x)\right]|_a^b + \int_a^b{y'(x)\left[p(x)y'(x)\right]} \, dx + \int_a^b{q(x)y(x)^2} \, dx}{\int_a^b{w(x)y(x)^2} \, dx} }[/math]

[math]\displaystyle{ = \frac{-p(x)y(x)y'(x)|_a^b + \int_a^b\left[p(x)y'(x)^2 + q(x)y(x)^2\right] \, dx}{\int_a^b{w(x)y(x)^2} \, dx}. }[/math]

Обобщение

Для любой пары [math]\displaystyle{ (A, B) }[/math] вещественных симметричных положительно определённых матриц и ненулевого вектора [math]\displaystyle{ x }[/math], обобщенное отношение Рэлея определяется как

[math]\displaystyle{ R(A,B; x) := \frac{x^T A x}{x^T B x}. }[/math]

Обобщённое отношение Рэлея можно свести к отношению Рэлея [math]\displaystyle{ R(D, Cx) }[/math] путём преобразования [math]\displaystyle{ D = {C^*}^{-1} A C^{-1} }[/math], где [math]\displaystyle{ C }[/math] — разложение Холецкого матрицы [math]\displaystyle{ B }[/math].

См. также

• Числовой образ матрицы

Литература

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — Москва «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — Москва «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — Москва, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архивировано 31 августа 2006 года.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вып. 9. — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вып. 23.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011.