Норма (математика)

Норма — функционал, заданный на векторном пространстве и обобщающий понятие длины вектора или абсолютного значения числа.

Определение

Норма вектора

Основная статья: Нормированное пространство

Норма в векторном пространстве [math]\displaystyle{ V\ }[/math] над полем вещественных или комплексных чисел — это функционал [math]\displaystyle{ p\colon V \to \mathbb{R_{+}} }[/math], обладающий следующими свойствами:

1. [math]\displaystyle{ p(x)=0 \Rightarrow x=0_V; }[/math]
2. [math]\displaystyle{ \forall x,y \in V, p(x+y)\leqslant p(x)+p(y) }[/math] (неравенство треугольника);
3. [math]\displaystyle{ \forall \alpha \in \Complex, \forall x \in V, p(\alpha\, x)=|\alpha|p(x). }[/math]

Эти условия являются аксиомами нормы.

Векторное пространство с нормой называется нормированным пространством, а условия (1—3) — также аксиомами нормированного пространства.

Из аксиом нормы очевидным образом вытекает свойство неотрицательности нормы:

[math]\displaystyle{ \forall x \in V, p(x)\geqslant 0 }[/math].

Действительно, из третьего свойства следует: [math]\displaystyle{ p(0_V)=p(0\cdot0_V)=0\cdot p(0_V)=0 }[/math], а из свойства 2 — [math]\displaystyle{ \forall x\in V\colon 0=p(0_V)=p(x-x)\leqslant p(x)+p(-x)=2p(x) }[/math].

Чаще всего норму обозначают в виде: [math]\displaystyle{ \| \cdot \| }[/math]. В частности, [math]\displaystyle{ \| x\| }[/math] — это норма элемента [math]\displaystyle{ x }[/math] векторного пространства [math]\displaystyle{ \R }[/math].

Вектор с единичной нормой [math]\displaystyle{ \left(\| x\|=1\right) }[/math] называется единичным или нормированным.

Любой ненулевой вектор [math]\displaystyle{ x }[/math] можно нормировать, то есть разделить его на свою норму: вектор [math]\displaystyle{ \frac{x}{\|x\|} }[/math] имеет единичную норму. С геометрической точки зрения это значит, что мы берем сонаправленный вектор единичной длины.

Норма матрицы

Основная статья: Норма матрицы

Нормой матрицы [math]\displaystyle{ A }[/math] называется вещественное число [math]\displaystyle{ \|A\| }[/math], удовлетворяющее первым трём из следующих условий:

1. [math]\displaystyle{ \|A\| \geqslant 0 }[/math], причём [math]\displaystyle{ \|A\| = 0 }[/math] только при [math]\displaystyle{ A = 0\ }[/math];
2. [math]\displaystyle{ \|\alpha A\| = |\alpha| \cdot \|A\| }[/math], где [math]\displaystyle{ \alpha\in\R }[/math];
3. [math]\displaystyle{ \|A + B\| \leqslant \|A\| + \|B\| }[/math];
4. [math]\displaystyle{ \|AB\| \leqslant \|A\| \cdot \|B\| }[/math].

Если выполняется также и четвёртое свойство, норма называется субмультипликативной. Матричная норма, составленная как операторная, называется подчинённой по отношению к норме, использованной в пространствах векторов. Очевидно, что все подчинённые матричные нормы субмультипликативны.

Матричная норма [math]\displaystyle{ \| \cdot \|_{ab} }[/math] из [math]\displaystyle{ K^{m \times n} }[/math] называется согласованной с векторной нормой [math]\displaystyle{ \| \cdot \|_{a} }[/math] из [math]\displaystyle{ K^n }[/math] и векторной нормой [math]\displaystyle{ \| \cdot \|_{b} }[/math] из [math]\displaystyle{ K^m }[/math] если справедливо:

[math]\displaystyle{ \|Ax\|_b \leqslant \|A\|_{ab} \|x\|_a }[/math]

для всех [math]\displaystyle{ A \in K^{m \times n}, x \in K^n }[/math].

Норма оператора

Основная статья: Операторная норма

Норма оператора [math]\displaystyle{ A }[/math] — число, которое определяется так:

[math]\displaystyle{ \|A\| = \sup_{\|x\|=1} \|Ax\| }[/math],

где [math]\displaystyle{ A }[/math] — оператор, действующий из нормированного пространства [math]\displaystyle{ L }[/math] в нормированное пространство [math]\displaystyle{ K }[/math].

Это определение эквивалентно следующему:

[math]\displaystyle{ \|A\| = \sup_{x\ne 0}\frac{\|Ax\|}{\|x\|} }[/math]

• Свойства операторных норм:

1. [math]\displaystyle{ \|A\| \geqslant 0 }[/math], причём [math]\displaystyle{ \|A\| = 0 }[/math] только при [math]\displaystyle{ A = 0 }[/math];
2. [math]\displaystyle{ \|\alpha A\| = |\alpha| \cdot \|A\| }[/math], где [math]\displaystyle{ \alpha\in\mathbb{R} }[/math];
3. [math]\displaystyle{ \|A + B\| \leqslant \|A\| + \|B\| }[/math];
4. [math]\displaystyle{ \|AB\| \leqslant \|A\| \cdot \|B\| }[/math].

В конечномерном случае, оператору в некотором базисе соответствует матрица — матрица оператора. Если норма на пространстве(пространствах), где действует оператор, допускает одно из стандартных выражений в базисе, то свойства нормы оператора повторяют аналогичные свойства нормы матрицы.

Свойства нормы

1. [math]\displaystyle{ \| x \| - \| y \| \ \leqslant \| x \pm y \| \leqslant \| x\| + \| y \| }[/math]
2. [math]\displaystyle{ {\bigl(\| x \| - \| y \|\bigr)}^2 \leqslant {\| x \pm y \|}^2 \leqslant {\bigr(\| x \| + \|y \|\bigl)}^2 }[/math]
3. [math]\displaystyle{ \frac {\|x\|^2+\|y\|^2-\|x-y\|^2}{2\|x\|\|y\|}\in [-1,1] }[/math] [косинус угла]
4. [math]\displaystyle{ \|0_V\|=\|x-x\|=\|0x\|=0\cdot\|x\|=0 }[/math]
5. [math]\displaystyle{ 0=\|x-x\|\leqslant\|x\|+\|-x\|=2\|x\| \Rightarrow \|x\|\geqslant0 }[/math]

Эквивалентность норм

• Две нормы [math]\displaystyle{ p }[/math] и [math]\displaystyle{ q }[/math] на пространстве [math]\displaystyle{ V }[/math] называются эквивалентными, если существует две положительные константы [math]\displaystyle{ C_1 }[/math] и [math]\displaystyle{ C_2 }[/math] такие, что для любого [math]\displaystyle{ x \in V }[/math] выполняется [math]\displaystyle{ C_1 p(x) \leqslant q(x) \leqslant C_2 p(x) }[/math]. Эквивалентные нормы задают на пространстве одинаковую топологию. В конечномерном пространстве все нормы эквивалентны.

Примеры

Линейные нормированные пространства

Изображение единичных окружностей для различных норм.

• Любое предгильбертово пространство можно считать нормированным, так как скалярное произведение порождает естественную норму

[math]\displaystyle{ \| x \| = \sqrt{\langle x, x \rangle},\quad x \in X. }[/math]

• Гёльдеровы нормы [math]\displaystyle{ n }[/math]-мерных векторов (семейство): [math]\displaystyle{ \|x\|_p = {\left(\sum_{i} |x_i|^p\right)}^{\frac 1p} }[/math],

где [math]\displaystyle{ p \geqslant 1 }[/math] (обычно подразумевается, что это натуральное число). В частности:

• [math]\displaystyle{ \|x\|_1 = \sum_{i} |x_{i}| }[/math], что также имеет название метрика L1, норма [math]\displaystyle{ \ell_1 }[/math] или манхэттенское расстояние. Для вектора представляет собой сумму модулей всех его элементов.
• [math]\displaystyle{ \|x\|_2 = \sqrt{\sum_{i} |x_{i}|^2} }[/math], что также имеет название метрика L2, норма [math]\displaystyle{ \ell_2 }[/math] или евклидова норма. Является геометрическим расстоянием между двумя точками в многомерном пространстве, вычисляемым по теореме Пифагора.
• [math]\displaystyle{ \|x\|_\infty = \max |x_{i}| }[/math] (это предельный случай [math]\displaystyle{ p \rightarrow \infty }[/math]).

• Нормы функций в [math]\displaystyle{ C[0,1] }[/math] — пространстве вещественных (или комплексных) непрерывных функций на отрезке [0,1]:
  • [math]\displaystyle{ \|f\|_{C[0,1]} = \sup_{x \in [0,1]}|f(x)| }[/math] — в смысле этой нормы пространство [math]\displaystyle{ C[0,1] }[/math] непрерывных на отрезке функций образует полное линейное пространство. Этого нельзя сказать о следующих двух примерах нормы на этом пространстве, тем не менее, законных:
  • [math]\displaystyle{ \|f\|_{1}=\int\limits_0^1 |f(t)|\,dt }[/math]
  • [math]\displaystyle{ \|f\|_{2}=\sqrt{\int\limits_0^1 |f(t)|^2\,dt} }[/math]

• Аналогично можно ввести нормы для конечномерных векторных функций конечномерных векторных аргументов, заменив [math]\displaystyle{ |f(x)|\ }[/math] на [math]\displaystyle{ \|f(x)\|\ }[/math], а интегрирование по отрезку интегрированием по области (максимум же на отрезке — в соответствующем случае — максимумом на области).

«L0 норма»

Особым случаем является [math]\displaystyle{ \ell_0 }[/math] (L0-«норма»), определяемая как количество ненулевых элементов вектора. Строго говоря, это не является нормой, так как не выполняется третья аксиома нормы. В основном таким видом «нормы» пользуются в задачах разреженного кодирования, в частности в Compressive sensing, где нужно найти наиболее разреженное представление вектора (с наибольшим количеством нулей), то есть с наименьшей [math]\displaystyle{ \ell_0 }[/math]-нормой. С помощью этой «нормы» может быть определенно расстояние Хэмминга.

Некоторые виды матричных норм

• Порожденные нормы [math]\displaystyle{ \|A\|_{p} = \sup_{\|x\|_{p}=1} \|Ax\|_{p} }[/math]:
  • [math]\displaystyle{ p=1 }[/math]: [math]\displaystyle{ m }[/math]-норма, [math]\displaystyle{ \|A\|_m = \max_j \sum_i |a_{ij}| }[/math]
  • [math]\displaystyle{ p=2 }[/math] (евклидова норма) и [math]\displaystyle{ m=n }[/math] (квадратные матрицы), подчиненная норма матрицы называется спектральная норма. Спектральная норма матрицы [math]\displaystyle{ A }[/math] равна наибольшему сингулярному числу матрицы [math]\displaystyle{ A }[/math] или квадратному корню из наибольшего собственного числа положительно полуопределённой матрицы [math]\displaystyle{ A^\dagger A }[/math]: [math]\displaystyle{ \left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^\dagger A)} }[/math], где [math]\displaystyle{ A^\dagger }[/math] обозначает матрицу, сопряжённую к матрице [math]\displaystyle{ A }[/math].
  • [math]\displaystyle{ p=\infty }[/math]: [math]\displaystyle{ l }[/math]-норма [math]\displaystyle{ \|A\|_l = \max_i \sum_j |a_{ij}| }[/math]

Здесь [math]\displaystyle{ A^\dagger }[/math] — сопряжённая к [math]\displaystyle{ A }[/math] матрица, [math]\displaystyle{ \mathrm{Tr} }[/math] — след матрицы.

• Поэлементная [math]\displaystyle{ p }[/math]-норма ([math]\displaystyle{ p\gt 0 }[/math]): [math]\displaystyle{ \|A\|_p = \left( \sum_{i, j} |a_{ij}|^p \right)^{\frac 1p} }[/math]
  • Норма Фробениуса: [math]\displaystyle{ \|A\|_F = \|A\|_2 = \sqrt{\sum_{i, j} |a_{ij}|^2} = \sqrt{\mathrm{Tr}\, A^\dagger A} }[/math].

Связанные понятия

Топология пространства и норма

Норма задаёт на пространстве метрику (в смысле — функцию расстояния метрического пространства), порождая таким образом метрическое пространство, а значит топологию, базой которой являются всевозможные открытые шары, то есть множества вида [math]\displaystyle{ B(x,r)=\{y\colon\|x-y\|\lt r\} }[/math]. Понятия сходимости, определённой на языке теоретико-множественной топологии в такой топологии и определённой на языке нормы, при этом совпадают.

См. также

• Полунорма
• Метрика
• Скалярное произведение