Норма (математика)

Норма — функционал, заданный на векторном пространстве и обобщающий понятие длины вектора или абсолютного значения числа.

Определение

Норма вектора

Основная статья: Нормированное пространство

Норма в векторном пространстве $V$ над полем вещественных или комплексных чисел — это функционал $p:V\to {\mathbb{R}}_{\mathbb{+}}$, обладающий следующими свойствами:

1. $p(x)=0\Rightarrow x=0_V;$
2. $\mathrm{\forall }x,y\in V,p(x+y)⩽p(x)+p(y)$ (неравенство треугольника);
3. $\mathrm{\forall }\alpha \in \mathbb{C},\mathrm{\forall }x\in V,p(\alpha x)=|\alpha |p(x).$

Эти условия являются аксиомами нормы.

Векторное пространство с нормой называется нормированным пространством, а условия (1—3) — также аксиомами нормированного пространства.

Из аксиом нормы очевидным образом вытекает свойство неотрицательности нормы:

$\mathrm{\forall }x\in V,p(x)⩾0$.

Действительно, из третьего свойства следует: $p(0_V)=p(0\cdot 0_V)=0\cdot p(0_V)=0$, а из свойства 2 — $\mathrm{\forall }x\in V:0=p(0_V)=p(x-x)⩽p(x)+p(-x)=2p(x)$.

Чаще всего норму обозначают в виде: $\Vert \cdot \Vert$. В частности, $\Vert x\Vert$ — это норма элемента $x$ векторного пространства $\mathbb{R}$.

Вектор с единичной нормой $(\Vert x\Vert =1)$ называется единичным или нормированным.

Любой ненулевой вектор $x$ можно нормировать, то есть разделить его на свою норму: вектор $\frac{x}{\Vert x\Vert }$ имеет единичную норму. С геометрической точки зрения это значит, что мы берем сонаправленный вектор единичной длины.

Норма матрицы

Основная статья: Норма матрицы

Нормой матрицы $A$ называется вещественное число $\Vert A\Vert$, удовлетворяющее первым трём из следующих условий:

1. $\Vert A\Vert ⩾0$, причём $\Vert A\Vert =0$ только при $A=0$;
2. $\Vert \alpha A\Vert =|\alpha |\cdot \Vert A\Vert$, где $\alpha \in \mathbb{R}$;
3. $\Vert A+B\Vert ⩽\Vert A\Vert +\Vert B\Vert$;
4. $\Vert AB\Vert ⩽\Vert A\Vert \cdot \Vert B\Vert$.

Если выполняется также и четвёртое свойство, норма называется субмультипликативной. Матричная норма, составленная как операторная, называется подчинённой по отношению к норме, использованной в пространствах векторов. Очевидно, что все подчинённые матричные нормы субмультипликативны.

Матричная норма $\Vert \cdot {\Vert }_{ab}$ из $K^{m\times n}$ называется согласованной с векторной нормой $\Vert \cdot {\Vert }_a$ из $K^n$ и векторной нормой $\Vert \cdot {\Vert }_b$ из $K^m$ если справедливо:

$\Vert Ax{\Vert }_b⩽\Vert A{\Vert }_{ab}\Vert x{\Vert }_a$

для всех $A\in K^{m\times n},x\in K^n$.

Норма оператора

Основная статья: Операторная норма

Норма оператора $A$ — число, которое определяется так:

$\Vert A\Vert =\underset{\Vert x\Vert =1}{sup}\Vert Ax\Vert$,

где $A$ — оператор, действующий из нормированного пространства $L$ в нормированное пространство $K$.

Это определение эквивалентно следующему:

$\Vert A\Vert =\underset{x\ne 0}{sup}\frac{\Vert Ax\Vert }{\Vert x\Vert }$

• Свойства операторных норм:

1. $\Vert A\Vert ⩾0$, причём $\Vert A\Vert =0$ только при $A=0$;
2. $\Vert \alpha A\Vert =|\alpha |\cdot \Vert A\Vert$, где $\alpha \in \mathbb{R}$;
3. $\Vert A+B\Vert ⩽\Vert A\Vert +\Vert B\Vert$;
4. $\Vert AB\Vert ⩽\Vert A\Vert \cdot \Vert B\Vert$.

В конечномерном случае, оператору в некотором базисе соответствует матрица — матрица оператора. Если норма на пространстве(пространствах), где действует оператор, допускает одно из стандартных выражений в базисе, то свойства нормы оператора повторяют аналогичные свойства нормы матрицы.

Свойства нормы

1. $\Vert x\Vert -\Vert y\Vert ⩽\Vert x\pm y\Vert ⩽\Vert x\Vert +\Vert y\Vert$
2. ${(\Vert x\Vert -\Vert y\Vert )}^2⩽{\Vert x\pm y\Vert }^2⩽{(\Vert x\Vert +\Vert y\Vert )}^2$
3. $\frac{\Vert x{\Vert }^2+\Vert y{\Vert }^2-\Vert x-y{\Vert }^2}{2\Vert x\Vert \Vert y\Vert }\in [-1,1]$ [косинус угла]
4. $\Vert 0_V\Vert =\Vert x-x\Vert =\Vert 0x\Vert =0\cdot \Vert x\Vert =0$
5. $0=\Vert x-x\Vert ⩽\Vert x\Vert +\Vert -x\Vert =2\Vert x\Vert \Rightarrow \Vert x\Vert ⩾0$

Эквивалентность норм

• Две нормы $p$ и $q$ на пространстве $V$ называются эквивалентными, если существует две положительные константы $C_1$ и $C_2$ такие, что для любого $x\in V$ выполняется $C_{1}p(x)⩽q(x)⩽C_{2}p(x)$. Эквивалентные нормы задают на пространстве одинаковую топологию. В конечномерном пространстве все нормы эквивалентны.

Примеры

Линейные нормированные пространства

Изображение единичных окружностей для различных норм.

• Любое предгильбертово пространство можно считать нормированным, так как скалярное произведение порождает естественную норму

$\Vert x\Vert =\sqrt{⟨x,x⟩},x\in X.$

• Гёльдеровы нормы $n$-мерных векторов (семейство): $\Vert x{\Vert }_p={\left(\sum _i|x_i{|}^p\right)}^{\frac{1}{p}}$,

где $p⩾1$ (обычно подразумевается, что это натуральное число). В частности:

• $\Vert x{\Vert }_1=\sum _i|x_i|$, что также имеет название метрика L1, норма ${\ell }_1$ или манхэттенское расстояние. Для вектора представляет собой сумму модулей всех его элементов.
• $\Vert x{\Vert }_2=\sqrt{\sum _i|x_i{|}^2}$, что также имеет название метрика L2, норма ${\ell }_2$ или евклидова норма. Является геометрическим расстоянием между двумя точками в многомерном пространстве, вычисляемым по теореме Пифагора.
• $\Vert x{\Vert }_{\mathrm{\infty }}=max|x_i|$ (это предельный случай $p\to \mathrm{\infty }$).

• Нормы функций в $C[0,1]$ — пространстве вещественных (или комплексных) непрерывных функций на отрезке [0,1]:
  • $\Vert f{\Vert }_{C[0,1]}=\underset{x\in [0,1]}{sup}|f(x)|$ — в смысле этой нормы пространство $C[0,1]$ непрерывных на отрезке функций образует полное линейное пространство. Этого нельзя сказать о следующих двух примерах нормы на этом пространстве, тем не менее, законных:
  • $\Vert f{\Vert }_1=\underset{0}{\overset{1}{\int }}|f(t)|dt$
  • $\Vert f{\Vert }_2=\sqrt{\underset{0}{\overset{1}{\int }}|f(t){|}^{2}dt}$

• Аналогично можно ввести нормы для конечномерных векторных функций конечномерных векторных аргументов, заменив $|f(x)|$ на $\Vert f(x)\Vert$, а интегрирование по отрезку интегрированием по области (максимум же на отрезке — в соответствующем случае — максимумом на области).

«L0 норма»

Особым случаем является ${\ell }_0$ (L0-«норма»), определяемая как количество ненулевых элементов вектора. Строго говоря, это не является нормой, так как не выполняется третья аксиома нормы. В основном таким видом «нормы» пользуются в задачах разреженного кодирования, в частности в Compressive sensing, где нужно найти наиболее разреженное представление вектора (с наибольшим количеством нулей), то есть с наименьшей ${\ell }_0$-нормой. С помощью этой «нормы» может быть определенно расстояние Хэмминга.

Некоторые виды матричных норм

• Порожденные нормы $\Vert A{\Vert }_p=\underset{\Vert x{\Vert }_p=1}{sup}\Vert Ax{\Vert }_p$:
  • $p=1$: $m$-норма, $\Vert A{\Vert }_m=\underset{j}{max}\sum _i|a_{ij}|$
  • $p=2$ (евклидова норма) и $m=n$ (квадратные матрицы), подчиненная норма матрицы называется спектральная норма. Спектральная норма матрицы $A$ равна наибольшему сингулярному числу матрицы $A$ или квадратному корню из наибольшего собственного числа положительно полуопределённой матрицы $A^{†}A$: ${\Vert A\Vert }_2=\sqrt{{\lambda }_{\text{max}}(A^{†}A)}$, где $A^{†}$ обозначает матрицу, сопряжённую к матрице $A$.
  • $p=\mathrm{\infty }$: $l$-норма $\Vert A{\Vert }_l=\underset{i}{max}\sum _j|a_{ij}|$

Здесь $A^{†}$ — сопряжённая к $A$ матрица, $\mathrm{Tr}$ — след матрицы.

• Поэлементная $p$-норма ($p>0$): $\Vert A{\Vert }_p={\left(\sum _{i,j}|a_{ij}{|}^p\right)}^{\frac{1}{p}}$
  • Норма Фробениуса: $\Vert A{\Vert }_F=\Vert A{\Vert }_2=\sqrt{\sum _{i,j}|a_{ij}{|}^2}=\sqrt{\mathrm{Tr}{A}^{†}A}$.

Связанные понятия

Топология пространства и норма

Норма задаёт на пространстве метрику (в смысле — функцию расстояния метрического пространства), порождая таким образом метрическое пространство, а значит топологию, базой которой являются всевозможные открытые шары, то есть множества вида $B(x,r)=\{y:\Vert x-y\Vert <r\}$. Понятия сходимости, определённой на языке теоретико-множественной топологии в такой топологии и определённой на языке нормы, при этом совпадают.

См. также

• Полунорма
• Метрика
• Скалярное произведение