Дилемма смещения–дисперсии

Эта статья находится на начальном уровне проработки, в одной из её версий выборочно используется текст из источника, распространяемого под свободной лицензией
Материал из энциклопедии Руниверсалис
Функция и данные с шумом.
разброс = 5
разброс = 1
разброс = 0.1
Функция (красный цвет) аппроксимирована с помощью радиально-базисных функций (РБФ) (синий цвет). На каждом графике показано несколько испытаний. Для каждого испытания в качестве тренировочного набора использовались некоторые точки из выборки с шумом (верхний график). При широком разбросе (график 2) смещение высоко, РБФ не могут полностью аппроксимировать функцию (особенно центральную яму), но дисперсия между испытаниями мала. По мере увеличения разброса (графики 3 и 4) смещение возрастает, синяя кривая ближе аппроксимирует красную кривую. Однако дисперсия между испытаниями растёт. На нижнем графике приближённое значение в точке x=0 сильно зависят от расположения точек выборки.

Компромисс отклонение-дисперсия в статистике и в машинном обучении — это свойство набора моделей предсказания, когда модели с меньшим отклонением от имеющихся данных имеют более высокую дисперсию на новых данных (то есть подвержены переобучению), и наоборот. Компромисс отклонение-дисперсия — конфликт при попытке одновременно минимизировать эти два источника ошибки[en], которые мешают алгоритмам обучения с учителем делать обобщение за пределами тренировочного набора[en].

  • Смещение — это погрешность оценки, возникающая в результате ошибочного предположения в алгоритме обучения. В результате большого смещения алгоритм может пропустить связь между признаками и выводом (недообучение).
  • Дисперсия — это ошибка чувствительности к малым отклонениям в тренировочном наборе. При высокой дисперсии алгоритм может как-то трактовать случайный шум[en] в тренировочном наборе, а не желаемый результат (переобучение).

Разложение смещения-дисперсии — это способ анализа ожидаемой ошибки обобщения[en] алгоритма обучения для частной задачи сведением к сумме трёх членов — смещения, дисперсии и величины, называемой неустранимой погрешностью, которая является результатом шума в самой задаче.

Дилемма возникает во всех формах обучения с учителем — в классификации, регрессии (аппроксимация функции)[1][2] и структурное прогнозирование. Дилемма также используется для объяснения эффективности эвристики при обучении людей[3].

Побудительные причины

Дилемма смещения-дисперсии является центральной проблемой в обучении с учителем. Выбираемая модель должна, с одной стороны, точно уловить все закономерности в обучающих данных, а с другой стороны — обобщить закономерности на неизвестные данные. К сожалению, обычно это невозможно сделать одновременно. Методы обучения с высокой дисперсией могут хорошо представлять тренировочный набор, но имеют риск быть переобученными для данных с шумом или непрезентативных данных. В отличие от них, алгоритмы с низкой дисперсией обычно дают более простые модели, не склонно к переобучению, но может оказаться недообученным, что приводит к пропуску важных свойств.

Модели с малым смещением обычно более сложны (например, в них регрессионные многочлены имеют более высокий порядок), что позволяет им представлять тренировочное множество более точно. Однако они могут иметь большую компоненту шума[en] тренировочного набора, что делает предсказание менее точным вопреки добавленной сложности. Для контраста, модели с высоким смещением относительно более просты (имеют многочлены меньшего порядка или даже линейные), но могут давать низкую дисперсию предсказаний, если применяются вне тренировочного набора.

Разложение смещения-дисперсии квадратичной ошибки

Предположим, что у нас есть тренировочное множество, состоящее из набора точек [math]\displaystyle{ x_1, \dots, x_n }[/math] и вещественных значений [math]\displaystyle{ y_i }[/math], связанных с каждой из этих точек [math]\displaystyle{ x_i }[/math]. Мы предполагаем, что есть функция с шумом [math]\displaystyle{ y = f(x) + \varepsilon }[/math], где шум [math]\displaystyle{ \varepsilon }[/math] имеет нулевое среднее и дисперсию [math]\displaystyle{ \sigma^2 }[/math].

Мы хотим найти функцию [math]\displaystyle{ \hat{f}(x) }[/math], которая аппроксимирует истинную функцию [math]\displaystyle{ f(x) }[/math] настолько хорошо, насколько возможно, в смысле некоторого алгоритма обучения. Мы делаем понятие «настолько хорошо, насколько возможно» точным путём измерения среденквадратичной ошибки[en] между [math]\displaystyle{ y }[/math] и [math]\displaystyle{ \hat{f}(x) }[/math] — мы хотим, чтобы значение [math]\displaystyle{ (y - \hat{f}(x))^2 }[/math] было минимальным как для точек [math]\displaystyle{ x_1, \dots, x_n }[/math], так и за пределами нашей выборки. Естественно, мы не можем сделать это идеально, поскольку [math]\displaystyle{ y_i }[/math] содержит шум [math]\displaystyle{ \varepsilon }[/math]. Это означает, что мы должны быть готовы принять неустранимую ошибку в любой функции, с которой будем работать.

Поиск функции [math]\displaystyle{ \hat{f} }[/math], которая обобщается для точек вне тренировочного набора, может быть осуществлён любым из несчётного числа алгоритмов, используемых для обучения с учителем. Оказывается, что какую бы функцию [math]\displaystyle{ \hat{f} }[/math] мы ни выбрали, мы можем разложить её ожидаемую ошибку на непросмотренном экземпляре данных [math]\displaystyle{ x }[/math] следующим образом:[4][5].

[math]\displaystyle{ \begin{align} \operatorname{E}\Big[\big(y - \hat{f}(x)\big)^2\Big] & = \Big(\operatorname{Bias}\big[\hat{f}(x)\big] \Big) ^2 + \operatorname{Var}\big[\hat{f}(x)\big] + \sigma^2 \\ \end{align} }[/math],

где

[math]\displaystyle{ \begin{align} \operatorname{Bias}\big[\hat{f}(x)\big] = \operatorname{E}\big[\hat{f}(x) - f(x)\big] \end{align} }[/math]

и

[math]\displaystyle{ \begin{align} \operatorname{Var}\big[\hat{f}(x)\big] = \operatorname{E}[\hat{f}(x)^2] - \Big(\operatorname{E}[{\hat{f}}(x)]\Big)^2 \end{align} }[/math]

Математические ожидания пробегают разные варианты выбора тренировочного набора [math]\displaystyle{ x_1, \dots, x_n, y_1, \dots, y_n }[/math] из одного и того же совместного распределения [math]\displaystyle{ P(x,y) }[/math]. Три члена представляют

  • квадрат смещения метода обучения, который можно рассматривать как ошибку, вызванную упрощением предположений, принятых в методе. Например, когда применяется аппроксимация нелинейной функции [math]\displaystyle{ f(x) }[/math] при использовании метода обучения для линейных моделей[en], будет появляться ошибка в оценке [math]\displaystyle{ \hat{f}(x) }[/math] как результат такого допущения;
  • дисперсия метода обучения, или, интуитивно, как далеко метод обучения [math]\displaystyle{ \hat{f}(x) }[/math] уведёт от среднего значения;
  • неустранимая ошибка [math]\displaystyle{ \sigma^2 }[/math]. Поскольку все три величины неотрицательны, они формируют нижнюю границу ожидаемой ошибки на непросмотренных данных[4].

Чем более сложна модель [math]\displaystyle{ \hat{f}(x) }[/math], тем больше точек данных она захватывает и тем меньше будет смещение. Однако сложность приводит модель к захвату большего числа точек, а потому её дисперсия будет больше.

Вывод

Вывод разложения смещения-дисперсии для среднеквадратичной ошибки приведён ниже[6][7]. Для удобства введём обозначения [math]\displaystyle{ f = f(x) }[/math] и [math]\displaystyle{ \hat{f} = \hat{f}(x) }[/math]. Во-первых, вспомним, что по определению для любой случайной переменной [math]\displaystyle{ X }[/math] мы имеем

[math]\displaystyle{ \begin{align} \operatorname{Var}[X] = \operatorname{E}[X^2] - \Big(\operatorname{E}[X]\Big)^2 \end{align} }[/math]

Переставив члены получим:

[math]\displaystyle{ \begin{align} \operatorname{E}[X^2] = \operatorname{Var}[X] + \Big(\operatorname{E}[X]\Big)^2 \end{align} }[/math]

Поскольку [math]\displaystyle{ f }[/math] детерминирована,

[math]\displaystyle{ \begin{align} \operatorname{E}[f] = f \end{align} }[/math].

Тогда из [math]\displaystyle{ y = f + \varepsilon }[/math] и [math]\displaystyle{ \operatorname{E}[\varepsilon] = 0 }[/math] вытекает, что [math]\displaystyle{ \operatorname{E}[y] = \operatorname{E}[f + \varepsilon] = \operatorname{E}[f] = f }[/math].

Но поскольку [math]\displaystyle{ \operatorname{Var}[\varepsilon] = \sigma^2, }[/math], получаем

[math]\displaystyle{ \begin{align} \operatorname{Var}[y] = \operatorname{E}[(y - \operatorname{E}[y])^2] = \operatorname{E}[(y - f)^2] = \operatorname{E}[(f + \varepsilon - f)^2] = \operatorname{E}[\varepsilon^2] = \operatorname{Var}[\varepsilon] + \Big(\operatorname{E}[\varepsilon]\Big)^2 = \sigma^2 \end{align} }[/math]

Так как [math]\displaystyle{ \varepsilon }[/math] и [math]\displaystyle{ \hat{f} }[/math] независимы, мы можем записать

[math]\displaystyle{ \begin{align} \operatorname{E}\big[(y - \hat{f})^2\big] & = \operatorname{E}[y^2 + \hat{f}^2 - 2 y\hat{f}] \\ & = \operatorname{E}[y^2] + \operatorname{E}[\hat{f}^2] - \operatorname{E}[2y\hat{f}] \\ & = \operatorname{Var}[y] + \operatorname{E}[y]^2 + \operatorname{Var}[\hat{f}] + \operatorname{E}[\hat{f}]^2 - 2f\operatorname{E}[\hat{f}] \\ & = \operatorname{Var}[y] + \operatorname{Var}[\hat{f}] + \Big(f^2 - 2f\operatorname{E}[\hat{f}] + \operatorname{E}[\hat{f}]^2\Big) \\ & = \operatorname{Var}[y] + \operatorname{Var}[\hat{f}] + (f - \operatorname{E}[\hat{f}])^2 \\ & = \sigma^2 + \operatorname{Var}[\hat{f}] + \operatorname{Bias}[\hat{f}]^2 \end{align} }[/math]

Применение для регрессии

Разложение смещения-дисперсии образует концептуальный базис для методов регуляризации регрессии, таких как Lasso[en] и гребневая регрессия. Методы регуляризации вносят смещение в решение регрессии, которое может значительно уменьшить дисперсию по сравнению с обычным методом наименьших квадратов[en] (ОМНК, англ. Ordinary Least Squares, OLS). Хотя решение ОМНК даёт несмещённую оценку регрессии, решения с меньшей дисперсией, полученные путём регуляризации, обеспечивают превосходную среднеквадратичную ошибку.

Применение для классификации

Разложение смещение-дисперсия первоначально было сформулировано для линейной регрессии методом наименьших квадратов. Для случая классификации с 0-1 функцией потерь (доля неправильно классифицированных), можно найти похожее разложение[8][9]. Альтернативно, если задача классификации может быть сформулирована как вероятностная классификация[en], ожидание квадрата ошибки предсказанных вероятностей по отношению к истинным вероятностям может быть разложено как и ранее[10].

Подходы

Снижение размерности и отбор признаков могут уменьшить дисперсию путём упрощения моделей. Аналогично, больше тренировочное множество приводит к уменьшению дисперсии. Добавление признаков (предсказателей) ведёт к уменьшению смещения за счёт увеличения дисперсии. Алгоритмы обучения обычно имеют некоторые настраиваемые параметры, которые контролируют смещение и дисперсию. Например,

Один из способов разрешения дилеммы — использование смешенных моделей[en] и композиционного обучения[en][14][15]. Например, форсирование[en] комбинирует несколько «слабых» (с высоким смещением) моделей в сборку, которая имеет более низкое смещение, чем каждая из индивидуальных моделей, в то время как бэггинг комбинирует «строгое» обучение так, что уменьшается дисперсия.

k-ближайших соседей

В случае регрессии k-ближайших соседей существует выражение в замкнутой форме[en], связывающее разложение смещение-дисперсия с параметром k[5]:

[math]\displaystyle{ \operatorname{E}[(y - \hat{f}(x))^2\mid X=x] = \left( f(x) - \frac{1}{k}\sum_{i=1}^k f(N_i(x)) \right)^2 + \frac{\sigma^2}{k} + \sigma^2 }[/math]

где [math]\displaystyle{ N_1(x), \dots, N_k(x) }[/math] являются k ближайшими соседями x в тренировочном наборе. Смещение (первый член) является монотонно возрастающей функцией от k, в то время как дисперсия (второй член) убывает по мере роста k. Фактически, при «разумных предположениях» оценщика смещения ближайшего соседа (1-NN) полностью обращается в нуль, когда размер тренировочного множества стремится к бесконечности[1].

Применение для обучения людей

В то время как дилемма смещения-дисперсии широко обсуждается в контексте обучения машин, она была проверена в контексте когнитивных способностей человека, прежде всего Гердом Гигеренцером с соавторами. Они утверждают, что (см. ссылки ниже) человеческий мозг решает дилемму в случае разреженных плохо описанных тренировочных наборов, полученных в результате личного опыта, путём использования эвристики высокого смещения/низкой дисперсия. Это отражает факт, что подход с нулевым смещением имеет плохую обобщаемость к новым ситуациям, а также беспричинно предполагает точное знание состояния мира. Получающаяся эвристика относительно проста, но даёт лучшее соответствие широкому разнообразию ситуаций[3].

Гиман и др.[1] возражают, что из дилеммы смещения-дисперсии следует, что такие возможности, как распознавание общих объектов, не может быть получено с нуля, а требует определённого «жёсткого монтажа», который затем превращается в опыт. Именно поэтому подходы к заключениям без модели требуют неоправданно больших наборов тренировочных наборов, если нужно избежать высокой дисперсии.

См. также

Примечания

  1. ↑ 1,0 1,1 1,2 1,3 Geman, Bienenstock, Doursat, 1992, с. 1–58.
  2. ↑ Encyclopedia of Machine Learning, 2011, с. 100—101.
  3. ↑ 3,0 3,1 Gigerenzer, Brighton, 2009, с. 107–143.
  4. ↑ 4,0 4,1 James, Witten, Hastie, Tibshirani, 2013, с. 34.
  5. ↑ 5,0 5,1 Hastie, Tibshirani, Friedman, 2009, с. 223.
  6. ↑ Vijayakumar, 2007.
  7. ↑ Shakhnarovich, 2011.
  8. ↑ Domingos, 2000.
  9. ↑ Valentini, Dietterich, 2004, с. 725–775.
  10. ↑ Manning, Raghavan, Schütze, 2008, с. 308–314.
  11. ↑ Belsley, 1991.
  12. ↑ Gagliardi, 2011, с. 123–139.
  13. ↑ James, Witten, Hastie, Tibshirani, 2013, с. 307.
  14. ↑ Ting, Vijaykumar, Schaal, 2011, с. 615.
  15. ↑ Fortmann-Roe, 2012.

Литература

Источник — https://xn--h1ajim.xn--p1ai/index.php?title=Дилемма_смещения–дисперсии&oldid=5847622