Метод релевантных векторов

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации^[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[en]:

[math]\displaystyle{ k(\mathbf{x},\mathbf{x'}) = \sum_{j=1}^N \frac{1}{\alpha_j} \varphi(\mathbf{x},\mathbf{x}_j)\varphi(\mathbf{x}',\mathbf{x}_j) }[/math],

где [math]\displaystyle{ \varphi }[/math] является ядерной функцией^[en] (обычно, гауссианом), [math]\displaystyle{ \alpha_j }[/math] являются априорными дисперсиями вектора весов [math]\displaystyle{ w \sim N(0,\alpha^{-1}I) }[/math], а [math]\displaystyle{ \mathbf{x}_1,\ldots,\mathbf{x}_N }[/math] являются входными векторами тренировочного набора^[en]^[2].

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[en], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[en] компанией Microsoft^[3].

См. также

Ядерный метод
Масштабирование Платта^[en]: превращает SVM в вероятностную модель

Примечания

↑ Tipping, 2001, с. 211-244.
↑ Candela, 2004.
↑ Michael E. Tipping, "Relevance vector machine", US 6633857

Литература

Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).

Программное обеспечение

dlib Библиотека на языке C++
Библиотека ядерных машин
rvmbinary: пакет на языке R для двоичной классификации
scikit-rvm
fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки

[_05645310087fd912-1] Tipping, 2001, с. 211-244.

[_14f7a6c861afc737-2] Candela, 2004.

[3] Michael E. Tipping, "Relevance vector machine", US 6633857

[1]

[2]

[3]

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей Бэггинг Бустинг Random forest Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k-ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG