Радиально-базисная функция
Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция — это любая вещественная функция, значение которой зависит только от расстояния до начала координат [math]\displaystyle{ \phi\left(\mathbf{x}\right) = \phi\left(\left\|\mathbf{x}\right\|\right) }[/math] или от расстояния между некоторой другой точкой [math]\displaystyle{ \mathbf{c} }[/math], называемой центром: [math]\displaystyle{ \phi\left(\mathbf{x}, \mathbf{c}\right) = \phi\left(\left\|\mathbf{x}-\mathbf{c}\right\|\right) }[/math]. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.
Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году[1][2], основанной на фундаментальной работе Майкла Пауэлла 1977 года[3][4][5].
Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.[6]
Виды
Часто используемые радиально-базисные функций включают в себя ([math]\displaystyle{ r = \left\|\mathbf{x} - \mathbf{x}_i\right\| }[/math]):
- Функция Гаусса:
- [math]\displaystyle{ \phi\left(r\right) = e^{-\left(\varepsilon r\right)^2} }[/math]
- Мультиквадратичная:
- [math]\displaystyle{ \phi\left(r\right) = \sqrt{1 + \left(\varepsilon r\right)^2} }[/math]
- Обратная квадратичная:
- [math]\displaystyle{ {\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}} }[/math]
- Обратная мультиквадратичная:
- [math]\displaystyle{ \phi\left(r\right) = \dfrac{1}{\sqrt{1 + \left(\varepsilon r\right)^2}} }[/math]
- Полигармонический сплайн:
- [math]\displaystyle{ \begin{aligned} \phi\left(r\right) &= r^k,& k&=1,3,5,\dotsc \\ \phi\left(r\right) &= r^k \ln\left(r\right),& k&=2,4,6,\dotsc \end{aligned} }[/math]
- Тонкий сплайн пластины (специальный полигармонический сплайн):
- [math]\displaystyle{ \phi\left(r\right) = r^{2} \ln\left(r\right) }[/math]
Приближение
Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:
- [math]\displaystyle{ y\left(\mathbf{x}\right) = \sum_{i=1}^{N} w_{i} \, \phi\left(\left\|\mathbf{x} - \mathbf{x}_i\right\|\right) }[/math],
где в качестве аппроксимирующей функции [math]\displaystyle{ y\left(\mathbf{x}\right) }[/math] берётся сумма [math]\displaystyle{ N }[/math] радиальных базисных функций с центрами в точках [math]\displaystyle{ \mathbf{x}_{i} }[/math] и коэффициентами [math]\displaystyle{ w_{i} }[/math]. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам [math]\displaystyle{ w_{i} }[/math].
Аппроксимационные схемы такого рода особенно полезны[источник не указан 2284 дня] в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.
Нейронные сети на основе РБФ
Линейная комбинация:
- [math]\displaystyle{ y\left(\mathbf{x}\right) = \sum_{i=1}^{N} w_{i} \, \phi\left(\left\|\mathbf{x} - \mathbf{x}_i\right\|\right) }[/math]
также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом [math]\displaystyle{ N }[/math].
Аппроксимации [math]\displaystyle{ y\left(\mathbf{x}\right) }[/math] является дифференцируемой по [math]\displaystyle{ w_{i} }[/math]. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.
Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.
Примечания
- ↑ Radial Basis Function networks Архивировано 23 апреля 2014 года.
- ↑ Broomhead, Lowe, 1988, p. 321–355
- ↑ Michael J. D. Powell; Michael J. D. Powell. Restart procedures for the conjugate gradient method (англ.) // Mathematical Programming : journal. — Springer, 1977. — Vol. 12. — P. 241—254. — doi:10.1007/bf01593790.
- ↑ A Radial Basis Function Approach to a Color Image Classification Problem in a Real Time Industrial Application (M.Sc.). — Virginia Tech, 1997. Архивировано 26 октября 2015 года.
- ↑ Broomhead, Lowe, 1988, p. 347: «We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work.»
- ↑ VanderPlas, Jake Introduction to Support Vector Machines (недоступная ссылка). [O'Reilly] (6 мая 2015). Дата обращения: 14 мая 2015. Архивировано 5 сентября 2015 года.
Литература
- Broomhead, David H.; Lowe, David. Multivariable Functional Interpolation and Adaptive Networks (англ.) // Complex Systems : journal. — 1988. — Vol. 2. — P. 321—355. Архивировано 14 июля 2014 года.
- Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3.
- Hardy, R.L. Multiquadric equations of topography and other irregular surfaces (англ.) // Journal of Geophysical Research : journal. — 1971. — Vol. 76, no. 8. — P. 1905—1915. — doi:10.1029/jb076i008p01905. — .
- Hardy, R.L. Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988 (англ.) // Comp. math Applic : journal. — 1990. — Vol. 19, no. 8/9. — P. 163—208. — doi:10.1016/0898-1221(90)90272-l.
- Press, WH; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), Section 3.7.1. Radial Basis Function Interpolation, Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8
- Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
- Sirayanone, S. The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications (англ.) // Journal of Applied Sciences and Computations : journal. — 1995. — Vol. 1. — P. 437—475.