Метод ядра был популяризирован в машинном обучении с помощью машины опорных векторов в 1995 году. Он и другие подходы с ядром пользовались популярностью в течение двух десятилетий, но постепенно были вытеснены глубокими нейронными сетями. Однако совсем недавно было обнаружено, что глубокие нейронные сети - это приблизительно методы ядра, которые используют ядро, называемое Neural Tangent Kernel. Это открытие сделало возможным более глубокое понимание обучающего и обобщающего поведения нейронных сетей.
В этом интерактивном руководстве я мотивирую центральную математическую концепцию метода ядра, используя регрессию ядра с одномерным гауссовским ядром в качестве рабочего примера.
На самом базовом уровне описания любой метод ядра строит «кривую» для соответствия n точкам данных в виде взвешенной суммы n более простых кривых, принадлежащих к одному семейству. Каждая более простая кривая в определенном смысле центрируется вокруг точки данных. Функция ядра с двумя аргументами используется как генератор функций для функций с одним аргументом (эти более простые кривые). Помимо выбора этой функции ядра, n весов являются единственными параметрами, которые необходимо изучить.
На приведенном выше анимированном графике n более простых кривых показаны серым цветом, а их взвешенная сумма - синим. В первой части анимации появляются серые кривые, центрированные вокруг каждой точки входных данных. Во второй части вес каждой серой кривой корректируется так, чтобы взвешенная сумма соответствовала точкам данных. Наконец, показаны другие кривые, которые также соответствуют данным, и сравниваются с «оптимальной» оранжевой кривой, построенной с использованием нецентрированных кривых.
Полная статья с интерактивными визуализациями
Подробные математические основы и интерпретация этого метода даны в интерактивном руководстве. К сожалению, это не может быть показано на Medium из-за ограничений javascript. Также для взаимодействия с графиками требуется настоящий трекпад или мышь.
