Предшественник нормализации потоков
В предыдущем выпуске Stat Stories я обсуждал преобразование переменных для одномерного непрерывного распределения. Такое преобразование переменных необходимо для создания новых и сложных распределений из более простого. Однако обсуждение ограничивалось одной переменной. В этой статье мы обсудим преобразование двумерного распределения. Понимание механизма многомерного преобразования — первый шаг к популярному в последнее время методу машинного обучения Нормализация потоков. Однако для простоты в этой статье мы будем придерживаться только двумерных распределений, которые можно обобщить на многомерные распределения.
Двумерное преобразование
Рассмотрим двумерный случайный вектор (X, Y). Далее рассмотрим следующее преобразование на случайном векторе: U = g₁(X, Y) , V = g₂(X, Y). Далее мы предполагаем, что g₁ и g₂ непрерывны, дифференцируемы и взаимно однозначны, следовательно, их обратное существует, и мы можем записать обратное преобразование как X = h₁(U, V), Y= h₂(U, V). В качестве альтернативы мы также можем предположить функцию g для случайного вектора (X, Y ), которая вместе дает (U, V), т. е. g(X, Y ) = (U, V). Мы предполагаем, что g остается обратимым.
Если рассмотреть x∈ X, y∈ Y,то матрицу якобиана можно записать как
а его определитель равен det(J) или просто якобиану.
Преобразование плотностей
Если мы нарисуем прямоугольник от (u, v) до (u + ∆u, v + ∆v), как показано на рис. 2,
тогда внутри прямоугольника у нас есть вероятность fᵤ, ᵥ (u, v)∆u∆v для совместной функции плотности fᵤ, ᵥ(u,v). Если g⁻¹ является обратным к g,тогда (x,y) = g⁻¹(u,v). Используя разложение Тейлора и сохраняя только дифференцирование первого порядка, линейная аппроксимация g⁻¹ дает две стороны параллелограмма, который можно аппроксимировать как прямоугольник:
Площадь прямоугольника определяется нормой векторного произведения
Уравнение 3 можно вычислить, используя определение матрицы Якоби, упомянутой в уравнении 1.
Следовательно,
где аппроксимация улучшается при ∆y, ∆v → 0. Таким образом, мы приходим к формуле преобразования двумерных плотностей:
который можно расширить до многомерной случайной величины Uследующим образом:
Пример
Мы считаем X и Y независимыми стандартными нормальными случайными величинами. Таким образом, совместная плотность вероятности X и Y определяется выражением
У нас есть обратное преобразование g⁻¹(x,y)следующим образом, которое представляет собой преобразование полярных координат (r ∈ R, θ ∈ Θ):
Мы можем записать определитель матрицы Якоби как
Таким образом, совместная PDF R и Θ с использованием уравнения 5 может быть записана как
Здесь R и Θ независимы, а Θ равномерна на [0, 2π).
В следующем выпуске Stat Stories я расскажу о нормализации потоков. Нормализация потоков — это просто расширение преобразования переменных, которое использует мощность нейронной сети для оценки плотности и выборки, создания синтетических данных и т. д. То, что мы обсуждали до сих пор, — это только верхушка айсберга.
Пока я создаю контент о нормализации потоков, пожалуйста, ознакомьтесь с предыдущими выпусками Stat Stories:
Если вы хотите узнать больше о важных темах статистики и науки о данных, подпишитесь на Medium через https://rahulbhadani.medium.com/membership. Это всего 5 долларов в месяц, но это очень удобно для меня, так как Medium платит авторам часть вашей абонентской платы.
Если вы зашли так далеко, посмотрите на фотографию моей очаровательной кошки Юдзи:
Спасибо за прочтение.
