Уменьшение входных размеров для модели глубокого обучения

Когда количество категорий велико, быстрое кодирование становится слишком неэффективным. Ярким примером этого является обработка предложений на естественном языке: в этой задаче словарный запас часто насчитывает 100 тысяч или даже больше слов. Очевидно, что перевод предложения из 10 слов в матрицу [10, 100000], почти все из которой равны нулю, был бы пустой тратой памяти.

Вместо этого исследователи используют слой внедрения, который изучает плотное представление категориального признака. В случае слов это называется встраиванием слов, например word2vec. Это представление намного меньше, чем-то вроде 100-мерного, и заставляет остальную часть сети эффективно работать с 100-мерными входными векторами, а не с 100000-мерными векторами.

В keras это реализовано с помощью слоя Embedding, который, я думаю, идеально подойдет для ваших geo и time функции, в то время как другие, вероятно, могут нормально работать с однократным кодированием. Это означает, что ваша модель больше не Sequential, а имеет несколько входных данных, некоторые из которых проходят через уровень внедрения. Основная модель возьмет объединение изученных представлений и сделает вывод регрессии.

Вы можете использовать PCA для уменьшения размерности. Он удаляет связанные переменные и гарантирует, что в данных есть большие расхождения.

Wikipedia PCA

Аналитическая Vidya PCA