Я обрабатываю оконный поток сообщений PubSub и хочу заархивировать их в GCS. Я бы хотел, чтобы заархивированные файлы имели префикс, полученный из метки времени окна (что-то вроде gs://bucket/messages/2015/01/messages-2015-01-01.json). Возможно ли...

У меня есть конвейер потока данных, который собирает пользовательские данные, такие как навигация, покупки, грубые действия и т. д. У меня есть это требование, чтобы иметь возможность идентифицировать шаблоны в реальном времени, а затем отправлять...

Использование SCIO из spotify для написания задания для Dataflow , следуя 2 примерам например1 и e .g2 , чтобы записать PubSub поток в GCS , но получить следующую ошибку для приведенного ниже кода Ошибка Exception in thread...

Я получаю сообщения через pub-sub и хочу загрузить в большой запрос, используя данные сообщения, чтобы определить, в какую таблицу загружать данные. Я пробовал делать следующее: Pipeline pipeline = Pipeline.create (опции); String bigQueryTable;...

Я создал поток данных, который принимает входные данные из хранилища данных и выполняет преобразование, чтобы преобразовать его в BigQuery TableRow. Я прикрепляю метку времени к каждому элементу преобразования. Затем к коллекции PCollection...

Я установил шаблон в потоке данных Google, и он работал нормально. После некоторой модификации добавления параллельной обработки на раздел размер шаблона стал намного больше. Я попытался запустить его, но ничего не вышло. У меня такая ошибка, как...

В моем потоке данных используется файл .sql . Этот файл содержит запрос и находится в каталоге с именем queries . Мне нужно, чтобы этот файл был загружен с моим потоком данных. То, что я обнаружил, было использованием файла manifest.in, но,...