Я импортирую таблицу bigquery, которая содержит повторяющиеся записи. Мне нужно загрузить эти записи в облачное хранилище Google. Как я могу преобразовать результат в формат json, чтобы сохранить его в облаке Google?
Ниже мой код:
BigQueryClient Client = BigQueryClient.Create("test", _googleCredential)
string query = @"select * from `projecttest.TestDataset.CostData`";
result = Client.ExecuteQuery(query, parameters: null, queryOptions: new QueryOptions { UseLegacySql = false });
Как я вижу, вы делаете это для всей таблицы - вам лучше использовать задание экспорта в формате JSON.
SELECT * оплачивается сканирование всей таблицы по сравнению с бесплатным экспортом
- person Mikhail Berlyant; 14.08.2018
Вы можете использовать функцию Экспорт табличных данных BigQuery, которую можно реализовать для экспорта ваших данные таблиц из BigQuery в GCS в нескольких форматах, например Форматы экспорта JSON, CSV и Avro.
Предлагаю вам ознакомиться с Экспорт данных, хранящихся в BigQuery официальная документация, которая содержит несколько полезных примеров для отправки задания по извлечению через API, веб-интерфейс, командную строку и клиентские библиотеки в случае, если вы используете определенный язык программирования, как показано в следующем примере кода C #:
public void ExportJsonToGcs(
string datasetId, string tableId, string bucketName, string fileName,
BigQueryClient client)
{
StorageClient gcsClient = StorageClient.Create();
string contentType = "application/json";
// Get Table and append results into StringBuilder.
PagedEnumerable<TableDataList, BigQueryRow> result = client.ListRows(datasetId, tableId);
StringBuilder sb = new StringBuilder();
foreach (var row in result)
{
sb.Append($"{{\"title\" : \"{row["title"]}\", \"unique_words\":\"{row["unique_words"]}\"}}{Environment.NewLine}");
}
// Save stream to Google Cloud Storage.
using (var stream = new MemoryStream(Encoding.UTF8.GetBytes(sb.ToString())))
{
var obj = gcsClient.UploadObject(bucketName, fileName, contentType, stream);
}
}
RECORD типами данных, поскольку BigQuery поддерживает вложенные и повторяющиеся данные из исходных форматов, которые поддерживают объектно-ориентированные схемы, например файлы JSON.
- person Armin_SC; 14.08.2018
