Поток данных Azure: как сопоставить csv со следующей структурой таблицы sql?

У меня есть необработанный csv в лазурном blob следующим образом:

csv in blob

Я хочу преобразовать его следующим образом, чтобы я мог сопоставить его с таблицей:

структура таблицы sql

Если это невозможно в потоке данных Azure, то, по крайней мере, можем ли мы преобразовать CSV в ожидаемый формат таблицы SQL с помощью функций Excel?


person snoop    schedule 10.01.2020    source источник
comment
привет, мой ответ тебе помогает?   -  person Jay Gong    schedule 13.01.2020


Ответы (1)


Насколько мне известно, встроенной функции для реализации транспонирования нет. Я предлагаю вам использовать azure function activity перед data flow activity, чтобы преобразовать данные в нужный вам формат.

import csv
# import numpy as np

with open('D:/test1.csv', 'r') as csv_file:  # Opens the file in read mode
    csv_reader = csv.reader(csv_file)
    table = [row for row in csv_reader]
    header = table[0][0:2]+['Date','Value']
    dates = table[0][2:]
    newTable = [header]+[row[0:2]+[date, value] for row in table[1:] for date, value in zip(dates,row[2:])]
    print(newTable)
    # print(np.array(newTable))

Вывод, как показано ниже:

введите описание изображения здесь

person Jay Gong    schedule 10.01.2020