Я собираю информацию о трафике для особого случая использования, когда у меня есть ок. каждые 10 минут (но не точно) значение счетчика трафика с отметкой времени, например:
11:45 100
11:56 110
12:05 120
12:18 130
...
Это данные, которые у меня есть, и я не могу их улучшить.
Я хотел бы получить какую-то почасовую/ежедневную статистику из этого ввода, не могли бы вы предложить какие-то готовые функции или алгоритмы в python?
Я думаю о том, чтобы объединить счетчики с отметками времени в часы и взять первую отметку времени для часа по сравнению с последней и показать разницу в потоке трафика в данный час, однако, поскольку это может начинаться не точно с часа (например, с приведенного выше данные, он начинается с 120 @ 12:05), это может быть совсем не так, и было бы неплохо также пропорционально включить предыдущие данные (например, ((120-110)/9)*5). Однако я не хочу изобретать велосипед.
-- ОБНОВИТЬ --
Основываясь на приведенных ниже предложениях, я изучил pandas и создал код ниже. В качестве пояснения к написанному выше фону, значения с метками времени относятся ко второму уровню и распределяются неравномерно в пределах минуты (например, 11:45:03, 11:56:34 и т. д.). Таким образом, приведенный ниже код берет входные данные, переиндексирует их на второй уровень, выполняет линейную интерполяцию (при условии, что трафик равномерно распределяется между точками измерения), вырезает первую и последнюю дробные минуты (так что, если 1-я точка данных находится в 11:45 :03, не искажается из-за отсутствия первых 3 секунд) и передискретизирует данные второго уровня до минутного уровня. Теперь это работает, как и ожидалось, однако это очень медленно, я думаю, из-за интерполяции второго уровня, поскольку данные в целом охватывают несколько месяцев. Есть идеи по дальнейшему улучшению или ускорению кода?
import datetime
import pandas as pd
import numpy as np
import math
COLUMNS = ['date', 'lan_in', 'inet_in', 'lan_out', 'inet_out']
ts_converter = lambda x: datetime.datetime.fromtimestamp(int(x))
td = pd.read_table("traffic_log",
names = COLUMNS,
delim_whitespace = True,
header = None,
converters = { 'date' : ts_converter }).set_index('date')
# reindex to second-level data
td = td.reindex(pd.date_range(min(td.index), max(td.index), freq="s"))
# linear interpolation to fill data for all seconds
td = td.apply(pd.Series.interpolate)
# cut first and last fractional minute data
td = td[pd.Timestamp(long(math.ceil(td.index.min().value/(1e9*60))*1e9*60)):
pd.Timestamp(long(math.floor(td.index.max().value/(1e9*60))*1e9*60))]
# resample to minute-level taking the minimum value for each minute
td = td.resample("t", how="min")
# change absolute values to differences
td = td.apply(pd.Series.diff)
# create daily statistics in gigabytes
ds = td.resample("d", how="sum").apply(lambda v: v/1024/1024/1024)
# create speed columns
for i in COLUMNS[1:]:
td[i+'_speed'] = td[i] / 60 / 1024
