ускорение последовательной проверки того, находится ли точка в форме в Python

У меня есть код для последовательного определения того, попадает ли каждая пара декартовых координат, найденных в моем DataFrame, в определенные геометрические замкнутые области. Но он довольно медленный, я подозреваю, потому что он не векторизован. Вот пример:

from matplotlib.patches import Rectangle

r1 = Rectangle((0,0), 10, 10)
r2 = Rectangle((50,50), 10, 10)

df = pd.DataFrame([[1,2],[-1,5], [51,52]], columns=['x', 'y'])

for j in range(df.shape[0]):
    coordinates = df.x.iloc[j], df.y.iloc[j]
    if r1.contains_point(coordinates):
        df['location'].iloc[j] = 0
    else r2.contains_point(coordinates):
        df['location'].iloc[j] = 1

Может ли кто-нибудь предложить подход для ускорения?


python pandas matplotlib vectorization geometry
person splinter    schedule 22.03.2017    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Лучше преобразовать прямоугольные участки в массив и работать с ним после определения степени их разброса.

def seqcheck_vect(df):
    xy = df[["x", "y"]].values
    e1 = np.asarray(rec1.get_extents())
    e2 = np.asarray(rec2.get_extents())
    r1m1, r1m2 = np.min(e1), np.max(e1)
    r2m1, r2m2 = np.min(e2), np.max(e2)
    out = np.where(((xy >= r1m1) & (xy <= r1m2)).all(axis=1), 0, 
                   np.where(((xy >= r2m1) & (xy <= r2m2)).all(axis=1), 1, np.nan))
    return df.assign(location=out)

Для данного образца функция выводит:

введите здесь описание изображения

контрольные показатели:

def loopy_version(df):
    for j in range(df.shape[0]):
        coordinates = df.x.iloc[j], df.y.iloc[j]
        if rec1.contains_point(coordinates):
            df.loc[j, "location"] = 0
        elif rec2.contains_point(coordinates):
            df.loc[j, "location"] = 1
        else:
            pass
    return df

тестирование на DF из 10 тыс. строк:

np.random.seed(42)
df  = pd.DataFrame(np.random.randint(0, 100, (10000,2)), columns=list("xy"))

# check if both give same outcome
loopy_version(df).equals(seqcheck_vect(df))
True

%timeit loopy_version(df)
1 loop, best of 3: 3.8 s per loop

%timeit seqcheck_vect(df)
1000 loops, best of 3: 1.73 ms per loop

Итак, векторизованный подход примерно в 2200 раз быстрее по сравнению с петельным.

person Nickil Maveli    schedule 22.03.2017
comment
Спасибо. Однако мне интересно, есть ли более общий метод, который не полагается на то, что он прямоугольник, а векторизован? Ваш подход полагался на него, если я не ошибаюсь - person splinter; 22.03.2017
comment
По сути, любая структура, имеющая диапазон для сравнения со значениями, присутствующими в DF, будет следовать аналогичной реализации, как показано выше. Должен быть способ, которым вы можете извлечь из них начальную и конечную точки и сохранить результат в массиве. - person Nickil Maveli; 22.03.2017
comment
Кроме того, все патчи имеют метод .get_extents(), так что, я думаю, это не должно вызывать проблем. - person Nickil Maveli; 22.03.2017