Sklearn - GridSearchCV с v_measure_score НЕ то же самое

Я пытаюсь использовать GridSearchCV с v_measure_score и сравнить результат
с другим методом БЕЗ GridSearchCV.

Наилучший показатель v_measure_score по циклу for составляет 0,69816019299 с процентилем 27;
лучший показатель GridSearchCV > составляет 0,565562627046 с процентилем 12.

На мой взгляд, результаты должны быть одинаковыми.
Я несколько раз проверял свой код, но до сих пор не могу понять причину. Ниже приведен мой код:

GridSearchCV

estimators = [('tfIdf', TfidfTransformer()), ('sPT', SelectPercentile()), ('kmeans', cluster.KMeans())]
pipe = Pipeline(estimators)
params = dict(tfIdf__smooth_idf=[True],
              sPT__score_func= [f_classif], sPT__percentile=range(100, 0, -1),
              kmeans__n_clusters=[clusterNum], kmeans__random_state=[0], kmeans__precompute_distances=[True])
v_measure_scorer = make_scorer(v_measure_score)
grid_search = GridSearchCV(pipe, param_grid=params, scoring=v_measure_scorer)
grid_search_fit = grid_search.fit(apiVectorArray, yTarget)

v_measure_score по циклу for

bestPercent = [-1, -1]
for percent in xrange(100, 0, -1):
    transformer = TfidfTransformer(smooth_idf=True)
    apiVectorArrayTFIDF = transformer.fit_transform(apiVectorArray)
    apiVectorFit = SelectPercentile(f_classif, percentile=percent).fit(apiVectorArrayTFIDF, yTarget)
    k_means = cluster.KMeans(n_clusters=clusterNum, random_state=0, precompute_distances=True).fit(apiVectorFit.transform(apiVectorArrayTFIDF))

    if v_measure_score(yTarget, k_means.labels_) > bestPercent[1]:
        bestPercent[0] = percent
        bestPercent[1] = v_measure_score(yTarget, k_means.labels_)

Я попытался добавить цвет в свой код, но не смог.
Извините за ваши глаза.

Спасибо.


person Che-Hao Kang    schedule 18.11.2016    source источник


Ответы (1)


Я думаю, что ответ в том, что GridSearchCV использует перекрестную проверку для подбора данных, оценка отличается от цикла for.

person Che-Hao Kang    schedule 25.11.2016