Метод пространственного подобия работает некорректно

Я делаю простую обработку естественного языка, используя spacy. Я работаю над фильтрацией слов, измеряя сходство между словами.

Я написал и использовал следующий простой код, показанный в документации spacy, но результат не похож на документацию< /а>.

import spacy
nlp = spacy.load('en_core_web_lg')
tokens = nlp('dog cat banana')

for token1 in tokens:
    for token2 in tokens:
        sim = token1.similarity(token2)
        print("{:>6s}, {:>6s}: {}".format(token1.text, token2.text, sim))

результат кода ниже.

   dog,    dog: 1.0
   dog,    cat: 2.307269867164827e-21
   dog, banana: 0.0
   cat,    dog: 2.307269867164827e-21
   cat,    cat: 1.0
   cat, banana: -0.04468117654323578
banana,    dog: -7.828739256116838e+17
banana,    cat: -8.242222286053048e+17
banana, banana: 1.0

В частности, сходство между «собакой» и «кошкой» должно быть около 0,8, а это не очень и очень маленькая величина.

Кроме того, сходство между «собакой» и «бананом» равно 0,0, а сходство между «бананом» и «собакой» равно -7,828739256116838e+17.

Я не знаю, как это исправить.

пожалуйста, помогите мне.


python spacy word2vec cosine-similarity similarity
person frhyme    schedule 18.09.2018    source источник
comment
Попробуйте после переустановки модели en_core_web_lg.   -  person Ajay Srivastava    schedule 19.09.2018
comment
Я не знаю, как переустановить его. Я пытаюсь найти его на просторной веб-странице документации, но безуспешно. Если вы знаете, как переустановить его, пожалуйста, скажите мне. спасибо за ваш комментарий и помощь.   -  person frhyme    schedule 21.09.2018
comment
python -m spacy скачать en_core_web_lg --force   -  person Ajay Srivastava    schedule 21.09.2018
comment
@AjaySrivastava Спасибо за вашу помощь, я попробовал, как вы упомянули, но, к сожалению, все равно не изменилось. но спасибо за вашу помощь.   -  person frhyme    schedule 22.09.2018

Ответы (2)


arrow_upward
1
arrow_downward

Сначала установите большую модель EN (или все модели).

python3 -m spacy.en.download all

Затем попробуйте использовать пример кода в соответствии с документацией, используя

nlp = spacy.load('en_core_web_md')

Если это не сработает, вместо вышеописанного попробуйте загрузить,

nlp = spacy.load('en')

После внесения вышеуказанных изменений результат соответствует документации.

python3 /tmp/c.py
   dog,    dog: 1.000000078333395
   dog,    cat: 0.8016855098942641
   dog, banana: 0.2432764518408807
   cat,    dog: 0.8016855098942641
   cat,    cat: 1.0000001375986456
   cat, banana: 0.2815436412709355
banana,    dog: 0.2432764518408807
banana,    cat: 0.2815436412709355
banana, banana: 1.000000107068369
person Anil_M    schedule 19.09.2018
comment
Спасибо за вашу помощь. Однако это не было решено с использованием вашего решения. Он по-прежнему показывает неверный результат сходства, отличный от вашего результата. - person frhyme; 21.09.2018

arrow_upward
-1
arrow_downward

Я решил эту проблему, наконец.

просто добавьте код import numpy as np .

Это все.

person frhyme    schedule 30.08.2019
comment
Это решение вообще не имеет смысла. Вы даже не используете numpy в своем коде - person Ateik; 10.02.2020
comment
Атейк @Атейк Да. Как вы сказали, я не использовал numpy в своем коде. Но я решаю проблему, добавляя этот код. библиотека spacy может зависеть от библиотеки numpy. - person frhyme; 11.02.2020