จะค้นหาคำนามวลีที่คล้ายกันใน NLP ได้อย่างไร

มีวิธีระบุคำนามวลีที่คล้ายกันหรือไม่ บางคนแนะนำให้ใช้แนวทางตามรูปแบบ เช่น X as Y expressions:

ยูเซน โบลต์ รับบทเป็น สปรินท์คิง

ลิเวอร์พูลเป็นหงส์แดง


person Shimak    schedule 27.10.2018    source แหล่งที่มา


คำตอบ (1)


มีเทคนิคมากมายในการค้นหาชื่ออื่นสำหรับเอนทิตีที่กำหนด โดยใช้รูปแบบต่างๆ เช่น:

  • X also known as Y
  • X also titled as Y

และการสแกนเอกสารจำนวนมาก (เช่น วิกิพีเดีย หรือบทความในหนังสือพิมพ์) เป็นวิธีหนึ่งที่จะทำได้

นอกจากนี้ยังมีทางเลือกอื่น ๆ ที่ฉันจำได้คือการใช้โครงสร้างลิงก์ระหว่างวิกิพีเดีย โดยการสำรวจลิงก์เปลี่ยนเส้นทางระหว่างบทความ คุณสามารถดาวน์โหลดไฟล์ที่มีรายการการเปลี่ยนเส้นทางได้จากที่นี่: https://wiki.dbpedia.org/Downloads2015-04 และการสำรวจไฟล์ คุณจะพบชื่อ/คำพ้องความหมายอื่นสำหรับเอนทิตี เช่น:

  • Kennedy_Centre -> John_F._Kennedy_Center_for_the_Performing_Arts>
  • Lord_Alton_of_Liverpool -> David_Alton,_Baron_Alton_of_Liverpool
  • Indiana_jones_2 -> Indiana_Jones_and_the_Temple_of_Doom

อีกสิ่งหนึ่งที่คุณสามารถทำได้คือรวมเทคนิคทั้งสองนี้เข้าด้วยกัน เช่น ค้นหาส่วนของข้อความที่มีทั้ง Indiana Jones และ Indiana_Jones_and_the_Temple_of_Doom เกิดขึ้นและไม่ได้ห่างกันเกินกว่า เช่น โทเค็น 4 หรือ 5 อัน คุณอาจพบรูปแบบเช่น also titled as จากนั้นคุณสามารถใช้รูปแบบเหล่านี้เพื่อค้นหาคำพ้องความหมาย/ชื่อทางเลือกเพิ่มเติม

person David Batista    schedule 28.10.2018
comment
เป็นไปได้หรือไม่ที่จะใช้แนวทางรูปแบบในคอลเลกชันโพสต์ของ Twitter หรือ Facebook เช่นการดึงข้อมูลที่คล้ายกับคำหลักและการค้นหาผ่านคอลเลกชัน - person Shimak; 29.10.2018
comment
รูปแบบที่คุณกล่าวถึงข้างต้นเรียกว่ารูปแบบเฮิร์สต์ บทความที่จะค้นหาและประเมินรูปแบบที่คล้ายคลึงกันโดยอัตโนมัติคือ การเรียนรู้รูปแบบวากยสัมพันธ์สำหรับการค้นพบไฮเปอร์นามโดยอัตโนมัติ ซึ่งเดิมทีรูปแบบเหล่านี้มีไว้สำหรับการค้นหาไฮเปอร์นิม แต่การเปลี่ยนแปลงเพียงเล็กน้อยก็ใช้ได้กับคำพ้องความหมายด้วย papers.nips.cc/paper/ - person polm23; 28.12.2018