Regex เพื่อแยกคำจากภาษาอื่น

โดยทั่วไป นิพจน์ทั่วไปไม่มีประสิทธิภาพเพียงพอที่จะแยกคำในภาษาที่ไม่ได้ใช้ตัวแยกคำ (เช่น ช่องว่าง)

หากต้องการแยกคำจากภาษาจีน คุณต้องมีพจนานุกรมคำศัพท์ที่รู้จักจำนวนมาก และคุณต้องแบ่งประโยคตามคำที่รู้จัก โดยเลือกใช้รายการพจนานุกรมที่ยาวกว่า (เพราะว่าอักขระแต่ละตัวเป็นคำที่ถูกต้อง)

การจะแยกคำจากภาษาญี่ปุ่นนั้นขึ้นอยู่กับรูปแบบการเขียน หากข้อความเป็นภาษาคานาทั้งหมด ให้ใช้วิธีพจนานุกรมที่กล่าวถึงข้างต้น หากข้อความเป็นแบบมาตรฐานผสมระหว่างคันจิและคะนะ อย่างน้อยคุณก็จะรู้ได้ว่าการเปลี่ยนจากคะนะเป็นคันจิทุกครั้งแทบจะเป็นการเริ่มต้นของคำใหม่อย่างแน่นอน

สมมติว่าเรามีพจนานุกรมภาษาจีนอยู่ในมือ และเราต้องการแยกวลีดังนี้: 中國是位於亞洲東部的一個廣大地域或國度

วิธีหนึ่งคือการสแกนจากด้านซ้ายและหยิบตัวอักษรให้ได้มากที่สุดโดยที่ยังมีคำอยู่ในพจนานุกรมอยู่ จากนั้นเราก็ก้าวไปข้างหน้าด้วยตัวอักษรจำนวนมากนั้นแล้วทำซ้ำ แนวทางนี้เรียกว่าวิธีโลภ ซึ่งจะทำให้เราต้องแยกวลีนี้: [中國][是][位於][亞洲][東部][的][一][個][廣大][地域][或] [國度]

นี่ไม่ใช่แนวทางเดียว เพราะบางครั้งการแยกทางที่ดีที่สุดก็ไม่ใช่การละโมบ ตัวอย่างเช่น หากเรามีพจนานุกรม {A, B, C, D, AB, BCD} และข้อความ ABCD เราก็สามารถแบ่งข้อความเป็น [AB][C][D] หรือเป็น [A][BCD] . การแยกครั้งหลังอาจเป็นที่ต้องการมากกว่าครั้งก่อน

สะดวก หน้าเว็บนี้สามารถสาธิตการแยกคำในทางปฏิบัติ: http://www.mdbg.net/chindict/chindict.php

หากคุณเพียงต้องการกรองตามอักขระและไม่ใช่โครงสร้างทางภาษาที่มีลำดับสูงกว่า คุณสามารถทำสิ่งเดียวกันกับภาษาส่วนใหญ่ได้ - คุณเพียงแค่ต้องมีไลบรารีนิพจน์ทั่วไปที่รองรับ Unicode คุณสามารถค้นหารายการได้ที่นี่ และกรองตามช่วงเหล่านั้น

เช่นเดียวกับที่ [A-Za-z0-9] ใช้สำหรับข้อความภาษาอังกฤษ (โดยประมาณ) ดังนั้น [\p{Script=Arabic}0-9] ก็สามารถใช้เป็นข้อความภาษาอาหรับได้ (โดยประมาณ)