Thursday, June 07, 2012

การตัดคำไทย

ผมเองสนใจภาษาไทย แต่ว่า ยังไม่ได้ลงมือลุยทำอะไรที่อยากทำเสียที
เท่าที่ทำได้ตอนนี้ก็แค่เก็บเล็กประสมน้อยไปเรื่อยๆ

ความที่ภาษาไทย มีความอ่อนตัวสูง ในมุมมองของผม ทำให้คนอ่านต้องใช้ประสบการณ์ในการอ่านหนังสือไทยมากพอสมควร ปัญหาอย่างหนึ่งคือ การเขียนคำไทยติดกันเป็นพืดยาวไป คนไทยส่วนมากจะใช้สมองตัดคำได้เอง สามารถเข้าใจได้ แต่ว่า บางกรณีก็มีปัญหาเหมือนกัน อย่างที่ เราก็รู้ๆ กันอยู่ อาทิเช่น คำว่า ตากลม อาจจะหมายถึง ตา กลม หรือ ตาก ลม ก็ได้ แล้วแต่บริบท เป็นต้น

วันนี้จะเอา กลุ่มคำทำนองนั้น ที่มีปัญหาในการใช้ซอฟต์แวร์ตัดคำ เท่าที่พบ และเก็บเอาไว้ มาโพสต์ไว้ที่นี่เสียหน่อย เผื่อว่าในอนาคต จะมีใครเอาไปทำอะไรได้บ้าง

Thai language, with its continuous writing of texts, requires quite a cognitive skill in determining word borders, i.e. Thai word delimitations. Usually, this is not a major problem for Thai people. We know quite well where each word ends. However, there are occasions when there are ambiguities for us.

Here are some phrases that would surely slow down any Thai reader to pause and ponder a while to determine exact word boundaries and I think these words will serve as obstacles for future text processing software for Thai language.

Perhaps this small list that I myself have compiled, in a few months, might be of use as data set for someone if they want to create a parser for word delimitation in Thai language, so I posted it here.

The splitted words are given on the right side of the equal signs. If I think multiple ways of splitting makes sense then I put down a comma to separate those possibilities. However, if the former splitting is more likely than the latter splitting then I put down ไม่ใช่ (NOT) to signify that the latter is not likely.

ตากลม = ตาก ลม , ตา กลม
เทรด = เท รด ,  เทรด
มารกสมอง =  มา รก สมอง
นายกอง = นาย กอง ไม่ใช่  นายก อง
แพลน = แพ ลน , แพลน
แพลม = แพ ลม , แพลม แพล็ม
เพลิน = เพ ลิน , เพลิน
ลอกลาย = ลอก ลาย  ไม่ใช่  ลอ กลาย
ปลาเลยอดข้าว = ปลา เลย อด ข้าว ไม่ใช่   ปลา เล ยอด ข้าว
อีกว่า = อีก ว่า , อี กว่า
ลับหอกลับดาบ = ลับหอก ลับดาบ ไม่ใช่  ลับหอ กลับดาบ
เอามากรอก = เอา มา กรอก ไม่ใช่  เอา มาก รอก
ว่ายอดขาย = ว่า ยอด ขาย ไม่ใช่  ว่าย อด ขาย
โค้งงอกว่า = โค้ง งอ กว่า ไม่ใช่    โค้ง งอก ว่า
มาตุน  =  มา ตุน  ไม่ใช่ , มาตุ น
ไม่มากลบ = ไม่ มา กลบ , ไม่ มาก ลบ
ภาครับ = ภาค รับ ,   ภา ครับ
มากวน =  มา กวน , มาก วน
มากว่า = มา กว่า , มาก ว่า
เรียกว่ายอดคน  =   เรียก ว่า ยอด คน  ,   เรียก ว่าย อด คน
สมการรอ   =    สม การ รอ   ,     สมการ รอ
แน่นแนบอก  =   แน่น แนบ อก  ไม่ใช่   แน่น แน บอก
เกรงอกเกรงใจ  =  เกรง อก เกรง ใจ ไม่ใช่    เก รง อก เก รง ใจ
แปลกลับ =  แปล กลับ ไม่ใช่   แปลก ลับ , แป ลก ลับ
โสมม  =   โส มม  ไม่ใช่  โสม ม
เหมายัน = เหมายัน , เหมา ยัน
ชาดกว่า  =  ชาดก ว่า  ไม่ใช่ ชาด กว่า
หน้ากากระบบ    =    หน้ากาก ระบบ  ไม่ใช่ หน้า กา กระ บบ
เลือกตั้งนาน = เลือก ตั้ง นาน ,  เลือกตั้ง นาน
หากล้า = หา กล้า , หาก ล้า
แผ่นดิน = แผ่น ดิน , แผ่นดิน
ขนมอบ = ขนม อบ ,  ขน มอบ
พายอบ = พาย อบ , พา ยอบ
โคกระบือ = โค กระบือ , โคก ระบือ
ว่ายวน =     ว่าย วน  ,  ว่า ยวน
พยายามหายา = พยายาม หา ยา ไม่ใช่ พยา ยา มหา ยา
มารคลองเมือง  = มาร คลอง เมือง   ไม่ใช่ มารค ลอง เมือง

แกมอบเงิน = แก มอบ เงิน  ไม่ใช่ แกม อบ เงิน
แลนกลอบ =  แล นก ลอบ , ไม่ใช่  แลน กล อบ   แลน กลอบ
บ้านรก = บ้าน รก , บ้า นรก
ยานรก = ยา นรก , ยาน รก




No comments: