بازشناسی متون فارسی با استفاده از مدل زبانی n-gram و پالایش گرامری
چکیده
بازشناسی متون، در سال های اخیر بسیار مورد توجه قرار گرفته است. ارائه الگوریتم های بازشناسی برگرفته از ساختار گرامری و معنایی این زبان می تواند روش موثری در پردازش های دیگر مربوط به خط و زبان فارسی باشد. در این مقاله با استفاده از شاخه علمی پردازش زبان-های طبیعی، یک الگوریتم سه مرحله ای به منظور بازشناسی متون فارسی بر مبنای بازشناسی جملات فارسی ارائه می شود. این روش شامل مراحل ترکیب زیرکلمات به منظور ساخت کلمات و سپس جملات بالقوه معنی دار و در نهایت استفاده از دو مدل زبانی و چند قاعده گرامری به منظور تشخیص جمله صحیح براساس انطباق با گرامر زبان فارسی می باشد. آزمایشات متعدد نشان می دهد که دقت روش ارائه شده برای مرحله ساخت کلمات و سپس جملات بالقوه معنی دار 98 درصد و 85 درصد برای تشخیص جمله صحیح با استفاده از مدل زبانی بایگرام و 88 درصد برای مدل زبانی ترایگرام است.