سیستم شناسایی موجودیت های نامدار در متون فارسی
چکیده
شناسایی موجودیت های نامدار در پردازش زبان طبیعی به عملیاتی گفته می شود که طی آن کلی? اسامی خاص موجود در متن و متعلّق به مقوله های معنایی مختلف، شناسایی و استخراج می گردند. در واقع، شناسایی موجودیت های نامدار عملی است که در جهت ساختار بخشیدن به متن صورت می گیرد. شناسایی موجودیت های نامدار، بطور کلی با یکی از روش های مبتنی بر قانون و یا مبتنی بر روش یادگیری ماشینی و یا بصورت ترکیبی از این دو روش صورت می گیرد. در این پژوهش نیز با توجه به اینکه کارهای بسیار کمی در خصوص شناسایی موجودیت های نامدار در زبان فارسی صورت گرفته است، سیستمی پیشنهاد شده است که از هر دو روش مبتنی بر قانون(استفاده از فهرست ها، وندها و الگوها) و مبتنی بر یادگیری ماشین(در اینجا مدل مخفی مارکوف) برای شناسایی موجودیت ها استفاده می کند و در نهایت نتایج حاصل از این دو روش را ترکیب می نماید. با توجه به اینکه موجودیت های پایه ای که از زمان پیدایش این مفهوم مورد توجّه قرار گرفته اند، شامل اسامی اشخاص، مکان ها و سازمان ها می باشند، در سیستم پیشنهادی نیز روی این سه نوع موجودیت تمرکز شده است. البتّه در کنار این موجودیت های پایه ای، می توان به موجودیت هایی مانند زمان ها، تاریخ ها و مقادیر کمّی نیز پرداخت که خارج از حیط? این پژوهش می باشد. براساس ارزیابی هایی که با استفاده از مجموعه ای از داده های تست از نوع متن خبری شامل 32606 نشانه صورت گرفته است، سیستم ارائه شده در روش مبتنی بر قانونِ خود که تأکید اصلی این پژوهش می باشد، قادر خواهد بود موجودیت های نامدار را با دقّت(نسبت موجودیت های صحیح یافت شده بر کل موجودیت های یافت شده) حدود 95% و با فراخوانی(نسبت موجودیت های صحیح یافت شده به کل موجودیت ها) حدود 80% شناسایی نماید. این نتایج می تواند موجب بهبود کارایی در سیستم هایی مانند سیستم های پاسخگویی موتورهای جستجو که از نتایج حاصل از سیستم های شناسایی موجودیت های نامدار استفاده می کنند، بشود. شایان ذکر است که عدم وجود لیست های موجودیتی نسبتاً کامل و دشواری تعیین محدود? موجودیت ها از عوامل اصلی افت کارایی سیستم می باشد.