طراحی و پیاده سازی یک سیستم استخراج اطلاعات با استفاده از روش های تطبیقی برای متون غیر ساخت یافته ی زبان فارسی
چکیده
در پردازش زبان طبیعی، استخراج اطلاعات نوعی بازیابی اطلاعات بوده که قادر به استخراج اطلاعات ساختار یافته از متون فاقد ساختار به وسیله ی الگوهایی از پیش تعریف شده است. در این پروژه، یک روش شبه بی نظارت مبتنی بر خوشه بندی در دو مرحله برای تعیین مناسب بودن، و همچنین طبقه بندی الگوهای استخراج اطلاعات از متن بر اساس نوع آنها طراحی، و برای زبان فارسی پیاده سازی شده است. مرحله ی اول خوشه بندی بر اساس نوع آنها طراحی، و برای زبان فارسی پیاده سازی شده است. مرحله ی اول خوشه بندی بر اساس فرکانس تکرار الگوها و مرحله دوم بر طبق محتویات معنایی آنها انجام می شود که می تواند نوع اطلاعاتی را که هر الگو استخراج می کند نیز به صورت خودکار تعیین کند. آزمایش روش بر روی یک دامنه ی خاص (اخبار زلزله) و یک دامنه ی عمومی تر (اخبار سوانح)انجام یافته و در حالت دامنه ی خاص، چند روش دیگر نیز پیاده سازی شده، و نتایج آنها مورد مقایسه قرار گرفته است. برای پردازش متن، از یک روش تکه سازی مبتنی بر ماشین بردار پشتیبان به همراه الگوریتمی برای تعیین محدوده ی جملات ساده و شکستن جملات مرکب به چند جمله ی ساده استفاده شده است که می تواند یک جمله را به گروه های دستوری تقسیم، و پس از آن، جملات مرکب را به جمله هایی ساده تبدیل نماید. همچنین روش تعیین جزء سخن بر اساس درخت تصمیم نیز استفاده شده است.