خلاصه سازی خبر با استفاده از تکنیک های هوش مصنوعی
چکیده
با افزایش روز افزون منابع متنی الکترونیکی در شبکه جهانی وب، نیاز به دسترسی صحیح، سریع و آسان به اطلاعات بیشتر احساس می¬شود. برای یافتن سریع و مناسب سندهای مورد نظر کاربر، خواندن کامل متون بزرگ نامناسب است. در این میان سیستم¬های خلاصه¬سازی اتوماتیک نقش مهمی را ایفا می¬کنند و همچنین به عنوان یک راه حل برای مشکل سربار اطلاعات در نظر گرفته می¬شود. خلاصه¬سازی عبارت است از نمایش فشرده و دقیق متن ورودی به نحوی که متن خروجی مفاهیم مهم متن ورودی را ¬داشته باشد. از کابردهای خلاصه¬سازی می¬توان به خلاصه¬ساز¬ی اتوماتیک اخبار و ارسال آن¬ها از طریق پست¬الکترونیکی یا پیامک اشاره نمود. از دیگر کاربردهای آن¬ می¬توان خلاصه¬سازی تحقیقاتی، تجاری، خلاصه¬سازی صفحات وب برای آنکه در صفحه موبایل قابل نمایش باشد، در سیستم بازیابی اطلاعات، صنعت مخابرات، ویراستار¬ها و سیستم¬های فیلترینگ را نام برد. دو چالش اساسی در طراحی سیستم-های خلاصه¬سازی زبان فارسی وجود دارد. چالش اول پیوستگی میان برخی علائم با لغات و تنوع نگارشی در کلمات و دوم انتخاب جملات مهم و پیوسته برای حضور در خلاصه می¬باشد. به علت چالش¬های خلاصه¬سازی در زبان فارسی ما سعی کرده¬ایم در این پایان¬نامه، مرحله پیش¬پردازش را به طور کامل انجام دهیم. استخراج جملات مرتبط و پیوسته برای خلاصه نیازمند کلمات¬کلیدی دقیق و مرتبط با هم است که در این تحقیق از روش استخراج کلمات¬کلیدی هم¬رخداد و همچنین یک روش مبتنی بر استخراج رویدادها از متن برای خلاصه¬سازی اخبار فارسی پیشنهاد شده ¬است. سیستم پیشنهادی عنوان خبر، متن خبر و میزان فشرده¬سازی را از کاربر دریافت می¬کند و خلاصه¬ای مرتبط با عنوان خبر و متناسب با میزان فشرده¬سازی تولید می¬کند. روش پیشنهادی یک روش آماری و بدون ناظر است و خلاصه¬سازی انجام شده از نوع خلاصه¬ی گزینشی می¬باشد. برای ارزیابی سیستم پیشنهادی، از معیارهای دقت و بازخوانی و مقایسه با خلاصه¬ مرجع استفاده شده ¬است و همچنین سیستم پیشنهادی با سیستم farsisumمقایسه شده ¬است. ارزیابی روی یک مجموعه¬ای از خبرهای فارسی منتخب از پیکره¬ی همشهری، از گروه¬های مختلف صورت گرفته¬است. نتایج نشان دهنده عملکرد 66/81 درصدی سیستم در مقایسه با خلاصه¬های انسانی بوده¬ است و همچنین در مقایسه با سیستم fursisumاز عملکرد بهتری برخوردار است.