دسته بندی اسناد کوتاه برای استخراج کلمات کلیدی و گسترش پرسوجو ها
چکیده
کاوش متن پردازشی است که برای پیدا کردن و بهبود اطلاعات از متن به کار می رود. با کاوش می توان اجرای جستجوها را با توجه به ارتباط یادگیری ماشین و بازیابی اطلاعات بهبود بخشید. برای مثال دسته بندی موضوعی اخبار، یکی از حیطه های تمرکز محققان برای استخراج داده های مهم از محیط های داده ای بزرگ است. به دلیل بالا رفتن محتوی ایجاد شده کاربران روی اینترنت، انواع متن های مختلفی با جذابیت بالا ایجاد شده اند که نیاز است از میان حجم عظیم داده ها, اطلاعات مورد نیاز استخراج گردد. برای این منظور نیاز به دسته بندی اسناد وجود دارد. در این تحقیق به استخراج اطلاعات از اسناد کوتاه که حاوی تعداد کمی کلمه هستند پرداخته شده است. بنابراین دانستن میزان اهمیت کلمات در داخل اسناد ضروری است که این کار از طریق استخراج کلمات کلیدی به وسیله تمرکز بر روی وزن دهی به روابط صورت گرفته است. وقتی از اسناد کوتاه استفاده می شود بزرگترین چالش در وزن دهی روابط این است که کلمات کلیدی در یک سند اغلب فقط یکبار تکرار می شوند که این کار را دشوار می سازد. در این تحقیق روش هایی برای وزن دهی کلمات ارائه کرده و بر اساس وزن های ارائه شده، اسناد ارزیابی می گردند. ارزیابی اسناد در سه مرحله صورت میگیرد: 1) دسته بندی اسناد 2) استخراج کلمات کلیدی برای تشخیص کلمات خیلی مهم از یک سند و 3) مدل سازی کلمات کلیدی وابسته به هم با هدف شناسایی لینک های مابین کلمات کلیدی و استفاده از آنها برای گسترش پرس وجوها. الگوریتمی که ارائه شده است با استفاده از روش k-means به دسته بندی اسناد می پردازد. بعد از انجام آزمایشات و بررسی های انجام شده نتایج حاصل شده است و مقایسه نتایج با دیگر روش های موجود نشان از برتری الگوریتم ارائه شده دارد.