پایان‌نامه

طراحی سامانه‏ای برای تشخیص اسناد مشابه به منظور استفاده در دسته‏بندی اسناد فارسی

ابراهیم رزمی کندری

چکیده

با افزایش اسناد الکترونیکی و رشد سریع شبکه جهانی وب از یک ‏طرف و اهمیت در دسترس بودن اسناد از سویی دیگر، نیاز به دسته‏بندی اسناد وجود دارد. کار دسته‏بندی اسناد به منظور سازماندهی داده‏ها و دانش و همچنین توسعه تشخیص و تفکیک اسناد متنی صورت می‏گیرد. برای دسته‏بندی اسناد به گروه‏های مشخص شده باید از یک معیار سنجش شباهت یا فاصله بین اسناد استفاده شود. در این پایان‏نامه ابتدا تحقیق و مطالعه‏ای روی مراحل دسته‏بندی انجام شد. مهمترین مراحل مورد نیاز دسته‏بندی، جداسازی کلمه‏ها، محاسبه tf-idf، انتخاب اسناد اولیه دسته‏ها، انتخاب معیار ارزیابی شباهت بین اسناد و در نهایت دسته‏بندی است. سپس بر روی آزمایش و ارزیابی معیارهای ارزیابی شباهت یا فاصله مورد استفاده در کار دسته‏بندی اسناد تمرکز شد. پر کاربردترین معیارهای شباهت‏یاب در مسئله دسته‏بندی اسناد متنی، فاصله اقلیدسی، شباهت کسینوسی، ضریب جاکارد، ضریب همبستگی پیرسون و میانگین واگرایی کول‏بک-لیبلر هستند. در این پایان‏نامه برای انجام آزمایش‏ها از مجموعه آموزشی همشهری به عنوان پایگاه داده استفاده شده است. این مجموعه دارای 12 دسته است که تعداد اسناد موجود در هر دسته از 3758 تا 30924 سند متغیر است. برای ارزیابی دقت دسته‏بندی از معیارهای ارزیابی خلوص و آنتروپی استفاده می‏شود. در آزمایش‏های انجام شده به بررسی تأثیر تعداد اسناد و دسته‏ها در دقت دسته‏بندی پرداخته شد. پس از انجام این آزمایش‏ها مشخص شد که افزایش تعداد اسناد و دسته‏ها بر روی دقت دسته‏بندی به ترتیب تأثیر مثبت و منفی دارد. سپس آزمایش‏هایی برای ارزیابی و مقایسه معیارهای شباهت‏یاب صورت گرفت. در طی این آزمایش‏ها مشخص شد که معیارهای همبستگی پیرسون و واگرایی کول‏بک-لیبلر به ترتیب بهترین و بدترین معیار هستند. پس از مشخص شدن دو معیار شباهت‏یاب برتر همبستگی پیرسون و جاکارد، دو معیار جدید با ترکیب این دو معیار، با ضرایب مختلف ارائه شد اما باعث افزایش دقت دسته‏بندی نسبت به معیار همبستگی پیرسون نشدند. سپس دو معیار جدید دیگر هر کدام با تغییر معیارهای همبستگی پیرسون و جاکارد پیشنهاد شدند. دقت دسته‏بندی با استفاده از معیار تغییریافته جاکارد دارای کارآیی کافی نبود. اما دقت دسته‏بندی با استفاده از معیار تغییریافته پیرسون افزایش یافت.

اساتید راهنما و مشاور

محمدرضا فیضی درخشی، بهزاد مظفری تازه کند

پایان‌نامه‌های مشابه

  • دسته بندی اسناد فارسی به کمک هستان شناسی فارس نت

    پایان‌نامه۲۰۱۲وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده کامپیوتر و فناوری اطلاعاتصبا سادات مدنی

    با توجه به رشد روزافزون اسناد الکترونیکی، نیاز به یک دسته بند کارا در حوزه داده کاوی واضح است. اخیراً به منظور افزایش دقت دسته بندی، استفاده از آنتولوژی لغوی به عنوان مرجع خارجی و نیز استخراج دانش از متون در فرآیند دسته بندی، مطرح شده است؛ از این رو، هدف از انجام این پروژه ارائه

  • روشی نوین برای دسته بندی متون فارسی با استفاده از قواعد انجمنی

    پایان‌نامه۲۰۱۴موسسه آموزش عالی غیردولتی و غیرانتفاعی پویندگان دانش - دانشکده فنیمحمد باقرلو

    امروزه مدیریت مبتنی بر محتوای متون، به علت رشد سریع و در دسترس قرار گرفتن متون به شکل دیجیتالی، از اهمیت زیادی برخوردار است. از طرفی دیگر یکی از روش های مهم در سازمان دهی اطلاعات، دسته بندی اسناد زبان طبیعی در دسته های از قبل مشخص شده است. با توجه به اهمیت موضوع و کاری که در این

  • دسته بندی اخبار فارسی با استفاده از تکنیک های هوش مصنوعی

    پایان‌نامه۲۰۱۴وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده مهندسی کامپیوترزهرا رباطی

    با توجه به رشد روزافزون متون الکترونیکی و از جمله متون خبری، معرفی یک دسته¬بند کارآمد در بسیاری از برنامه¬های کاربردی مرتبط با متون از جمله وبسایت¬های خبری، اهمیت بیشتری یافته است. از مهم¬ترین مسائل دامنه¬ی دسته¬بندی متون، استخراج ویژگی¬های کارا برای دسته¬بندی است. در کارهای گذشت

  • بهبود عملکرد دسته بندی متون و اسناد فارسی با استفاده از روش pca و ترکیب الگوریتم های جستجوی تکاملی

    پایان‌نامه۲۰۱۳وزارت علوم، تحقیقات و فناوری - دانشگاه پیام نور - دانشگاه پیام نور استان تهران - دانشکده مهندسی برق و کامپیوترهادی رمضانی

    با وجود حجم بالای اطلاعات متنی، نیازمند سیستمی کارا جهت دسته بندی خودکار متون داریم. بنابراین، باید دسته بندی را طوری انجام داد که ضمن افزایش دقت، سبب کاهش زمان و هزینه شود. فرایند دسته بندی متون دارای گام‎های پیش پردازش، وزن دهی، کاهش ویژگی و دسته بندی است که برای هر گام روش‎های

  • دسته بندی اسناد وب با استفاده از گراف نمایه سازی اسناد

    پایان‌نامه۲۰۱۳وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود - دانشکده کامپیوتر و فناوری اطلاعاتنرجس رمضانی اومالی

    با رشد روزافزون اطلاعات در وب، اغلب پروژه های تحقیقاتی در این حوزه با هدف سازماندهی اطلاعات شکل می گیرند، به گونه¬ای که کاربر نهایی بتواند راحت¬تر و با سرعت بیشتر به اطلاعاتی با دقت بالا و کارایی بهینه دست¬یابد. دسته¬بندی اسناد ابزاری مهم در بسیاری از امور مربوط به بازیابی اطلاعا

  • دسته بندی داده های چند برچسبی با استفاده از سامانه های دسته بندی یادگیرنده

    پایان‌نامه۲۰۱۲وزارت علوم، تحقیقات و فناوری - دانشگاه شیراز - دانشکده برق و کامپیوترسید کاوه احمدی ابهری

    دسته بندی یکی از مهمترین فرآیندهای مورد مطالعه در حوزه یادگیری ماشین و داده کاوی است که در برنامه های کاربردی فراوانی از جمله دسته بندی متن، تشخیص پزشکی، بیوانفورماتیک و... مورد استفاده قرار می گیرد. مسائل دسته بندی را می توان براساس تعداد برچسب های منتسب به هر یک از داده ها به د

اسناد مشابه