نقش آنتروپی در متن کاوی
چکیده
زبان های طبیعی و غیرطبیعی سامانه های پیچیده ای هستند که بستری مناسب برای رمزگذاری، رمزگشایی و تبادل اطلاعات فراهم می آورند. مطالعه ی زبان بشر افزون بر کاربردهای فراوان علمی و فنی، ما را به درک بهتر ساختار و عمل کرد مغز به عنوان ناشناخته ترین سامانه ی طبیعی رهنمون می سازد. بخش عمده ای از اطلاعات بشر به شکل نوشتاری ذخیره، بازیابی و استفاده می شود. نیاز روزافزون بشر به بازیابی اطلاعات نهفته در حجم رو به گسترش نوشتارها و پردازش آن ها شاخه ای میان رشته ای به نام متن کاوی ایجاد نموده است. به دلیل پیچیدگی زبان، روش های سنتی مطالعه ی سامانه های ساده قادر به توضیح وجوه مختلف آن نیستند. از این رو برای این مهم باید از رهیافت های نوینی چون نظریه ی شبکه های پیچیده و مکانیک آماری نافزونور کمک گرفت. در قلمرو مکانیک آماری، آنتروپی مفهومی کلیدی به شمار می آید که جنبه های عام سامانه های بس ذره ای را به جزییات ریزمقیاس آن ها پیوند می دهد. در این رساله با بهره گیری از رهیافت های یاد شده، راه کارهایی نوین برای متن کاوی ارایه کرده ایم. برای نمونه جهت استخراج خودکار واژگان کلیدی و شناسایی نویسنده ی نوشتارها از آنتروپی واژگان استفاده شده است. در این راستا شاخص نافزونوری، وام گرفته شده از مکانیک آماری نافزونور، به عنوان معیاری نوین در رتبه بندی محتوای واژگان نوشتارها و آشکار ساختن ویژگی های نویسندگان آن ها به کار رفته است. همچنین ویژگی های آماری و مشخصات شبکه ی نوشتارها برای شناسایی نویسنده ی آن ها با هم تلفیق شده اند. نتایج به دست آمده در زمینه های مذکور کارایی روش های معرفی شده را اثبات می نماید.






