ارائه الگوریتمی مبتنی بر خوشه بندی مارکوف برای تشخیص روبات های وب
چکیده
روبات ها یا خزنده های وب برنامه هایی برای استخراج دانش از صفحات وب هستند که کار خود را با تعدادی صفحه آغاز کرده و به صورت بازگشتی تمام اسناد قابل دسترسی از این صفحات را بازدید می کنند. روبات های وب با رفتار های متفاوت اعم از مخرب و غیر مخرب، در کنار کاربران انسانی، جزء بازدیدکنندگان وب به حساب می آیند. امروزه، با افزایش استفاده از اینترنت و پیدایش امکانات جدید در وب، نیاز به وجود روبات ها افزایش یافته است. تمایز انسان و روبات از حیث تامین امنیت شبکه های کامپیوتری، باعث طرح مساله تشخیص روبات وب شده است که حل دقیق آن، سایت ها را از دید روبات های مخرب مصون داشته و کارایی سرورها را با کاهش اولویت در پاسخ-دهی به روبات ها افزایش می دهد. در این مقاله می کوشیم؛ با ارائه 2 ویژگی جدید مبتنی بر الگوهای پیمایشی روبات-ها و منابع مورد درخواست آن ها، شباهت کسینوسی بین انسان و روبات را کاهش داده و با ارائه الگوریتمی مبتنی بر خوشه بندی مارکوف، بازدیدکنندگان دو وب سایت دانشگاهی و آموزشی را خوشه بندی نماییم. آزمایش ها نشان می دهد؛ آن چه بیشتر از تعداد ویژگی ها اهمیت دارد؛ مرتبط و مناسب بودن ویژگی های استفاده شده است. علاوه بر این، طبق ارزیابی های باناظر، الگوریتم پیشنهادی به طور متوسط با دقتی برابر 99.7? خوشه هایی تولید می کند که دارای آنتروپی 0.0215 بوده و 97.7? خالص هستند. همچنین متوسط 96.4? روبات ها به درستی تشخیص داده می-شوند. تحلیل نهایی خوشه ها نشان می دهد؛ برخی روبات های مفید اگرچه شناخته شده اند؛ می توانند با تقلید رفتار انسان شناسایی خود را دشوار سازند. علاوه براین، الگوریتم پیشنهادی از نقطه نظر کیفیت خوشه های نهایی و دقت، عملکردی بهتر نسبت به روش های مرز دانش دارد.