به کارگیری روش یادگیری تقویتی برای مسیریابی پویا در شبکه به عنوان یک سیستم چند عاملی
چکیده
شبکه های کامپیوتری نمونه مهمی از سیستم های پویای توزیع شده هستند که در زندگی روزانه نقش زیادی پیدا نموده اند. اهمیت استراتژیک و محدودیت های ذاتی این گونه سیستم ها منجر به نیاز به کنترل توزیع شده، به خصوص برای مسیریابی، می شود تا رفتار شبکه را قابل تطبیق با تغییرات در توپولوژی، ترافیک داده ها، سرویس ها و غیره نماید. اخیراً، محققین بر روی الگوریتم های مسیر یابی جدیدتری به منظور فراهم آوردن میزان انطباق پذیری بیشتر با تغییر حالات شبکه تحقیق کرده اند که این الگوریتمها بر پایه روش های یادگیری ماشین بنا شده اند. یادگیری تقویتی یک روش یادگیری بدون سرپرست است که هدف از آن یادگیری یک سیاست، نگاشتی از مشاهدات به اعمال، بر مبنای بازخوردی است که از محیط دریافت می شود. این عمل یادگیری را می توان به صورت جستجوی مجموعه ای از سیاست ها نگریست که در هر لحظه در تعامل با محیط ارزیابی می شوند. در میان الگوریتم های مختلفی که برای یادگیری تقویتی تاکنون ارایه شده است الگوریتم یادگیری-q دارای بیشترین کاربرد است. در این پایان نامه به شبکه به عنوان یک سیستم چندعاملی نگریسته شده است که هر گره آن نشان دهنده یک عامل می باشد. سپس بر پایه روش یادگیری تقویتی و با استفاده از الگوریتم یادگیری-q هر یک از عامل ها شروع به یادگیری وضعیت شبکه می نماید تا در هر حالت شبکه بهترین عمل ممکن را از خود بروز دهد. در این روش وضعیت هر گره (عامل) به صورت تابعی از وضعیت گره های مجاور و خطوط ارتباطی مابین آن ها تعریف می شود و بدین صورت هر تغییر در وضعیت یک گره (عامل) در وضعیت و نحوه تصمیم گیری گره های (عاملین) مجاور آن تأثیرگذار است.