طراحی و پیاده سازی یک معماری نوین برای چارچوب سلسله مراتبی در مدل برنامه نویسی نگاشت کاهش مبتنی بر فایل سیستم توزیع شده hadoop
چکیده
مدل برنامه نویسی نگاشت کاهش که توسط گوگل معرفی شده است یکی از موفق ترین تلاش ها در راستای اداره کردن تقاضای فزاینده برای پردازش داده های بزرگ مقیاس است. اگرچه مدل برنامه نویسی مذکور رایانش موازی در خوشه های رایانه ای را بسیار ساده، کارآمد و مقیاس پذیر نموده است اما بستر های رایانش توزیع شده در سالهای اخیر دستخوش تغییرات شگرفی شده اند. امروزه بسیاری از مراکز داده و خوشه های رایانه ای با مولفه های پردازشی نوینی چون پردازنده های چند هسته ای، به ویژه پردازنده های برداری به عنوان شتاب دهنده های محاسباتی تجهیز شده اند. متاسفانه چارچوب های پیاده سازی شده کنونی از مدل برنامه نویسی نگاشت کاهش ناتوان از مهار توان محاسباتی این گره ها در خوشه های رایانه ای هستند. در این پایان نامه به ارائه فلسفه ای جدید در طراحی چارچوب های نگاشت کاهش خواهیم پرداخت که با رایانش موازی سلسله مراتبی موجود در مراکز داده امروزی منطبق باشد. ما به معرفی معماری جدیدی با هدف استفاده کارآمد از انواع مختلف پردازنده های برداری در بستر های رایانش توزیع شده پرداخته ایم. آزمایش ها و ارزیابی ها نشان می دهند که پیاده سازی ارائه شده در این پایان نامه نه تنها با خصوصیات برنامه های مدل نگاشت کاهش انطباق دارد بلکه از لحاظ تسریع کار و افزایش توان عملیاتی نیز بهتر عمل می کند.