رگرسیون از دیدگاه نظریه اطلاعات
Abstract(in Persian; no English abstract is available)
در این نوشتار ابتدا مدل رگرسیون خطی، نحوه برآورد پارامترهای مدل رگرسیون، آزمون معنی داری ضرایب رگرسیون، انتخاب بهترین معادله رگرسیون و مساله هم خطی مطرح می شود. تعاریفی از نظریه اطلاعات بیان می گردد و اصل آنتروپی ماکسیمم معرفی می شود. با استفاده از نظریه اطلاعات، آنتروپی ماکسیمم برای ضرایب و خطاهای مدل رگرسیون حاصل می شود، ضرایب مدل رگرسیون با کمک نظریه اطلاعات برآورد می شوند و آزمون معنی داری رگرسیون با توجه به نظریه اطلاعات صورت می گیرد. در نهایت نحوه تشخیص هم خطی و رفع مشکل هم خطی مدل رگرسیون بر اساس نظریه اطلاعات بیان می شود ، یکی از روشهایی که برای برطرف کردن هم خطی با کمک نظریه اطلاعات صورت می گیرد، آنتروپی ماکسیمم تعمیم یافته است که در این طرح به معرفی آن پرداخته می شود.