ریاضیات

بخشی از یک سریال در
تجزیه و تحلیل رگرسیون
مدل ها
رگرسیون خطی رگرسیون ساده رگرسیون چند جمله ای مدل خطی عمومی
مدل خطی تعمیم یافته انتخاب گسسته رگرسیون دو جمله ای رگرسیون دودویی رگرسیون لجستیک منطق چند جمله ای لوجیت مخلوط پروبیت احتمال چند جمله ای سفارش لوجیت دستور موقت پواسون
مدل چند سطحی جلوه های ثابت جلوه های تصادفی مدل اثرات مختلط خطی مدل اثرات مختلط غیرخطی
رگرسیون غیرخطی غیرپارامتری نیم پارامتری قدرتمند کوانتیل ایزوتونیک م componentsلفه های اصلی زاویه کم محلی تقسیم بندی شده
خطاهای موجود در متغیرها
برآورد کردن
کمترین مربعات خطی غیر خطی
معمولی وزن دار تعمیم یافته
جزئي جمع غیر منفی رگرسیون ریج منظم شده
حداقل انحراف مطلق با تکرار مجدد وزن بیزی چند متغیره بیزی
زمینه
اعتبار سنجی رگرسیون پاسخ متوسط ​​و پیش بینی شده خطاها و باقیمانده ها برازش باقیمانده مورد مطالعه قضیه گاوس – مارکوف
پورتال ریاضیات
v تی ه

در آمار ، حداقل مربعات معمولی ( OLS ) نوعی روش حداقل مربعات خطی برای برآورد پارامترهای ناشناخته در یک مدل رگرسیون خطی است. OLS با استفاده از اصل حداقل مربعات پارامترهای یک تابع خطی از مجموعه ای از متغیرهای توضیحی را انتخاب می کند : به حداقل رساندن مجموع مربعات اختلافات بین متغیر وابسته مشاهده شده (مقادیر متغیر مشاهده شده) در مجموعه داده و پیش بینی شده توسط تابع خطی.

از نظر هندسی ، این به عنوان مجموع فواصل مربع ، موازی با محور متغیر وابسته ، بین هر نقطه داده در مجموعه و نقطه مربوط به سطح رگرسیون دیده می شود - هرچه اختلافات کوچکتر باشد ، مدل بهتر متناسب با داده است . برآوردگر حاصل را می توان با یک فرمول ساده بیان کرد ، خصوصاً در مورد یک رگرسیون خطی ساده ، که در آن یک رگرسور واحد در سمت راست معادله رگرسیون وجود دارد.

OLS است برآوردگر سازگار زمانی که رگرسورها هستند اگزوژن ، و توسط گاوس مارکوف قضیه - بهینه در کلاس از برآوردگرهای بی طرفانه خطی که خطا می homoscedastic و سریال ناهمبسته . در این شرایط ، وقتی خطاها دارای واریانس محدود باشند ، برآورد میانگین بی طرفانه حداقل واریانس را ارائه می دهد . با فرض اضافی که خطاها به طور معمول توزیع می شوند ، OLS برآورد کننده حداکثر احتمال است .

فهرست

• 1مدل خطی
  • 1.1فرمول ماتریس / بردار
• 2برآورد کردن
  • 2.1مدل رگرسیون خطی ساده
• 3مشتقات جایگزین
  • 3.1پروجکشن
  • 3.2حداکثر احتمال
  • 3.3روش تعمیم یافته لحظه ها
• 4خواص
  • 4.1فرضیات
    • 4.1.1مدل رگرسیون خطی کلاسیک
    • 4.1.2مستقل و توزیع یکسان (iid)
    • 4.1.3مدل سری زمانی
  • 4.2خصوصیات نمونه متناهی
    • 4.2.1با فرض نرمال بودن
    • 4.2.2مشاهدات تأثیرگذار
    • 4.2.3رگرسیون تقسیم شده
    • 4.2.4برآورد محدود
  • 4.3خواص نمونه بزرگ
    • 4.3.1فاصله ها
    • 4.3.2تست فرضیه
• 5مثال با داده های واقعی
  • 5.1حساسیت به گرد شدن
• 6مثال دیگر با داده های واقعی کمتر
  • 6.1بیان مسأله
  • 6.2راه حل
• 7همچنین ببینید
• 8منابع
• 9خواندن بیشتر

مدل خطی [ ویرایش ]

مقاله اصلی: مدل رگرسیون خطی

قانون اوكون در اقتصاد كلان بیان می دارد كه در اقتصاد رشد ناخالص داخلی باید به طور خطی به تغییرات نرخ بیكاری بستگی داشته باشد. در اینجا از روش حداقل مربعات معمولی برای ساخت خط رگرسیون توصیف کننده این قانون استفاده می شود.

فرض کنید داده ها متشکل از n مشاهده باشد {  y i ،  x i  }n
i = 1. هر مشاهده من شامل یک پاسخ اسکالر Y i و یک بردار ستونیXi از مقادیر P پارامترهای (رگرسورها) X IJ برای J = 1، ...، ص . در یک مدل رگرسیون خطی ، متغیر پاسخ ،، یک تابع خطی از گیرنده ها است:

یا به صورت برداری ،

که در آنXi بردار از است من هفتم مشاهدات از همه متغیرهای توضیحی؛یک بردار p × 1 از پارامترهای ناشناخته است. و اسکالرهای معادلات من نشان متغیرهای مشاهده نشده تصادفی ( خطاهای )، که برای تحت تاثیر بر پاسخ های حساب Y من از منابع دیگر از explanators xi . این مدل را می توان در نت ماتریس نیز نوشت

که در آن Y و ε هستند N × 1 بردار از ارزش های متغیر پاسخ و خطاهای برای مشاهدات مختلف، و X یک IS N × ص ماتریس رگرسورها، همچنین گاهی اوقات به نام ماتریس طراحی ، که ردیف من است Xi T و شامل من هفتم مشاهدات در تمام متغیرهای توضیحی.

به عنوان یک قاعده ، اصطلاح ثابت همیشه در مجموعه رگرسورهای X گنجانده می شود ، مثلاً با گرفتن x i 1 = 1 برای همه i = 1 ، ... ، n . ضریب β 1 متناظر با این رگرسیون را رهگیری می نامند .

رگرسرها لازم نیست مستقل باشند: هر رابطه رگرسیونی می تواند وجود داشته باشد (به شرطی که یک رابطه خطی نباشد). به عنوان مثال ، ممکن است شک کنیم که پاسخ به طور خطی هم به یک مقدار و هم به مربع آن بستگی دارد. در این صورت ما یک رگرسیون را شامل می کنیم که ارزش آن فقط مربع یک رگرسیون دیگر است. در آن صورت، مدل می شود درجه دوم در رگرسور دوم، اما هیچ کدام از حد کمتر هنوز به عنوان یک خطی مدل این دلیل که مدل است هنوز هم خطی در پارامترهای ( β ).

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares