نتیجه برازش مجموعه ای از نقاط داده با یک تابع درجه دوم

برازش مخروطی مجموعه ای از نقاط با استفاده از تقریب حداقل مربعات

روش حداقل مربعات یک رویکرد استاندارد در تحلیل رگرسیون برای تقریب حل سیستم های بیش از حد تعیین شده (مجموعه معادلاتی که در آنها معادلات بیشتر از مجهولات وجود دارد) با به حداقل رساندن مجموع مجذور باقیمانده ها (یک موجود باقیمانده: تفاوت بین یک مقدار مشاهده شده، و مقدار برازش ارائه شده توسط یک مدل) ساخته شده در نتایج هر معادله جداگانه.

مهمترین کاربرد در برازش داده ها است. بهترین تناسب در معنای حداقل مربعات مجموع مجذور باقیمانده را به حداقل می رساند . هنگامی که مسئله دارای عدم قطعیت های قابل توجهی در متغیر مستقل ( متغیر x ) باشد، روش های رگرسیون ساده و حداقل مربعات دارای مشکل هستند. در چنین مواردی، روش مورد نیاز برای برازش مدل‌های خطا در متغیرها ممکن است به جای حداقل مربعات در نظر گرفته شود.

مسائل حداقل مربعات به دو دسته تقسیم می شوند: حداقل مربعات خطی یا معمولی و حداقل مربعات غیرخطی ، بسته به اینکه آیا باقیمانده ها در همه مجهولات خطی هستند یا خیر. مسئله حداقل مربعات خطی در تحلیل رگرسیون آماری رخ می دهد . این یک راه حل به شکل بسته دارد. مسئله غیرخطی معمولاً با پالایش تکراری حل می شود. در هر تکرار، سیستم با یک خطی تقریب می شود، و بنابراین محاسبه هسته در هر دو مورد مشابه است.

حداقل مربعات چند جمله ای واریانس در پیش بینی متغیر وابسته را به عنوان تابعی از متغیر مستقل و انحراف از منحنی برازش شده توصیف می کند.

هنگامی که مشاهدات از یک خانواده نمایی با هویت به عنوان آمار کافی طبیعی و شرایط ملایم برآورده می شوند (مثلاً برای توزیع های نرمال، نمایی، پواسون و دوجمله ای)، برآوردهای حداقل مربعات استاندارد و برآوردهای حداکثر احتمال یکسان هستند. [1] روش حداقل مربعات را می توان به عنوان روش تخمینگر گشتاورها نیز استخراج کرد.

بحث زیر بیشتر بر حسب توابع خطی ارائه شده است اما استفاده از حداقل مربعات برای خانواده های عمومی توابع معتبر و کاربردی است. همچنین، با اعمال تقریب درجه دوم محلی برای احتمال (از طریق اطلاعات فیشر )، می‌توان از روش حداقل مربعات برای برازش یک مدل خطی تعمیم‌یافته استفاده کرد.

روش حداقل مربعات رسماً توسط آدرین ماری لژاندر (1805) کشف و منتشر شد، [2] ، اگرچه معمولاً به کارل فردریش گاوس (1795) [3] [4] نیز اعتبار داده می شود که پیشرفت های نظری قابل توجهی در این زمینه داشته است. روش و ممکن است قبلاً از آن در کار خود استفاده کرده باشد. [5] [6]

فهرست

• 1تاریخ
  • 1.1تاسیس
  • 1.2روش
• 2بیان مسأله
• 3محدودیت ها
• 4حل مسئله حداقل مربعات
  • 4.1حداقل مربعات خطی
  • 4.2حداقل مربعات غیر خطی
  • 4.3تفاوت بین حداقل مربعات خطی و غیرخطی
• 5مثال
• 6کمی سازی عدم قطعیت
• 7تست آماری
• 8حداقل مربعات وزنی
• 9ارتباط با اجزای اصلی
• 10رابطه با نظریه اندازه گیری
• 11منظم سازی
  • 11.1منظم سازی تیخونوف
  • 11.2روش کمند
• 12همچنین ببینید
• 13منابع
• 14بیشتر خواندن
• 15لینک های خارجی

تاریخچه [ ویرایش ]

تأسیس [ ویرایش ]

روش حداقل مربعات از حوزه های نجوم و زمین شناسی رشد کرد ، زیرا دانشمندان و ریاضیدانان به دنبال ارائه راه حل هایی برای چالش های پیمایش اقیانوس های زمین در دوران اکتشاف بودند. توصیف دقیق رفتار اجرام آسمانی، کلیدی بود که کشتی‌ها را قادر می‌ساخت در دریاهای آزاد حرکت کنند، جایی که ملوانان دیگر نمی‌توانستند برای ناوبری به رؤیت‌های زمینی تکیه کنند.

این روش نقطه اوج چندین پیشرفت بود که در طول قرن هجدهم رخ داد: [7]

• ترکیب مشاهدات مختلف به عنوان بهترین تخمین ارزش واقعی. خطاها به جای افزایش با تجمع کاهش می یابند، شاید اولین بار توسط راجر کوتس در سال 1722 بیان شد.
• ترکیبی از مشاهدات مختلف که تحت شرایط یکسان گرفته شده اند، برخلاف صرف تلاش برای مشاهده و ثبت دقیق یک مشاهده. این رویکرد به عنوان روش میانگین ها شناخته شد. این رویکرد به ویژه توسط توبیاس مایر در هنگام مطالعه بر روی ماه در سال 1750 و توسط پیر سیمون لاپلاس در کار خود در توضیح تفاوت‌های حرکت مشتری و زحل در سال 1788 مورد استفاده قرار گرفت.
• ترکیبی از مشاهدات مختلف انجام شده در شرایط مختلف . این روش به عنوان روش حداقل انحراف مطلق شناخته شد. این به طور مشخص توسط راجر جوزف بوسکوویچ در کار خود در مورد شکل زمین در سال 1757 و توسط پیر سیمون لاپلاس برای همان مشکل در سال 1799 اجرا شد.
• ایجاد معیاری که می تواند ارزیابی شود تا مشخص شود چه زمانی راه حل با حداقل خطا به دست آمده است. لاپلاس سعی کرد یک شکل ریاضی از چگالی احتمال خطاها را مشخص کند و روشی برای تخمین تعریف کند که خطای تخمین را به حداقل برساند. برای این منظور، لاپلاس از یک توزیع نمایی متقارن دو طرفه که اکنون توزیع لاپلاس می نامیم برای مدل سازی توزیع خطا استفاده کرد و از مجموع انحراف مطلق به عنوان خطای تخمین استفاده کرد. او احساس می کرد که اینها ساده ترین فرضیاتی است که می تواند بکند، و امیدوار بود که میانگین حسابی را به عنوان بهترین تخمین به دست آورد. در عوض، برآوردگر او میانه پسین بود.

روش [ ویرایش ]

کارل فردریش گاوس

اولین توضیح واضح و مختصر از روش حداقل مربعات توسط لژاندر در سال 1805 منتشر شد. [8] این تکنیک به عنوان یک روش جبری برای برازش معادلات خطی با داده ها توصیف می شود و لژاندر روش جدید را با تجزیه و تحلیل داده های مشابه لاپلاس برای نشان می دهد. شکل زمین ظرف ده سال پس از انتشار لژاندر، روش حداقل مربعات به عنوان یک ابزار استاندارد در نجوم و زمین شناسی در فرانسه، ایتالیا و پروس پذیرفته شد، که پذیرش فوق العاده سریع یک تکنیک علمی را تشکیل می دهد. [7]

در سال 1809 کارل فردریش گاوس روش خود را برای محاسبه مدار اجرام آسمانی منتشر کرد. در آن کار او ادعا کرد که از سال 1795 روش حداقل مربعات را در اختیار داشته است. این به طور طبیعی منجر به اختلاف اولویت با لژاندر شد. با این حال، به اعتبار گاوس، او فراتر از لژاندر رفت و موفق شد روش حداقل مربعات را با اصول احتمال و به توزیع نرمال پیوند دهد. او موفق شده بود برنامه لاپلاس را برای تعیین یک شکل ریاضی از چگالی احتمال برای مشاهدات، بسته به تعداد محدودی از پارامترهای مجهول، تکمیل کند و روشی برای تخمین تعریف کند که خطای تخمین را به حداقل برساند. گاوس نشان داد که میانگین حسابیدر واقع بهترین تخمین پارامتر مکان با تغییر چگالی احتمال و روش تخمین است. سپس با پرسیدن اینکه چگالی باید چه شکلی داشته باشد و از چه روشی برای تخمین برای بدست آوردن میانگین حسابی به عنوان تخمین پارامتر مکان استفاده شود، مسئله را تغییر داد. در این تلاش او توزیع نرمال را اختراع کرد.

نشان دادن اولیه قدرت روش گاوس زمانی رخ داد که از آن برای پیش بینی مکان آینده سیارک تازه کشف شده سرس استفاده شد. در 1 ژانویه 1801، ستاره شناس ایتالیایی، جوزپه پیاتزی ، سرس را کشف کرد و توانست مسیر آن را به مدت 40 روز قبل از اینکه در تابش خیره کننده خورشید گم شود، ردیابی کند. بر اساس این داده ها، اخترشناسان می خواستند مکان سرس را پس از بیرون آمدن آن از پشت خورشید بدون حل معادلات غیرخطی پیچیده حرکت سیاره کپلر تعیین کنند. تنها پیش‌بینی‌هایی که به اخترشناس مجارستانی فرانتس زاور فون زاخ اجازه داد سرس را جابه‌جا کند، پیش‌بینی‌هایی بود که توسط گاوس ۲۴ ساله با استفاده از تحلیل حداقل مربعات انجام شد.

در سال 1810، پس از خواندن کار گاوس، لاپلاس، پس از اثبات قضیه حد مرکزی ، از آن برای توجیه نمونه بزرگی برای روش حداقل مربعات و توزیع نرمال استفاده کرد. در سال 1822، گاوس توانست بیان کند که رویکرد حداقل مربعات برای تحلیل رگرسیون بهینه است به این معنا که در یک مدل خطی که در آن خطاها میانگین صفر دارند، همبسته نیستند و واریانس‌های برابر دارند، بهترین برآوردگر خطی بدون سوگیری ضرایب برآوردگر حداقل مربعات است. این نتیجه به عنوان قضیه گاوس-مارکف شناخته می شود .

ایده تحلیل حداقل مربعات نیز به طور مستقل توسط رابرت آدرین آمریکایی در سال 1808 فرموله شد. در دو قرن بعد، کارگران تئوری خطاها و آمار راه های مختلفی برای اجرای حداقل مربعات یافتند. [9]