3-کمترین مربعات

توسط علی رضا نقش نیلچی | یکشنبه چهارم اردیبهشت ۱۴۰۱ | 5:47

مثال [ ویرایش ]

یک مثال ساده از فیزیک را در نظر بگیرید. یک فنر باید از قانون هوک پیروی کند که بیان می کند که گسترش یک فنر y متناسب با نیروی اعمال شده به آن است.

$y=f(F,k)=kF\!$

مدل را تشکیل می دهد که در آن F متغیر مستقل است. برای تخمین ثابت نیرو ، k ، یک سری n اندازه گیری با نیروهای مختلف انجام می دهیم تا مجموعه ای از داده ها را تولید کنیم. $(F_i، y_i)،\ i=1،\dots،n\!$ ، جایی که y i یک پسوند فنری اندازه گیری شده است. [14] هر مشاهده تجربی حاوی مقداری خطا خواهد بود، $\varepsilon$ و بنابراین ممکن است یک مدل تجربی برای مشاهدات خود مشخص کنیم،

$y_i = kF_i + \varepsilon_i. \,$

روش‌های زیادی وجود دارد که ممکن است برای تخمین پارامتر ناشناخته k استفاده کنیم. از آنجایی که n معادله در متغیرهای m در داده های ما شامل یک سیستم بیش از حد تعیین شده با یک مجهول و n معادله است، ما k را با استفاده از حداقل مربعات تخمین می زنیم. مجموع مربع هایی که باید به حداقل برسد است

$S=\sum _{i=1}^{n}(y_{i}-kF_{i})^{2}.$ [12]

برآورد حداقل مربعات ثابت نیرو، k ، به دست می آید

${\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.$

فرض می کنیم اعمال نیرو باعث انبساط فنر می شود. پس از به دست آوردن ثابت نیرو با برازش حداقل مربعات، گسترش را از قانون هوک پیش بینی می کنیم.

کمی سازی عدم قطعیت [ ویرایش ]

در محاسبه حداقل مربعات با وزن واحد یا در رگرسیون خطی، واریانس پارامتر j ام نشان داده می شود. $\operatorname {var}({\hat {\beta }}_{j})$ ، معمولا با تخمین زده می شود

$\operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{ -1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj}،$

${\hat {\sigma }}^{2}\approx {\frac {S}{nm}}$

$C=\left(X^{\mathsf {T}}X\right)^{-1},$

در جایی که واریانس خطای واقعی σ 2 با یک تخمین جایگزین می شود، آماره کای دو کاهش یافته ، بر اساس مقدار کمینه شده مجموع باقیمانده مربع ها (تابع هدف) ، S. مخرج، n - m ، درجات آزادی آماری است . درجات آزادی موثر را برای تعمیم ها ببینید . [12] C ماتریس کوواریانس است .

تست آماری [ ویرایش ]

اگر توزیع احتمال پارامترها مشخص باشد یا یک تقریب مجانبی انجام شود، حد اطمینان را می توان یافت. به طور مشابه، در صورتی که توزیع احتمال باقیمانده ها مشخص باشد یا فرض شود، می توان آزمون های آماری را بر روی باقیمانده ها انجام داد. اگر توزیع احتمال خطاهای تجربی شناخته شده یا فرض شود، می‌توانیم توزیع احتمال هر ترکیب خطی متغیرهای وابسته را استخراج کنیم. استنباط با فرض اینکه خطاها از یک توزیع نرمال پیروی می کنند آسان است، در نتیجه به این معنی است که تخمین پارامترها و باقیمانده ها نیز به طور معمول مشروط به مقادیر متغیرهای مستقل توزیع می شوند. [12]

برای آزمون آماری نتایج، لازم است در مورد ماهیت خطاهای آزمایشی مفروضاتی ایجاد شود. یک فرض رایج این است که خطاها به یک توزیع نرمال تعلق دارند. قضیه حد مرکزی از این ایده پشتیبانی می کند که در بسیاری از موارد این یک تقریب خوب است.

قضیه گاوس-مارکف . در یک مدل خطی که در آن خطاها دارای انتظار صفر مشروط با متغیرهای مستقل، غیر همبسته و دارای واریانس مساوی هستند ، بهترین برآوردگر خطی بی طرفانه از هر ترکیب خطی مشاهدات، برآوردگر حداقل مربعات آن است. "بهترین" به این معنی است که برآوردگرهای حداقل مربعات پارامترها دارای حداقل واریانس هستند. فرض واریانس برابر زمانی معتبر است که همه خطاها به یک توزیع تعلق داشته باشند.
اگر خطاها به یک توزیع نرمال تعلق داشته باشند، برآوردگرهای حداقل مربعات نیز برآوردگرهای حداکثر احتمال در یک مدل خطی هستند.

با این حال، فرض کنید خطاها به طور معمول توزیع نشده اند. در آن صورت، یک قضیه حد مرکزی اغلب به این معنی است که برآوردهای پارامتر تقریباً به طور معمول توزیع می شوند تا زمانی که نمونه به طور معقولی بزرگ باشد. به همین دلیل، با توجه به این ویژگی مهم که میانگین خطا مستقل از متغیرهای مستقل است، توزیع عبارت خطا موضوع مهمی در تحلیل رگرسیون نیست. به طور خاص، معمولاً مهم نیست که عبارت خطا از توزیع نرمال پیروی کند یا خیر.

حداقل مربعات وزنی [ ویرایش ]

"فن کردن" اثر ناهمسانی

مقاله اصلی: حداقل مربعات وزنی

یک مورد خاص از حداقل مربعات تعمیم یافته به نام حداقل مربعات وزنی زمانی رخ می دهد که تمام ورودی های خارج از مورب Ω (ماتریس همبستگی باقیمانده ها) صفر باشند. واریانس مشاهدات (در امتداد قطر ماتریس کوواریانس) ممکن است هنوز نابرابر باشد ( ناهمسانی ). به عبارت ساده تر، ناهمسانی زمانی است که واریانس $Y_{i}$ بستگی به ارزش دارد $x_{i}$ که باعث می شود نمودار باقیمانده یک اثر "فن کردن" به سمت بزرگتر ایجاد کند $Y_{i}$ مقادیر همانطور که در نمودار باقی مانده در سمت راست مشاهده می شود. از سوی دیگر، همسویی با این فرض است که واریانس $Y_{i}$ و $U_{i}$ برابر است. [10]

رابطه با اجزای اصلی [ ویرایش ]

اولین مؤلفه اصلی در مورد میانگین مجموعه ای از نقاط را می توان با خطی نشان داد که نزدیک ترین نقطه به نقاط داده را دارد (همانطور که با مجذور فاصله نزدیکترین رویکرد، یعنی عمود بر خط اندازه گیری می شود). در مقابل، حداقل مربعات خطی تلاش می کند تا فاصله در را به حداقل برساند $y$ فقط جهت بنابراین، اگرچه این دو از یک متریک خطای مشابه استفاده می‌کنند، حداقل مربعات خطی روشی است که یک بعد از داده‌ها را ترجیحاً بررسی می‌کند، در حالی که PCA همه ابعاد را به طور مساوی رفتار می‌کند.

رابطه با نظریه اندازه گیری [ ویرایش ]

آماردان برجسته سارا ون د گیر از نظریه فرآیند تجربی و بعد Vapnik-Chervonenkis برای اثبات برآوردگر حداقل مربعات استفاده کرد که می‌توان آن را به عنوان اندازه‌گیری در فضای توابع مربع‌پذیر تفسیر کرد. [15]

منظم سازی [ ویرایش ]

این بخش ممکن است برای اکثر خوانندگان برای درک آن بسیار فنی باشد . لطفاً بدون حذف جزئیات فنی، به بهبود آن کمک کنید تا برای افراد غیر متخصص قابل درک باشد. ( فوریه 2016 ) ( نحوه و زمان حذف این پیام الگو را بیاموزید )

مقاله اصلی: حداقل مربعات منظم

منظم سازی تیخونوف [ ویرایش ]

مقاله اصلی: تنظیم تیخونوف

در برخی زمینه‌ها، یک نسخه منظم از راه‌حل حداقل مربعات ممکن است ترجیح داده شود. منظم‌سازی تیخونوف (یا رگرسیون برجستگی ) محدودیتی را اضافه می‌کند $\|\بتا\|^2$ ، L 2 -norm بردار پارامتر، بزرگتر از مقدار معین نیست. [ نیاز به نقل قول ] به طور مساوی، [ مشکوک - بحث ] ممکن است به حداقل رساندن بدون محدودیت کمترین مربعات پنالتی را حل کند. $\آلفا\|\بتا\|^2$ اضافه شده، کجا $\ آلفا$ یک ثابت است (این شکل لاگرانژی مسئله مقید است). در زمینه بیزی ، این معادل قرار دادن یک میانگین صفر است که به طور معمول قبل از بردار پارامتر توزیع شده است.

روش کمند [ ویرایش ]

یک نسخه منظم جایگزین از حداقل مربعات، کمند (عملگر حداقل انقباض و انتخاب مطلق) است که از محدودیت استفاده می کند. $\|\beta \|$ ، L 1 -norm بردار پارامتر، بزرگتر از یک مقدار معین نیست. [16] [17] [18] (همانطور که در بالا، این معادل [ مشکوک – بحث ] به حداقل رساندن نامحدود پنالتی حداقل مربعات با $\alpha \|\beta \|$ اضافه شده است.) در زمینه بیزی ، این معادل قرار دادن توزیع قبلی لاپلاس با میانگین صفر در بردار پارامتر است. [19] مشکل بهینه‌سازی ممکن است با استفاده از برنامه‌ریزی درجه دوم یا روش‌های بهینه‌سازی محدب عمومی‌تر و همچنین با الگوریتم‌های خاص مانند الگوریتم رگرسیون کمترین زاویه حل شود.

یکی از تفاوت های اصلی بین کمند و رگرسیون رج این است که در رگرسیون رج با افزایش جریمه، همه پارامترها کاهش می یابند در حالی که همچنان غیر صفر باقی می مانند، در حالی که در کمند، افزایش جریمه باعث می شود پارامترها بیشتر و بیشتر شوند. رانده شده به صفر این مزیت لاسو نسبت به رگرسیون ریج است، زیرا هدایت پارامترها به صفر، ویژگی‌ها را از رگرسیون خارج می‌کند. بنابراین، لاسو به طور خودکار ویژگی‌های مرتبط‌تری را انتخاب می‌کند و بقیه را کنار می‌گذارد، در حالی که رگرسیون ریدج هرگز هیچ‌یک از ویژگی‌ها را به طور کامل حذف نمی‌کند. برخی از تکنیک های انتخاب ویژگی بر اساس لاسو توسعه یافته اند، از جمله Boلاسو که نمونه ها را راه اندازی می کند، [20] و FeaLect که ضرایب رگرسیون مربوط به مقادیر مختلف را تجزیه و تحلیل می کند. $\ آلفا$ برای امتیاز دادن به تمام ویژگی ها [21]

فرمول منظم L 1 به دلیل تمایل به ترجیح راه حل هایی که پارامترهای بیشتری در آنها صفر است، در برخی زمینه ها مفید است، که راه حل هایی را ارائه می دهد که به متغیرهای کمتری بستگی دارند. [16] به همین دلیل، کمند و انواع آن در زمینه سنجش فشرده اساسی هستند . گسترش این رویکرد منظم سازی خالص الاستیک است .

همچنین مشاهده کنید [ ویرایش ]

https://en.wikipedia.org/wiki/Least_squares

مشخصات وب

در این وبلاگ به ریاضیات و کاربردهای آن و تحقیقات در آنها پرداخته می شود. مطالب در این وبلاگ ترجمه سطحی و اولیه است و کامل نیست.در صورتی سوال یا نظری در زمینه ریاضیات دارید مطرح نمایید .در صورت امکان به آن می پردازم. من دوست دارم برای یافتن پاسخ به سوالات و حل پروژه های علمی با دیگران همکاری نمایم.در صورتی که شما هم بامن هم عقیده هستید با من تماس بگیرید.
09132003030

ریاضیات

آموزش ریاضی