کمترین مربعات تعریف و مشتقات ما در حال حاضر زمان زیادی را صرف یافتن راه حل هایی برای آن کرده ایم A x = b اگر راه حلی وجود ندارد، سعی می کنیم x را که به راه حل بودن نزدیکتر است، جستجو کنیم. نزدیکترین چنین بردار x خواهد بود به طوری که A x = proj W b که در آن W فضای ستون A است. توجه داشته باشید که b - proj W b در متمم متعامد W از این رو در فضای تهی A T است. بنابراین اگر x نزدیکترین بردار باشد، پس A T ( b - A x ) = 0 A T A x = A T b حال باید نشان دهیم که A T A غیر مفرد است تا بتوانیم x را حل کنیم . لما اگر A یک ماتریس m xn با رتبه n باشد ، A T A غیر مفرد است.
اثبات می خواهیم نشان دهیم که فضای تهی A T A صفر است. اگر 0 = A T A x سپس هر دو ضلع را در x T ضرب می کنیم، به دست می آوریم 0 = x T A T A x = (A x ) T A x = A x . A x = ||A x || 2 اگر قدر یک بردار صفر باشد، بردار آن صفر است، بنابراین A x = 0 از آنجا که رتبه (A) = n میتوتیم نتیجه بگیریم که x = 0 اکنون می توانیم قضیه اصلی را بیان کنیم. قضیه بگذارید A یک ماتریس m xn یا رتبه n باشد ، سپس سیستم A x = b راه حل حداقل مربعات منحصر به فرد را دارد x = (A T A) -1 A T b مثال ها مثال راه حل حداقل مربعات را پیدا کنید A x = b با راه حل ما می توانیم به سرعت بررسی کنیم که A رتبه 2 دارد (دو ردیف اول مضرب یکدیگر نیستند). از این رو می توانیم محاسبه کنیم توجه کنید که دقیقاً b نیست، اما به همان اندازه که قرار است به آن نزدیک شویم. خط رگرسیون حداقل مربعات از اهمیت اساسی در تجزیه و تحلیل آماری، یافتن خط رگرسیون حداقل مربعات است. مثال یک مهندس در حال ردیابی شاخص اصطکاک بیش از مسافت پیموده شده در سیستم شکست یک وسیله نقلیه است. او انتظار دارد که رابطه مسافت پیموده شده-اصطکاک تقریباً خطی باشد. او پنج نقطه داده را جمع آوری می کند که در جدول زیر نشان داده شده است.
نمودار زیر این نکات را نشان می دهد ما به خطی علاقه مندیم که به بهترین وجه با داده ها مطابقت داشته باشد. به طور دقیق تر، اگر b بردار مقادیر داده های شاخص اصطکاک باشد و y بردار متشکل از مقادیر y باشد وقتی که داده مسافت پیموده شده را برای x وصل می کنیم و y را با معادله خط پیدا می کنیم، آنگاه خطی را می خواهیم که فاصله را به حداقل برساند. بین b و y _ اگر معادله خط باشد تبر + b = y سپس پنج معادله را بدست می آوریم 2a + b = 20 معادله ماتریسی مربوطه است A x = b یا اگرچه این راه حل دقیقی ندارد، اما نزدیکترین راه حل را دارد. ما داریم می توان نتیجه گرفت که معادله خط رگرسیون است y = -0.48x + 20.6 بهترین منحنی های مناسب اغلب، یک خط بهترین مدل برای داده ها نیست. خوشبختانه اگر بخواهیم از منحنی های غیرخطی دیگری برای برازش داده ها استفاده کنیم، همین روش کار می کند. در اینجا نحوه یافتن حداقل مربعات مکعب را توضیح خواهیم داد. روند سایر چند جمله ای ها نیز مشابه است.
مثال یک مهندس زیستی در حال مطالعه رشد یک کشت باکتری مهندسی شده ژنتیکی است و مشکوک است که تقریباً از یک مدل مکعبی پیروی می کند. او شش نقطه داده فهرست شده در زیر را جمع آوری می کند
او فرض می کند که معادله شکل دارد ax 3 + bx 2 + cx + d = y این شش معادله با چهار مجهول به دست می دهد a + b + c + d = 2.1 معادله ماتریسی مربوطه است برای یافتن بهترین جواب می توانیم از معادله حداقل مربعات استفاده کنیم به طوری که بهترین مکعب مناسب است y = 0.2x 3 - 2.0x 2 + 6.1x - 2.3 نمودار زیر نشان داده شده است |
منبع
http://ltcconline.net/greenl/courses/203/matrixonvectors/leastsquares.htm
در این وبلاگ به ریاضیات و کاربردهای آن و تحقیقات در آنها پرداخته می شود. مطالب در این وبلاگ ترجمه سطحی و اولیه است و کامل نیست.در صورتی سوال یا نظری در زمینه ریاضیات دارید مطرح نمایید .در صورت امکان به آن می پردازم. من دوست دارم برای یافتن پاسخ به سوالات و حل پروژه های علمی با دیگران همکاری نمایم.در صورتی که شما هم بامن هم عقیده هستید با من تماس بگیرید.