ریاضیات

روش حداقل مربعات فرآیند یافتن بهترین منحنی یا خط بهترین برازش برای مجموعه ای از نقاط داده با کاهش مجموع مجذورهای آفست (قسمت باقیمانده) نقاط از منحنی است. در طی فرآیند یافتن رابطه بین دو متغیر، روند پیامدها به صورت کمی برآورد می شود. این فرآیند به عنوان تحلیل رگرسیون نامیده می شود . روش برازش منحنی رویکردی برای تحلیل رگرسیون است. این روش برازش معادلات که منحنی ها را به داده های خام داده شده تقریب می کند، حداقل مربعات است.

کاملاً واضح است که برازش منحنی ها برای یک مجموعه داده خاص همیشه منحصر به فرد نیست. بنابراین، لازم است منحنی با حداقل انحراف از تمام نقاط داده اندازه گیری شده پیدا شود. این منحنی به عنوان بهترین منحنی برازش شناخته می شود و با استفاده از روش حداقل مربعات یافت می شود.

همچنین بخوانید:

تعریف روش حداقل مربع

روش حداقل مربعات یک روش آماری مهم است که برای یافتن یک خط رگرسیون یا یک خط مناسب برای الگوی داده شده استفاده می شود. این روش با یک معادله با پارامترهای خاص توصیف می شود. روش حداقل مربعات به طور سخاوتمندانه در ارزیابی و رگرسیون استفاده می شود. در تحلیل رگرسیونی، گفته می‌شود که این روش یک رویکرد استاندارد برای تقریب مجموعه‌هایی از معادلات است که دارای معادلات بیشتر از تعداد مجهول‌ها هستند.

روش حداقل مربعات در واقع راه حلی را برای به حداقل رساندن مجموع مربعات انحرافات یا خطاهای حاصل از هر معادله تعریف می کند. فرمول مجموع مربعات خطاها را بیابید که به یافتن تغییرات در داده های مشاهده شده کمک می کند.

روش حداقل مربعات اغلب در برازش داده ها استفاده می شود. بهترین نتیجه برازش برای کاهش مجموع مجذور خطاها یا باقیمانده‌ها فرض می‌شود که تفاوت بین مقدار مشاهده شده یا تجربی و مقدار برازش متناظر داده‌شده در مدل بیان شده است.

دو دسته اساسی از مسائل حداقل مربعات وجود دارد:

• حداقل مربعات معمولی یا خطی
• حداقل مربعات غیر خطی

اینها به خطی بودن یا غیرخطی بودن باقیمانده ها بستگی دارد. مسائل خطی اغلب در تحلیل رگرسیون در آمار دیده می شود. از سوی دیگر، مسائل غیر خطی به طور کلی در روش تکراری پالایش استفاده می شود که در آن مدل با هر تکرار به یک خطی تقریب می شود.

نمودار روش حداقل مربع

در رگرسیون خطی، خط بهترین تناسب یک خط مستقیم است که در نمودار زیر نشان داده شده است:

نقاط داده داده شده باید با روش کاهش باقیمانده یا جابجایی هر نقطه از خط به حداقل برسد. جابجایی های عمودی به طور کلی در مسائل سطحی، چند جمله ای و ابرصفحه استفاده می شود، در حالی که جابجایی های عمودی در عمل معمول استفاده می شود.

فرمول روش حداقل مربعات

روش حداقل مربعات بیان می کند که منحنی که به بهترین وجه با مجموعه مشاهدات معینی مطابقت دارد، به منحنی گفته می شود که دارای حداقل مجموع مجذور باقیمانده ها (یا انحرافات یا خطاها) از نقاط داده شده باشد. فرض کنید نقاط داده شده داده ها عبارتند از (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), …, (x n , y n ) که در آن همه x ها متغیر مستقل هستند ، در حالی که همه yها وابسته هستند. همچنین، فرض کنید که f(x) منحنی برازش است و d نشان دهنده خطا یا انحراف از هر نقطه داده شده است.

اکنون می توانیم بنویسیم:

d 1 = y 1 − f (x 1 )

d 2 = y 2 − f (x 2 )

d 3 = y 3 - f(x 3 )

…..

d n = y n – f( xn )

حداقل مربعات توضیح می دهد که منحنی که به بهترین وجه منطبق می شود با این ویژگی نشان داده می شود که مجموع مجذورات همه انحرافات از مقادیر داده شده باید حداقل باشد، به عنوان مثال:

جمع = حداقل مقدار

فرض کنید زمانی که باید معادله خط بهترین تناسب را برای داده های داده شده تعیین کنیم، ابتدا از فرمول زیر استفاده می کنیم.

معادله حداقل مربع با Y = a + bX به دست می آید

معادله عادی برای 'a': 

∑Y = na + b∑X

معادله عادی برای 'b': 

∑XY = a∑X + b∑X 2

با حل این دو معادله عادی می توانیم معادله خط روند مورد نیاز را بدست آوریم.

بنابراین، می‌توانیم خط بهترین تناسب را با فرمول y = ax + b بدست آوریم

مثال حل شده

مدل حداقل مربعات برای مجموعه ای از داده ها (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), …, (x n , y n )  از نقطه (x a , y a ) که در آن x a میانگین x i و y a میانگین y i است. مثال زیر چگونگی پیدا کردن معادله یک خط مستقیم یا حداقل مربع را با استفاده از روش حداقل مربع توضیح می دهد.

سوال: 

داده های سری زمانی ارائه شده در زیر را در نظر بگیرید:

از روش حداقل مربع برای تعیین معادله خط بهترین برازش برای داده ها استفاده کنید. سپس خط را رسم کنید.

راه حل:

میانگین مقادیر x i  = (8 + 3 + 2 + 10 + 11 + 3 + 6 + 5 + 6 + 8)/10 = 62/10 = 6.2

میانگین مقادیر y i  = (4 + 12 + 1 + 12 + 9 + 4 + 9 + 6 + 1 + 14)/10 = 72/10 = 7.2

معادله خط مستقیم y = a + bx است.

معادلات نرمال هستند

∑y = an + b∑x

∑xy = a∑x + b∑x 2

جایگزینی این مقادیر در معادلات عادی،

10a + 62b = 72….(1)

62a + 468b = 503….(2)

(1) × 62 - (2) × 10،

620a + 3844b - (620a + 4680b) = 4464 - 5030

-836b = -566

b = 566/836

b = 283/418

b = 0.677

جایگزینی b = 0.677 در رابطه (1)،

10a + 62 (0.677) = 72

10a + 41.974 = 72

10a = 72 - 41.974

10a = 30.026

a = 30.026/10

a = 3.0026

بنابراین، معادله تبدیل می شود،

y = a + bx

y = 3.0026 + 0.677x

این معادله خط روند مورد نیاز است.

اکنون مجموع مربعات انحرافات از مقادیر به دست آمده را می توانیم به صورت زیر بدست آوریم:

d 1 = [4 - (3.0026 + 0.677*8)] = (4.4186-)

d 2 = [12 - (3.0026 + 0.677*3)] = (6.9664)

d 3 = [1 – (3.0026 + 0.677*2)] = (3.3566-)

d 4 = [12 - (3.0026 + 0.677*10)] = (2.2274)

d 5 = [9 – (3.0026 + 0.677*11)] =(-1.4496)

d 6   = [4 - (3.0026 + 0.677*3)] = (1.0336-)

d 7 = [9 – (3.0026 + 0.677*6)] = (1.9354)

d 8 = [6 – (3.0026 + 0.677*5)] = (0.3876-)

d 9 = [1 – (3.0026 + 0.677*6)] = (6.0646-)

d 10 = [14 - (3.0026 + 0.677*8)] = (5.5814)

∑d 2  = (4.4186-) 2  + (6.9664) 2  + (-3.3566) 2  + (2.2274) 2  + (-1.4496) 2 +  (1.0336-) 2  + (1.9354) 2 +  (  0.387-) -6.0646) 2  + (5.5814) 2  = 159.27990

محدودیت برای روش حداقل مربع

روش حداقل مربعات یک روش بسیار سودمند برای برازش منحنی است. علیرغم فواید زیاد، کاستی هایی نیز دارد. یکی از محدودیت های اصلی در اینجا مورد بحث قرار می گیرد.

در فرآیند تحلیل رگرسیون که از روش حداقل مربعات برای برازش منحنی استفاده می شود، ناگزیر فرض می شود که خطاهای متغیر مستقل ناچیز یا صفر هستند. در چنین مواردی، زمانی که خطاهای متغیر مستقل غیر قابل چشم پوشی هستند، مدل ها در معرض خطاهای اندازه گیری قرار می گیرند. بنابراین، در اینجا، روش حداقل مربعات حتی ممکن است منجر به آزمون فرضیه شود، که در آن تخمین پارامترها و فواصل اطمینان به دلیل وجود خطاهای رخ داده در متغیرهای مستقل در نظر گرفته می شود.

سوالات متداول - سوالات متداول

چگونه حداقل مربعات را محاسبه می کنید؟

فرض کنید نقاط داده شده داده ها عبارتند از (x_1، y_1)، (x_2، y_2)، ...، (x_n، y_n) که در آن همه x ها متغیر مستقل هستند، در حالی که همه y ها متغیرهای وابسته هستند. همچنین، فرض کنید که f(x) منحنی برازش باشد و d نشان دهنده خطا یا انحراف از هر نقطه داده شده باشد.
حداقل مربعات توضیح می دهد که منحنی که به بهترین وجه برازنده است با این ویژگی نشان داده می شود که مجموع مجذورات همه انحرافات از مقادیر داده شده باید حداقل باشد.

چند روش برای حداقل مربع موجود است؟

دو دسته اصلی از مسائل روش حداقل مربعات وجود دارد:
حداقل مربعات معمولی یا خطی حداقل مربعات
غیرخطی

اصل حداقل مربعات چیست؟

اصل حداقل مربعات بیان می کند که با بدست آوردن مجموع مجذورات خطاها یک مقدار حداقل، محتمل ترین مقادیر سیستمی با مقادیر مجهول را می توان به دست آورد که مشاهدات بر اساس آن انجام شده است.

حداقل مربع یعنی چه؟

روش حداقل مربع، فرآیند به دست آوردن بهترین منحنی یا خط بهترین برازش برای مجموعه داده های داده شده با کاهش مجموع مجذورهای آفست (بخش باقیمانده) نقاط منحنی است.

برازش حداقل مربعات منحنی چیست؟

روش حداقل مربعات روشی است که معمولاً از منحنی برازش برای یک مجموعه داده معین استفاده می شود. این رایج ترین روشی است که برای تعیین خط روند برای داده های سری زمانی معین استفاده می شود.

منبع

https://byjus.com/maths/least-square-method/