روش «شپیلکین»؛ چگونه ریاضیات تقلب در انتخابات روسیه را لو می‌دهد؟

انتخابات روسیه

نگارش از عکس: آسوشیتد پرس

تاریخ انتشار ۱۹/۰۳/۲۰۲۴ - ۲۰:۳۴

هم‌رسانی این مطلب نظرها

انتخاب مجدد ولادیمیر پوتین با بیش از ۸۷ درصد آرا با انتقادهای گسترده‌ای در خارج از روسیه مواجه شده است. در داخل این کشور نیز شماری از رسانه‌های مخالفان در صحت آرا تردید کرده‌اند.

در اولین برآوردهای رسانه‌های مستقل روسیه در مورد میزان تقلب در انتخابات ریاست‌جمهوری روسیه، که از روز جمعه ۱۵ تا یکشنبه ۱۷ مارس برگزار شد، تعداد برگه‌های رای جعلی ۲۰ تا ۳۰ میلیون عدد تخمین زده شده است.

مدوزا، سایت روزنامه‌نگاری تحقیقی روسی، در مطلبی نوشته است «حدود ۲۲ میلیون برگه رای رسماً به نفع ولادیمیر پوتین جعل شده است». «نوایا گازتا اروپا»، یک رسانه دیگر اپوزیسیون روسیه، به این نتیجه رسیده که تقلب حتی گسترده‌تری وجود داشته است. بر اساس برآورد آنها، ۳۱.۶ میلیون برگه رای به نفع ولادیمیر پوتین جعل شده است.

متیو وایمن، کارشناس مسائل سیاسی روسیه در دانشگاه کیل بریتانیا، در این باره می‌گوید سه تخمین انجام‌شده «تقلب در مقیاسی بی‌سابقه در تاریخ انتخابات روسیه» را نشان می‌دهند.

این سه برآورد، نقطه مشترک دیگری هم دارند: همه آنها از الگوریتم یکسانی برای کشف بهترین تخمین ممکن از تعداد آرای نادرست به نفع ولادیمیر پوتین استفاده می‌کنند.

این روش که «متد شپیلکین» نام دارد، به نام سرگئی شپیلکین متخصص آمار که حدود ده سال پیش آن را برای اولین بار توسعه داد، نامگذاری شده است.

کار او در تجزیه و تحلیل انتخابات در روسیه، که در سال ۲۰۰۷ آغاز شد، تا کنون برایش چندین جایزه معتبر را به همراه آورده است. در عین حال اما دشمنان قدرتمندی را نیز برایش درست کرده و نامش از فوریه سال پیش در فهرست «عوامل خارجی» دولت روسیه ثبت شده است.

دیمیتری کوگان، آماردان مستقر در استونی که با سرگئی شپیلکین و دیگران برای توسعه ابزاری برای تجزیه و تحلیل نتایج انتخابات کار کرده است، می‌گوید روش او «روشی ساده برای ارزیابی کمی تقلب در انتخابات در روسیه ارائه می‌دهد، در حالی که بیشتر رویکردهای دیگر عمدتاً برای تشخیص وجود یا عدم وجود تقلب استفاده می‌شود.»

روش شپیلکین «بر اساس میزان مشارکت در هر شعبه رای‌گیری» است و هدف این است که مشخص شود در کدام حوزه‌های رای‌گیری مشارکت به‌طور غیرعادی بالا به نظر می‌رسد.

ولادیمیر پوتین رئیس جمهور روسیه

ولادیمیر پوتین رئیس جمهور روسیه عکس: آسوشیتد پرس

این تئوری می‌گوید نسبت آرای هر نامزد بسته به میزان مشارکت تغییر نمی‌کند (یا فقط به صورت جزئی تغییر می‌کند). الکساندر شن، ریاضیدان و آماردان در دانشگاه علوم کامپیوتر مون‌پلیه، می‌گوید در جایی که نرخ مشارکت منفجر می‌شود، «ما متوجه شدیم که این تکامل متناسب توزیع آرا به طور کامل ناپدید می‌شود و ولادیمیر پوتین ذینفع اصلی آرای اضافی است.»

برای تعیین کمیت تقلب، کافی است آرای ولادیمیر پوتین را با نتایجی که اگر توزیع آرا «صادقانه» انجام می‌شد، مقایسه کنیم. تفاوت دو درصد، تصوری از میزان دستکاری نتایج به نفع او و یا مطابق آنچه مخالفان می‌گویند «بازی‌ پر کردن برگه رای و نوشتن نام ولادیمیر پوتین»، به دست می‌دهد.

روش شپیلکین با این حال محدودیت‌هایی نیز دارد. مثل اینکه باید حتما چند شعبه رای‌گیری موجود باشد که کارشناسان به طور منطقی مطمئن باشند در آنها تقلبی صورت نگرفته است.

همچنین اگر متقلبان روش‌های ظریف‌تری را برای جعل نتایج استفاده می‌کردند، به عنوان مثال با برداشتن رای یکی از نامزدها و اضافه کردن آنها به نفع ولادیمیر پوتین، روش شپیلکین دیگر جواب نمی‌داد. آقای کوگان می‌گوید: «این واقعیت که مقامات همچنان از ابتدایی‌ترین روش‌ها برای تقلب استفاده می‌کنند، نشان می‌دهد که برای آنها متوجه شدن بقیه اهمیتی ندارد.»

متیو وایمن می‌گوید این تخمین‌ها همچنین «یک سلاح سیاسی مهم» هستند، چرا که اجازه می‌دهند «روایت رسمی روسیه مبنی بر اینکه نرخ مشارکت بالا بوده و رای در حمایت از پوتین نشان می‌دهد که کشور متحد است، به چالش کشیده شوند.»

جف هاون نیز می‌گوید: «این کلیشه وجود دارد که طبق آن روس‌ها به طور طبیعی به شخصیت‌های اقتدارگرا رای می‌دهند. نشان دادن اینکه ارقام چگونه بزرگنمایی شده‌اند، راهی برای اثبات این است که واقعیت بسیار ظریف‌تر است.»

https://parsi.euronews.com/2024/03/19/the-shpilkin-method-or-how-math-reveals-electoral-fraud-in-russia

+ نوشته شده در چهارشنبه یکم فروردین ۱۴۰۳ ساعت 14:33 توسط علی رضا نقش نیلچی |

فرمول استرلینگ، تعریف، مثال های حل شده

فرمول استرلینگ: فرمول استرلینگ یک روش تقریبی برای فاکتوریل ها است که تخمین های نزدیک را برای اعداد بزرگ ارائه می دهد که به صورت n!≈ √2πn (n/e ) n بیان می شود.

مانوج کومار

8 نوامبر 2023

فرمول استرلینگ

فهرست مطالب

فرمول استرلینگ: فرمول استرلینگ که به نام جیمز استرلینگ نامگذاری شده است، به عنوان یک روش تقریبی برای محاسبه فاکتوریل یک عدد معین (n! یا Γ(n) برای مقادیر بزرگ n عمل می کند. این فرمول یک تقریب ارزشمند را ارائه می دهد، به ویژه برای تعیین سریع فاکتوریل های اعداد بزرگ مفید است. در حالی که در ارائه نتایج دقیق برای مقادیر بزرگتر 'n' برتری دارد، اما برای مقادیر کوچکتر نیز قابل اجرا و موثر است.

علاوه بر این، فرمول استرلینگ کاربرد خود را فراتر از فاکتوریل ها گسترش می دهد و در زمینه تابع گاما به کار می رود و در زمینه های مختلف ریاضیات کاربردی ارتباط پیدا می کند. بررسی فرمول استرلینگ از طریق مثال های حل شده می تواند کاربردهای عملی و اثربخشی محاسباتی آن را بیشتر روشن کند.

فرمول استرلینگ یک عبارت ریاضی است که برای تقریب فاکتوریل یک عدد استفاده می‌شود و مقداری را ارائه می‌کند که با مقدار فاکتوریل واقعی، اغلب در حاشیه خطای کمتر از 2% همسو است. این روش تقریبی که به نام جیمز استرلینگ نامگذاری شده است برای تخمین فاکتوریل یک عدد معین 'n' استفاده می شود. این فرمول به عنوان یک ابزار ارزشمند در ریاضیات است و بیانی را ارائه می دهد که به مقدار فاکتوریل واقعی نزدیک می شود و آن را برای اهداف مختلف محاسباتی و تحلیلی بسیار مفید می کند. فرمول استرلینگ به صورت زیر بیان می شود:

فرمول استرلینگ

نمونه های حل شده فرمول استرلینگ

مثال 1: مقدار 5 فاکتوریل را با استفاده از فرمول استرلینگ بیابید.

راه حل:

برای یافتن: 5 فاکتوریل.

با استفاده از فرمول

n! = √(2×π×n)(n/e)^ n

5 ! = √(2×π×5) (5/e) ^5

= 118.019

پاسخ: فرمول استرلینگ مقدار ! 5 را به 118.019 تقریب می زند که حاشیه خطای 1.66 درصد را نشان می دهد.

مثال 2: مقدار !11 را با استفاده از فرمول استرلینگ بیابید.

راه حل:

برای یافتن:! 11 .

استفاده از فرمول استرلینگ

n! = √(2×π×n)(n/e)^ n

11! = √(2×π×11)(11/e) ^11

= 39615625.05

مثال 3: با استفاده از فرمول استرلینگ می توان 9 را تقریب زد! - 7! 9!-7!.

با اعمال فرمول، محاسبه به صورت زیر است:

9!-7!≈

(√(2π×9)× (9/e)^ 9 )−(√(2π×7)× (7/e)^ 7 )

این به سادگی به:

9 ! - 7! ≈ 18107.57 - 1651.73

9!-7!≈18107.57-1651.73

بنابراین،

9! - 7! ≈ 16455.84 .

بنابراین، مقدار تقریبی

9!-7! =16455.84

است.

مثال 4: تقریبی مقدار! 7 با استفاده از فرمول استرلینگ راه حل: با استفاده از فرمول استرلینگ، تقریب 7! به صورت زیر محاسبه می شود:

7!≈ √ 2π×7 ×( 7/e ) 7

= 7! ≈ 19857.17

بنابراین، ارزش تخمینی !7 تقریباً 19857.17 است.

مثال 5: تخمین مقدار! 12 با استفاده از فرمول استرلینگ

راه حل: با استفاده از فرمول، تخمین 12! به صورت زیر محاسبه می شود:

12!≈ √2π×12 ×( 12/e )^ 12

= 12! ≈ 479001600

از این رو، مقدار تقریبی

12!= 479001600

است.

مثال 5: تخمین مقدار

5!+4!

با استفاده از فرمول استرلینگ

راه حل: با استفاده از فرمول، تخمین

12!

به صورت زیر محاسبه می شود:

5!+4! ≈ √2π×5 ×( 5/e )^ 5 + √2π×4 ×( 4/e ) ^4

= 5! + 4! ≈ 146.30

فرمول استرلینگ، که به افتخار ریاضیدان جیمز استرلینگ نامگذاری شده است، به عنوان یک روش تقریبی قدرتمند برای فاکتوریل ها می ایستد، که تخمینی نزدیک به مقادیر واقعی، به ویژه برای اعداد بزرگ، با حاشیه خطا اغلب کمتر از 2٪ ارائه می دهد. این فرمول به صورت n بیان می شود

n! ≈ √(2πn) * (n/e)^n

، نه تنها فاکتوریل ها را به طور دقیق تخمین می زند، بلکه کاربردهای گسترده ای در زمینه های مختلف ریاضیات کاربردی پیدا می کند.

فرمول استرلینگ از طریق مثال‌هایی که کاربرد آن را نشان می‌دهد، کاربرد عملی خود را در تقریب سریع و دقیق مقادیر فاکتوریل نشان می‌دهد و به تلاش‌های محاسباتی و تحلیلی کمک می‌کند. تطبیق پذیری آن به مقادیر کوچک و بزرگ "n" پاسخ می دهد و آن را به ابزاری ارزشمند در محاسبات و تحلیل های ریاضی تبدیل می کند. به طور کلی، فرمول استرلینگ به عنوان سنگ بنای تکنیک های تقریب،تسهیل برآورد کارآمد فاکتوریل ها و یافتن ارتباط در کاربردهای ریاضی متنوع است.

https://www.pw.live/exams/school/stirling-formula/

+ نوشته شده در جمعه چهارم اسفند ۱۴۰۲ ساعت 12:28 توسط علی رضا نقش نیلچی |

2-تقریب استرلینگ

مشتق [ ویرایش ]

به طور کلی، ساده ترین نسخه فرمول استرلینگ را می توان با تقریب مجموع به سرعت به دست آورد.

$\ln(n!)=\sum _{j=1}^{n}\ln j$

با یک انتگرال :

$\sum _{j=1}^{n}\ln j\prox \int _{1}^{n}\ln x\,{\rm {d}}x=n\ln n-n +1.$

فرمول کامل به همراه تخمین دقیق خطای آن را می توان به صورت زیر بدست آورد. به جای تقریب $n!$ ، لگاریتم طبیعی آن را در نظر می گیریم ، زیرا این تابع به آرامی در حال تغییر است :

$\ln(n!)=\ln 1+\ln 2+\cdots +\ln n.$

سمت راست این معادله منهای

${\tfrac {1}{2}}(\ln 1+\ln n)={\tfrac {1}{2}}\ln n$

تقریب با قاعده ذوزنقه ای انتگرال است

$\ln(n!)-{\tfrac {1}{2}}\ln n\prox \int _{1}^{n}\ln x\,{\rm {d}}x=n \ln n-n+1،$

و خطا در این تقریب با فرمول اویلر-ماکلارین داده می شود :

${\begin{aligned}\ln(n!)-{\tfrac {1}{2}}\ln n&={\tfrac {1}{2}}\ln 1+\ln 2+\ln 3+\cdots +\ln(n-1)+{\tfrac {1}{2}}\ln n\\&=n\ln n-n+1+\sum _{k=2}^{m }{\frac {(-1)^{k}B_{k}}{k(k-1)}}\left({\frac {1}{n^{k-1}}}-1\راست )+R_{m,n},\end{تراز شده}}$

جایی که $B_{k}$ یک عدد برنولی است و Rm ، n عبارت باقیمانده در فرمول اویلر-ماکلارین است . برای یافتن آن محدودیت هایی در نظر بگیرید

$\lim _{n\to \infty }\left(\ln(n!)-n\ln n+n-{\tfrac {1}{2}}\ln n\right)=1-\ مجموع _{k=2}^{m}{\frac {(-1)^{k}B_{k}}{k(k-1)}}+\lim _{n\to \infty }R_{ m، n}.$

این حد را به عنوان مشخص کنید $y$ . زیرا Rm ، n باقیمانده در فرمول اویلر-ماکلارین راضی می کند

$R_{m,n}=\lim _{n\to \infty }R_{m,n}+O\left({\frac {1}{n^{m}}}\راست)،$

در جایی که از نماد big-O استفاده می شود، با ترکیب معادلات بالا، فرمول تقریبی به شکل لگاریتمی آن به دست می آید:

$\ln(n!)=n\ln \left({\frac {n}{e}}\right)+{\tfrac {1}{2}}\ln n+y+\sum _{k =2}^{m}{\frac {(-1)^{k}B_{k}}{k(k-1)n^{k-1}}}+O\left({\frac {1 {n^{m}}}\راست).$

گرفتن نمایی از هر دو طرف و انتخاب هر عدد صحیح مثبتمتر $m$ ، یک فرمول شامل یک کمیت ناشناخته به دست می آید $e^{y}$ . برای m = 1 ، فرمول این است

$n!=e^{y}{\sqrt {n}}\left({\frac {n}{e}}\right)^{n}\left(1+O\left({\frac {1}{n}}\right)\right).$

کمیته $e^{y}$ را می توان با در نظر گرفتن حد در هر دو طرف پیدا کرد $n$ تمایل به بی نهایت دارد و از محصول والیس استفاده می کند که نشان می دهد $e^{y}={\sqrt {2\pi }}$ . بنابراین، فرمول استرلینگ به دست می آید:

$n!={\sqrt {2\pi n}}\left({\frac {n}{e}}\right)^{n}\left(1+O\left({\frac {1 }{n}}\right)\right).$

+ نوشته شده در جمعه چهارم اسفند ۱۴۰۲ ساعت 1:50 توسط علی رضا نقش نیلچی |

3-کمترین مربعات

مثال [ ویرایش ]

یک مثال ساده از فیزیک را در نظر بگیرید. یک فنر باید از قانون هوک پیروی کند که بیان می کند که گسترش یک فنر y متناسب با نیروی اعمال شده به آن است.

$y=f(F,k)=kF\!$

مدل را تشکیل می دهد که در آن F متغیر مستقل است. برای تخمین ثابت نیرو ، k ، یک سری n اندازه گیری با نیروهای مختلف انجام می دهیم تا مجموعه ای از داده ها را تولید کنیم. $(F_i، y_i)،\ i=1،\dots،n\!$ ، جایی که y i یک پسوند فنری اندازه گیری شده است. [14] هر مشاهده تجربی حاوی مقداری خطا خواهد بود، $\varepsilon$ و بنابراین ممکن است یک مدل تجربی برای مشاهدات خود مشخص کنیم،

$y_i = kF_i + \varepsilon_i. \,$

روش‌های زیادی وجود دارد که ممکن است برای تخمین پارامتر ناشناخته k استفاده کنیم. از آنجایی که n معادله در متغیرهای m در داده های ما شامل یک سیستم بیش از حد تعیین شده با یک مجهول و n معادله است، ما k را با استفاده از حداقل مربعات تخمین می زنیم. مجموع مربع هایی که باید به حداقل برسد است

$S=\sum _{i=1}^{n}(y_{i}-kF_{i})^{2}.$ [12]

برآورد حداقل مربعات ثابت نیرو، k ، به دست می آید

${\hat {k}}={\frac {\sum _{i}F_{i}y_{i}}{\sum _{i}F_{i}^{2}}}.$

فرض می کنیم اعمال نیرو باعث انبساط فنر می شود. پس از به دست آوردن ثابت نیرو با برازش حداقل مربعات، گسترش را از قانون هوک پیش بینی می کنیم.

کمی سازی عدم قطعیت [ ویرایش ]

در محاسبه حداقل مربعات با وزن واحد یا در رگرسیون خطی، واریانس پارامتر j ام نشان داده می شود. $\operatorname {var}({\hat {\beta }}_{j})$ ، معمولا با تخمین زده می شود

$\operatorname {var} ({\hat {\beta }}_{j})=\sigma ^{2}\left(\left[X^{\mathsf {T}}X\right]^{ -1}\right)_{jj}\approx {\hat {\sigma }}^{2}C_{jj}،$

${\hat {\sigma }}^{2}\approx {\frac {S}{nm}}$

$C=\left(X^{\mathsf {T}}X\right)^{-1},$

در جایی که واریانس خطای واقعی σ 2 با یک تخمین جایگزین می شود، آماره کای دو کاهش یافته ، بر اساس مقدار کمینه شده مجموع باقیمانده مربع ها (تابع هدف) ، S. مخرج، n - m ، درجات آزادی آماری است . درجات آزادی موثر را برای تعمیم ها ببینید . [12] C ماتریس کوواریانس است .

تست آماری [ ویرایش ]

اگر توزیع احتمال پارامترها مشخص باشد یا یک تقریب مجانبی انجام شود، حد اطمینان را می توان یافت. به طور مشابه، در صورتی که توزیع احتمال باقیمانده ها مشخص باشد یا فرض شود، می توان آزمون های آماری را بر روی باقیمانده ها انجام داد. اگر توزیع احتمال خطاهای تجربی شناخته شده یا فرض شود، می‌توانیم توزیع احتمال هر ترکیب خطی متغیرهای وابسته را استخراج کنیم. استنباط با فرض اینکه خطاها از یک توزیع نرمال پیروی می کنند آسان است، در نتیجه به این معنی است که تخمین پارامترها و باقیمانده ها نیز به طور معمول مشروط به مقادیر متغیرهای مستقل توزیع می شوند. [12]

برای آزمون آماری نتایج، لازم است در مورد ماهیت خطاهای آزمایشی مفروضاتی ایجاد شود. یک فرض رایج این است که خطاها به یک توزیع نرمال تعلق دارند. قضیه حد مرکزی از این ایده پشتیبانی می کند که در بسیاری از موارد این یک تقریب خوب است.

قضیه گاوس-مارکف . در یک مدل خطی که در آن خطاها دارای انتظار صفر مشروط با متغیرهای مستقل، غیر همبسته و دارای واریانس مساوی هستند ، بهترین برآوردگر خطی بی طرفانه از هر ترکیب خطی مشاهدات، برآوردگر حداقل مربعات آن است. "بهترین" به این معنی است که برآوردگرهای حداقل مربعات پارامترها دارای حداقل واریانس هستند. فرض واریانس برابر زمانی معتبر است که همه خطاها به یک توزیع تعلق داشته باشند.
اگر خطاها به یک توزیع نرمال تعلق داشته باشند، برآوردگرهای حداقل مربعات نیز برآوردگرهای حداکثر احتمال در یک مدل خطی هستند.

با این حال، فرض کنید خطاها به طور معمول توزیع نشده اند. در آن صورت، یک قضیه حد مرکزی اغلب به این معنی است که برآوردهای پارامتر تقریباً به طور معمول توزیع می شوند تا زمانی که نمونه به طور معقولی بزرگ باشد. به همین دلیل، با توجه به این ویژگی مهم که میانگین خطا مستقل از متغیرهای مستقل است، توزیع عبارت خطا موضوع مهمی در تحلیل رگرسیون نیست. به طور خاص، معمولاً مهم نیست که عبارت خطا از توزیع نرمال پیروی کند یا خیر.

حداقل مربعات وزنی [ ویرایش ]

"فن کردن" اثر ناهمسانی

مقاله اصلی: حداقل مربعات وزنی

یک مورد خاص از حداقل مربعات تعمیم یافته به نام حداقل مربعات وزنی زمانی رخ می دهد که تمام ورودی های خارج از مورب Ω (ماتریس همبستگی باقیمانده ها) صفر باشند. واریانس مشاهدات (در امتداد قطر ماتریس کوواریانس) ممکن است هنوز نابرابر باشد ( ناهمسانی ). به عبارت ساده تر، ناهمسانی زمانی است که واریانس $Y_{i}$ بستگی به ارزش دارد $x_{i}$ که باعث می شود نمودار باقیمانده یک اثر "فن کردن" به سمت بزرگتر ایجاد کند $Y_{i}$ مقادیر همانطور که در نمودار باقی مانده در سمت راست مشاهده می شود. از سوی دیگر، همسویی با این فرض است که واریانس $Y_{i}$ و $U_{i}$ برابر است. [10]

رابطه با اجزای اصلی [ ویرایش ]

اولین مؤلفه اصلی در مورد میانگین مجموعه ای از نقاط را می توان با خطی نشان داد که نزدیک ترین نقطه به نقاط داده را دارد (همانطور که با مجذور فاصله نزدیکترین رویکرد، یعنی عمود بر خط اندازه گیری می شود). در مقابل، حداقل مربعات خطی تلاش می کند تا فاصله در را به حداقل برساند $y$ فقط جهت بنابراین، اگرچه این دو از یک متریک خطای مشابه استفاده می‌کنند، حداقل مربعات خطی روشی است که یک بعد از داده‌ها را ترجیحاً بررسی می‌کند، در حالی که PCA همه ابعاد را به طور مساوی رفتار می‌کند.

رابطه با نظریه اندازه گیری [ ویرایش ]

آماردان برجسته سارا ون د گیر از نظریه فرآیند تجربی و بعد Vapnik-Chervonenkis برای اثبات برآوردگر حداقل مربعات استفاده کرد که می‌توان آن را به عنوان اندازه‌گیری در فضای توابع مربع‌پذیر تفسیر کرد. [15]

منظم سازی [ ویرایش ]

این بخش ممکن است برای اکثر خوانندگان برای درک آن بسیار فنی باشد . لطفاً بدون حذف جزئیات فنی، به بهبود آن کمک کنید تا برای افراد غیر متخصص قابل درک باشد. ( فوریه 2016 ) ( نحوه و زمان حذف این پیام الگو را بیاموزید )

مقاله اصلی: حداقل مربعات منظم

منظم سازی تیخونوف [ ویرایش ]

مقاله اصلی: تنظیم تیخونوف

در برخی زمینه‌ها، یک نسخه منظم از راه‌حل حداقل مربعات ممکن است ترجیح داده شود. منظم‌سازی تیخونوف (یا رگرسیون برجستگی ) محدودیتی را اضافه می‌کند $\|\بتا\|^2$ ، L 2 -norm بردار پارامتر، بزرگتر از مقدار معین نیست. [ نیاز به نقل قول ] به طور مساوی، [ مشکوک - بحث ] ممکن است به حداقل رساندن بدون محدودیت کمترین مربعات پنالتی را حل کند. $\آلفا\|\بتا\|^2$ اضافه شده، کجا $\ آلفا$ یک ثابت است (این شکل لاگرانژی مسئله مقید است). در زمینه بیزی ، این معادل قرار دادن یک میانگین صفر است که به طور معمول قبل از بردار پارامتر توزیع شده است.

روش کمند [ ویرایش ]

یک نسخه منظم جایگزین از حداقل مربعات، کمند (عملگر حداقل انقباض و انتخاب مطلق) است که از محدودیت استفاده می کند. $\|\beta \|$ ، L 1 -norm بردار پارامتر، بزرگتر از یک مقدار معین نیست. [16] [17] [18] (همانطور که در بالا، این معادل [ مشکوک – بحث ] به حداقل رساندن نامحدود پنالتی حداقل مربعات با $\alpha \|\beta \|$ اضافه شده است.) در زمینه بیزی ، این معادل قرار دادن توزیع قبلی لاپلاس با میانگین صفر در بردار پارامتر است. [19] مشکل بهینه‌سازی ممکن است با استفاده از برنامه‌ریزی درجه دوم یا روش‌های بهینه‌سازی محدب عمومی‌تر و همچنین با الگوریتم‌های خاص مانند الگوریتم رگرسیون کمترین زاویه حل شود.

یکی از تفاوت های اصلی بین کمند و رگرسیون رج این است که در رگرسیون رج با افزایش جریمه، همه پارامترها کاهش می یابند در حالی که همچنان غیر صفر باقی می مانند، در حالی که در کمند، افزایش جریمه باعث می شود پارامترها بیشتر و بیشتر شوند. رانده شده به صفر این مزیت لاسو نسبت به رگرسیون ریج است، زیرا هدایت پارامترها به صفر، ویژگی‌ها را از رگرسیون خارج می‌کند. بنابراین، لاسو به طور خودکار ویژگی‌های مرتبط‌تری را انتخاب می‌کند و بقیه را کنار می‌گذارد، در حالی که رگرسیون ریدج هرگز هیچ‌یک از ویژگی‌ها را به طور کامل حذف نمی‌کند. برخی از تکنیک های انتخاب ویژگی بر اساس لاسو توسعه یافته اند، از جمله Boلاسو که نمونه ها را راه اندازی می کند، [20] و FeaLect که ضرایب رگرسیون مربوط به مقادیر مختلف را تجزیه و تحلیل می کند. $\ آلفا$ برای امتیاز دادن به تمام ویژگی ها [21]

فرمول منظم L 1 به دلیل تمایل به ترجیح راه حل هایی که پارامترهای بیشتری در آنها صفر است، در برخی زمینه ها مفید است، که راه حل هایی را ارائه می دهد که به متغیرهای کمتری بستگی دارند. [16] به همین دلیل، کمند و انواع آن در زمینه سنجش فشرده اساسی هستند . گسترش این رویکرد منظم سازی خالص الاستیک است .

همچنین مشاهده کنید [ ویرایش ]

https://en.wikipedia.org/wiki/Least_squares

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:47 توسط علی رضا نقش نیلچی |

2-کمترین مربعات

بیان مشکل [ ویرایش ]

هدف شامل تنظیم پارامترهای یک تابع مدل برای بهترین تناسب با یک مجموعه داده است. یک مجموعه داده ساده از n نقطه (جفت داده) تشکیل شده است. $(x_{i},y_{i})\!$ , i = 1, …, n , جایی که $x_{i}\!$ یک متغیر مستقل است و $y_{i}\!$ یک متغیر وابسته است که مقدار آن با مشاهده پیدا می شود. تابع مدل دارای فرم است $f(x,{\boldsymbol {\beta }})$ ، که در آن m پارامترهای قابل تنظیم در بردار نگهداری می شوند ${\boldsymbol {\beta }}$ . هدف یافتن مقادیر پارامتر برای مدلی است که "بهترین" با داده ها مطابقت دارد. تناسب یک مدل با یک نقطه داده با باقیمانده آن اندازه گیری می شود که به عنوان تفاوت بین مقدار مشاهده شده متغیر وابسته و مقدار پیش بینی شده توسط مدل تعریف می شود:

$r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}).$

باقی مانده ها در برابر متناظر رسم می شوند $ایکس$ ارزش های. نوسانات تصادفی در مورد $r_{i}=0$ نشان می دهد که یک مدل خطی مناسب است.

روش حداقل مربعات با به حداقل رساندن مجموع مجذور باقیمانده ، مقادیر پارامتر بهینه را پیدا می کند . $اس$ : [10]

$S=\sum _{i=1}^{n}r_{i}^{2}.$

نمونه ای از یک مدل در دو بعدی مدل خط مستقیم است. نشان دادن قطع y به عنوان $\بتا _{0}$ و شیب به عنوان $\بتا _{1}$ ، تابع مدل توسط داده می شود $f(x,\boldsymbol \beta)=\beta_0+\beta_1 x$ . حداقل مربعات خطی را برای نمونه ای کامل از این مدل ببینید.

یک نقطه داده ممکن است از بیش از یک متغیر مستقل تشکیل شده باشد. به عنوان مثال، هنگامی که یک هواپیما را به مجموعه ای از اندازه گیری های ارتفاع برازش می دهیم، صفحه تابعی از دو متغیر مستقل x و z است. در کلی‌ترین حالت ممکن است یک یا چند متغیر مستقل و یک یا چند متغیر وابسته در هر نقطه داده وجود داشته باشد.

در سمت راست یک نمودار باقی مانده است که نوسانات تصادفی را نشان می دهد $r_{i}=0$ ، نشان می دهد که یک مدل خطی است $(Y_{i}=\alpha +\beta x_{i}+U_{i})$ مناسب است. $U_{i}$ یک متغیر مستقل و تصادفی است. [10]

باقی مانده ها در برابر مربوطه رسم می شوند $ایکس$ ارزش های. شکل سهمی از نوسانات در مورد $r_{i}=0$ نشان می دهد که یک مدل سهموی مناسب است.

اگر نقاط باقیمانده دارای نوعی شکل بودند و به طور تصادفی در نوسان نبودند، یک مدل خطی مناسب نخواهد بود. به عنوان مثال، اگر نمودار باقیمانده یک شکل سهموی داشته باشد که در سمت راست دیده می شود، یک مدل سهموی $(Y_{i}=\alpha +\beta x_{i}+\gamma x_{i}^{2}+U_{i})$ برای داده ها مناسب خواهد بود. باقی مانده برای یک مدل سهموی را می توان از طریق محاسبه کردta $r_{i}=y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}-{\widehat {\gamma }}x_{i}^{2 }$ . [10]

محدودیت ها [ ویرایش ]

این فرمول رگرسیون فقط خطاهای مشاهده‌ای را در متغیر وابسته در نظر می‌گیرد (اما رگرسیون مجموع حداقل مربعات جایگزین می‌تواند خطاها را در هر دو متغیر محاسبه کند). دو زمینه نسبتاً متفاوت با مفاهیم متفاوت وجود دارد:

رگرسیون برای پیش بینی در اینجا یک مدل برای ارائه یک قانون پیش‌بینی برای کاربرد در موقعیت مشابهی که داده‌های مورد استفاده برای برازش در آن اعمال می‌شود، برازش داده می‌شود. در اینجا، متغیرهای وابسته مربوط به چنین کاربردهای آتی، مشمول همان نوع خطای مشاهداتی هستند که در داده‌های مورد استفاده برای برازش استفاده می‌شوند. بنابراین منطقاً استفاده از قانون پیش‌بینی حداقل مربعات برای چنین داده‌هایی سازگار است.
رگرسیون برای تناسب یک "رابطه واقعی". در تجزیه و تحلیل رگرسیون استاندارد که منجر به برازش حداقل مربعات می شود، این فرض ضمنی وجود دارد که خطاهای متغیر مستقل صفر هستند یا به شدت کنترل می شوند تا ناچیز باشند. هنگامی که خطاهای متغیر مستقل غیر قابل چشم پوشی هستند، می توان از مدل های خطای اندازه گیری استفاده کرد. چنین روش هایی می تواند منجر به تخمین پارامترها ، آزمون فرضیه ها و فواصل اطمینان شود که وجود خطاهای مشاهده در متغیرهای مستقل را در نظر می گیرد. [11] یک رویکرد جایگزین، برازش یک مدل با حداقل مجذورات کل است; این را می توان به عنوان اتخاذ یک رویکرد عمل گرایانه برای متعادل کردن اثرات منابع مختلف خطا در فرمول بندی یک تابع هدف برای استفاده در برازش مدل در نظر گرفت.

حل مسئله حداقل مربعات [ ویرایش ]

حداقل مجموع مربع ها با صفر کردن گرادیان به دست می آید . از آنجایی که مدل دارای پارامترهای m است، معادلات شیب m وجود دارد:

${\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0،\ j=1،\ldots،m،$

و از $r_i=y_i-f(x_i،\boldsymbol \بتا)$ ، معادلات گرادیان تبدیل می شود

$-2\sum _{i}r_{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}= 0،\ j=1،\ldots، m.$

معادلات گرادیان برای تمام مسایل حداقل مربعات اعمال می شود. هر مسئله خاص به عبارات خاصی برای مدل و مشتقات جزئی آن نیاز دارد. [12]

حداقل مربعات خطی [ ویرایش ]

مقاله اصلی: حداقل مربعات خطی

یک مدل رگرسیون زمانی خطی است که مدل ترکیبی خطی از پارامترها باشد، به عنوان مثال،

$f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{m}\beta _{j}\phi _{j}(x)،$

که در آن تابع $\phi _{j}$ تابعی از $ایکس$ . [12]

اجازه دادن $X_{ij}=\phi _{j}(x_{i})$ و قرار دادن متغیرهای مستقل و وابسته در ماتریس $ایکس$ و $Y$ به ترتیب می توانیم حداقل مربعات را به صورت زیر محاسبه کنیم. توجه داشته باشید که $دی$ مجموعه ای از تمام داده ها است. [12] [13]

$L(D,{\boldsymbol {\beta }})=\left\|YX{\boldsymbol {\beta }}\right\|^{2}=(YX{\boldsymbol {\beta }}) ^{\mathsf {T}}(YX{\boldsymbol {\beta }})=Y^{\mathsf {T}}YY^{\mathsf {T}}X{\boldsymbol {\beta }}-{\ علامت برجسته {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X {\boldsymbol {\beta }}$

یافتن حداقل را می توان از طریق صفر کردن گرادیان ضرر و حل آن به دست آورد ${\boldsymbol {\beta }}$

${\frac {\partial L(D,{\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\frac {\partial \left(Y^{\ mathsf {T}}YY^{\mathsf {T}}X{\boldsymbol {\beta }}-{\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}Y+ {\boldsymbol {\beta }}^{\mathsf {T}}X^{\mathsf {T}}X{\boldsymbol {\beta }}\right)}{\partial {\boldsymbol {\beta }}} }=-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}$

در نهایت گرادیان از دست دادن را بر روی صفر قرار داده و برای را حل کنید ${\boldsymbol {\beta }}$ دریافت می کنیم: [13] [12]

$-2X^{\mathsf {T}}Y+2X^{\mathsf {T}}X{\boldsymbol {\beta }}=0\Rightarrow X^{\mathsf {T}}Y=X^ {\mathsf {T}}X{\boldsymbol {\beta }}$

${\boldsymbol {\hat {\beta }}}=\left(X^{\mathsf {T}}X\right)^{-1}X^{\mathsf {T}}Y$

حداقل مربعات غیر خطی [ ویرایش ]

مقاله اصلی: حداقل مربعات غیر خطی

در برخی موارد، یک راه حل با شکل بسته برای مسئله حداقل مربعات غیرخطی وجود دارد - اما به طور کلی وجود ندارد. در صورت عدم پاسخ به شکل بسته، از الگوریتم های عددی برای یافتن مقدار پارامترها استفاده می شود.{\displaystyle \بتا } $\بتا$ که هدف را به حداقل می رساند. اکثر الگوریتم ها شامل انتخاب مقادیر اولیه برای پارامترها هستند. سپس، پارامترها به صورت مکرر پالایش می شوند، یعنی مقادیر با تقریب متوالی به دست می آیند:

${\beta _{j}}^{k+1}={\beta _{j}}^{k}+\Delta \beta _{j}،$

که در آن بالانویس k یک عدد تکرار و بردار افزایش ها است $\دلتا \بتا _{j}$ بردار شیفت نامیده می شود. در برخی از الگوریتم‌های متداول، در هر تکرار ممکن است مدل با تقریب به یک بسط سری تیلور مرتبه اول خطی شود. ${\boldsymbol \beta }^{k}$ :

${\begin{aligned}f(x_{i},{\boldsymbol {\beta }})&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\left(\beta _{j}-{\ بتا _{j}}^{k}\right)\\&=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\, \Delta \بتا _{j}.\end{تراز شده}}$

J Jacobian تابعی از ثابت ها، متغیر مستقل و پارامترها است، بنابراین از یک تکرار به تکرار دیگر تغییر می کند. باقی مانده توسط داده شده است

$r_{i}=y_{i}-f^{k}(x_{i},{\boldsymbol {\beta }})-\sum _{k=1}^{m}J_{ik} \,\Delta \beta _{k}=\Delta y_{i}-\sum _{j=1}^{m}J_{ij}\,\Delta \beta _{j}.$

برای به حداقل رساندن مجموع مربع های $r_{i}$ ، معادله گرادیان صفر تنظیم شده و برای آن حل می شود $\دلتا \بتا _{j}$ :

$-2\sum _{i=1}^{n}J_{ij}\left(\Delta y_{i}-\sum _{k=1}^{m}J_{ik}\,\ دلتا \بتا _{k}\right)=0,$

که در بازآرایی تبدیل به m معادلات خطی همزمان می شوند، معادلات عادی :

$\sum _{i=1}^{n}\sum _{k=1}^{m}J_{ij}J_{ik}\,\Delta \beta _{k}=\sum _{ i=1}^{n}J_{ij}\,\Delta y_{i}\qquad (j=1,\ldots ,m).$

معادلات عادی به صورت نماد ماتریسی نوشته می شوند

$\left(\mathbf {J} ^{\mathsf {T}}\mathbf {J} \right)\Delta {\boldsymbol {\beta }}=\mathbf {J} ^{\mathsf {T} }\Delta \mathbf {y}.$

اینها معادلات تعیین کننده الگوریتم گاوس-نیوتن هستند.

تفاوت بین حداقل مربعات خطی و غیرخطی [ ویرایش ]

تابع مدل، f ، در LLSQ (حداقل مربعات خطی) ترکیبی خطی از پارامترهای فرم است. $f = X_{i1}\beta_1 + X_{i2}\beta_2 +\cdots$ این مدل ممکن است یک خط مستقیم، یک سهمی یا هر ترکیب خطی دیگری از توابع را نشان دهد. در NLLSQ (حداقل مربعات غیرخطی) پارامترها به عنوان توابع ظاهر می شوند، مانند $\beta^2، e^{\بتا x}$ و غیره اگر مشتقات $\partial f/\partial \beta _{j}$ یا ثابت هستند یا فقط به مقادیر متغیر مستقل بستگی دارند، مدل در پارامترها خطی است. در غیر این صورت مدل غیر خطی است.
برای یافتن راه حل برای یک مشکل NLLSQ به مقادیر اولیه برای پارامترها نیاز دارید. LLSQ به آنها نیاز ندارد.
الگوریتم های حل برای NLLSQ اغلب نیاز دارند که Jacobian را بتوان مشابه LLSQ محاسبه کرد. عبارات تحلیلی برای مشتقات جزئی می تواند پیچیده باشد. اگر عبارات تحلیلی به دست آوردن غیرممکن باشد، باید مشتقات جزئی را با تقریب عددی محاسبه کرد یا باید تخمینی از ژاکوبین انجام داد، اغلب از طریق تفاوت های محدود .
عدم همگرایی (شکست الگوریتم در یافتن حداقل) یک پدیده رایج در NLLSQ است.
LLSQ در سطح جهانی مقعر است، بنابراین عدم همگرایی مشکلی نیست.
حل NLLSQ معمولاً یک فرآیند تکراری است که باید با برآورده شدن یک معیار همگرایی خاتمه یابد. راه‌حل‌های LLSQ را می‌توان با استفاده از روش‌های مستقیم محاسبه کرد، اگرچه مسائل با تعداد زیادی پارامتر معمولاً با روش‌های تکراری حل می‌شوند، مانند روش گاوس – سیدل .
در LLSQ راه حل منحصر به فرد است، اما در NLLSQ ممکن است چندین حداقل در مجموع مربع ها وجود داشته باشد.
تحت شرایطی که خطاها با متغیرهای پیش‌بینی‌کننده همبستگی ندارند، LLSQ تخمین‌های بی‌طرفانه به دست می‌دهد، اما حتی تحت آن شرایط، تخمین‌های NLLSQ عموماً بایاس هستند.

هر زمان که به دنبال راه حل برای یک مسئله حداقل مربعات غیرخطی هستیم، این تفاوت ها باید در نظر گرفته شوند. [12]

منبع

https://en.wikipedia.org/wiki/Least_squares

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:45 توسط علی رضا نقش نیلچی |

1-کمترین مربعات

تجزیه و تحلیل رگرسیون
بخشی از یک سریال در
مدل ها
رگرسیون خطی رگرسیون ساده رگرسیون چند جمله ای مدل خطی عمومی
مدل خطی تعمیم یافته انتخاب گسسته رگرسیون دو جمله ای رگرسیون باینری رگرسیون لجستیک رگرسیون لجستیک چند جمله ای لاجیت مختلط پروبیت پروبیت چند جمله ای لاجیت سفارش داد پروبیت دستور داد پواسون
مدل چند سطحی جلوه های ثابت اثرات تصادفی مدل خطی اثرات مختلط مدل غیرخطی اثرات مختلط
رگرسیون غیر خطی ناپارامتریک نیمه پارامتریک قدرتمند Quantile ایزوتونیک اجزای اصلی کمترین زاویه محلی بخش بندی شده
خطاها در متغیرها
برآورد کردن
کمترین مربعات خطی غیر خطی
معمولی وزن دار تعمیم یافته است
جزئي جمع غیر منفی رگرسیون ریج منظم شده است
حداقل انحرافات مطلق به طور مکرر وزن‌گذاری مجدد شد بیزی چند متغیره بیزی تحلیل طیفی حداقل مربعات
زمینه
اعتبار سنجی رگرسیون پاسخ متوسط و پیش بینی شده خطاها و باقیمانده ها برازش باقی مانده دانشجویی قضیه گاوس-مارکف
پورتال ریاضی
v تی ه

نتیجه برازش مجموعه ای از نقاط داده با یک تابع درجه دوم

برازش مخروطی مجموعه ای از نقاط با استفاده از تقریب حداقل مربعات

روش حداقل مربعات یک رویکرد استاندارد در تحلیل رگرسیون برای تقریب حل سیستم های بیش از حد تعیین شده (مجموعه معادلاتی که در آنها معادلات بیشتر از مجهولات وجود دارد) با به حداقل رساندن مجموع مجذور باقیمانده ها (یک موجود باقیمانده: تفاوت بین یک مقدار مشاهده شده، و مقدار برازش ارائه شده توسط یک مدل) ساخته شده در نتایج هر معادله جداگانه.

مهمترین کاربرد در برازش داده ها است. بهترین تناسب در معنای حداقل مربعات مجموع مجذور باقیمانده را به حداقل می رساند . هنگامی که مسئله دارای عدم قطعیت های قابل توجهی در متغیر مستقل ( متغیر x ) باشد، روش های رگرسیون ساده و حداقل مربعات دارای مشکل هستند. در چنین مواردی، روش مورد نیاز برای برازش مدل‌های خطا در متغیرها ممکن است به جای حداقل مربعات در نظر گرفته شود.

مسائل حداقل مربعات به دو دسته تقسیم می شوند: حداقل مربعات خطی یا معمولی و حداقل مربعات غیرخطی ، بسته به اینکه آیا باقیمانده ها در همه مجهولات خطی هستند یا خیر. مسئله حداقل مربعات خطی در تحلیل رگرسیون آماری رخ می دهد . این یک راه حل به شکل بسته دارد. مسئله غیرخطی معمولاً با پالایش تکراری حل می شود. در هر تکرار، سیستم با یک خطی تقریب می شود، و بنابراین محاسبه هسته در هر دو مورد مشابه است.

حداقل مربعات چند جمله ای واریانس در پیش بینی متغیر وابسته را به عنوان تابعی از متغیر مستقل و انحراف از منحنی برازش شده توصیف می کند.

هنگامی که مشاهدات از یک خانواده نمایی با هویت به عنوان آمار کافی طبیعی و شرایط ملایم برآورده می شوند (مثلاً برای توزیع های نرمال، نمایی، پواسون و دوجمله ای)، برآوردهای حداقل مربعات استاندارد و برآوردهای حداکثر احتمال یکسان هستند. [1] روش حداقل مربعات را می توان به عنوان روش تخمینگر گشتاورها نیز استخراج کرد.

بحث زیر بیشتر بر حسب توابع خطی ارائه شده است اما استفاده از حداقل مربعات برای خانواده های عمومی توابع معتبر و کاربردی است. همچنین، با اعمال تقریب درجه دوم محلی برای احتمال (از طریق اطلاعات فیشر )، می‌توان از روش حداقل مربعات برای برازش یک مدل خطی تعمیم‌یافته استفاده کرد.

روش حداقل مربعات رسماً توسط آدرین ماری لژاندر (1805) کشف و منتشر شد، [2] ، اگرچه معمولاً به کارل فردریش گاوس (1795) [3] [4] نیز اعتبار داده می شود که پیشرفت های نظری قابل توجهی در این زمینه داشته است. روش و ممکن است قبلاً از آن در کار خود استفاده کرده باشد. [5] [6]

فهرست

تاریخچه [ ویرایش ]

تأسیس [ ویرایش ]

روش حداقل مربعات از حوزه های نجوم و زمین شناسی رشد کرد ، زیرا دانشمندان و ریاضیدانان به دنبال ارائه راه حل هایی برای چالش های پیمایش اقیانوس های زمین در دوران اکتشاف بودند. توصیف دقیق رفتار اجرام آسمانی، کلیدی بود که کشتی‌ها را قادر می‌ساخت در دریاهای آزاد حرکت کنند، جایی که ملوانان دیگر نمی‌توانستند برای ناوبری به رؤیت‌های زمینی تکیه کنند.

این روش نقطه اوج چندین پیشرفت بود که در طول قرن هجدهم رخ داد: [7]

ترکیب مشاهدات مختلف به عنوان بهترین تخمین ارزش واقعی. خطاها به جای افزایش با تجمع کاهش می یابند، شاید اولین بار توسط راجر کوتس در سال 1722 بیان شد.
ترکیبی از مشاهدات مختلف که تحت شرایط یکسان گرفته شده اند، برخلاف صرف تلاش برای مشاهده و ثبت دقیق یک مشاهده. این رویکرد به عنوان روش میانگین ها شناخته شد. این رویکرد به ویژه توسط توبیاس مایر در هنگام مطالعه بر روی ماه در سال 1750 و توسط پیر سیمون لاپلاس در کار خود در توضیح تفاوت‌های حرکت مشتری و زحل در سال 1788 مورد استفاده قرار گرفت.
ترکیبی از مشاهدات مختلف انجام شده در شرایط مختلف . این روش به عنوان روش حداقل انحراف مطلق شناخته شد. این به طور مشخص توسط راجر جوزف بوسکوویچ در کار خود در مورد شکل زمین در سال 1757 و توسط پیر سیمون لاپلاس برای همان مشکل در سال 1799 اجرا شد.
ایجاد معیاری که می تواند ارزیابی شود تا مشخص شود چه زمانی راه حل با حداقل خطا به دست آمده است. لاپلاس سعی کرد یک شکل ریاضی از چگالی احتمال خطاها را مشخص کند و روشی برای تخمین تعریف کند که خطای تخمین را به حداقل برساند. برای این منظور، لاپلاس از یک توزیع نمایی متقارن دو طرفه که اکنون توزیع لاپلاس می نامیم برای مدل سازی توزیع خطا استفاده کرد و از مجموع انحراف مطلق به عنوان خطای تخمین استفاده کرد. او احساس می کرد که اینها ساده ترین فرضیاتی است که می تواند بکند، و امیدوار بود که میانگین حسابی را به عنوان بهترین تخمین به دست آورد. در عوض، برآوردگر او میانه پسین بود.

روش [ ویرایش ]

کارل فردریش گاوس

اولین توضیح واضح و مختصر از روش حداقل مربعات توسط لژاندر در سال 1805 منتشر شد. [8] این تکنیک به عنوان یک روش جبری برای برازش معادلات خطی با داده ها توصیف می شود و لژاندر روش جدید را با تجزیه و تحلیل داده های مشابه لاپلاس برای نشان می دهد. شکل زمین ظرف ده سال پس از انتشار لژاندر، روش حداقل مربعات به عنوان یک ابزار استاندارد در نجوم و زمین شناسی در فرانسه، ایتالیا و پروس پذیرفته شد، که پذیرش فوق العاده سریع یک تکنیک علمی را تشکیل می دهد. [7]

در سال 1809 کارل فردریش گاوس روش خود را برای محاسبه مدار اجرام آسمانی منتشر کرد. در آن کار او ادعا کرد که از سال 1795 روش حداقل مربعات را در اختیار داشته است. این به طور طبیعی منجر به اختلاف اولویت با لژاندر شد. با این حال، به اعتبار گاوس، او فراتر از لژاندر رفت و موفق شد روش حداقل مربعات را با اصول احتمال و به توزیع نرمال پیوند دهد. او موفق شده بود برنامه لاپلاس را برای تعیین یک شکل ریاضی از چگالی احتمال برای مشاهدات، بسته به تعداد محدودی از پارامترهای مجهول، تکمیل کند و روشی برای تخمین تعریف کند که خطای تخمین را به حداقل برساند. گاوس نشان داد که میانگین حسابیدر واقع بهترین تخمین پارامتر مکان با تغییر چگالی احتمال و روش تخمین است. سپس با پرسیدن اینکه چگالی باید چه شکلی داشته باشد و از چه روشی برای تخمین برای بدست آوردن میانگین حسابی به عنوان تخمین پارامتر مکان استفاده شود، مسئله را تغییر داد. در این تلاش او توزیع نرمال را اختراع کرد.

نشان دادن اولیه قدرت روش گاوس زمانی رخ داد که از آن برای پیش بینی مکان آینده سیارک تازه کشف شده سرس استفاده شد. در 1 ژانویه 1801، ستاره شناس ایتالیایی، جوزپه پیاتزی ، سرس را کشف کرد و توانست مسیر آن را به مدت 40 روز قبل از اینکه در تابش خیره کننده خورشید گم شود، ردیابی کند. بر اساس این داده ها، اخترشناسان می خواستند مکان سرس را پس از بیرون آمدن آن از پشت خورشید بدون حل معادلات غیرخطی پیچیده حرکت سیاره کپلر تعیین کنند. تنها پیش‌بینی‌هایی که به اخترشناس مجارستانی فرانتس زاور فون زاخ اجازه داد سرس را جابه‌جا کند، پیش‌بینی‌هایی بود که توسط گاوس ۲۴ ساله با استفاده از تحلیل حداقل مربعات انجام شد.

در سال 1810، پس از خواندن کار گاوس، لاپلاس، پس از اثبات قضیه حد مرکزی ، از آن برای توجیه نمونه بزرگی برای روش حداقل مربعات و توزیع نرمال استفاده کرد. در سال 1822، گاوس توانست بیان کند که رویکرد حداقل مربعات برای تحلیل رگرسیون بهینه است به این معنا که در یک مدل خطی که در آن خطاها میانگین صفر دارند، همبسته نیستند و واریانس‌های برابر دارند، بهترین برآوردگر خطی بدون سوگیری ضرایب برآوردگر حداقل مربعات است. این نتیجه به عنوان قضیه گاوس-مارکف شناخته می شود .

ایده تحلیل حداقل مربعات نیز به طور مستقل توسط رابرت آدرین آمریکایی در سال 1808 فرموله شد. در دو قرن بعد، کارگران تئوری خطاها و آمار راه های مختلفی برای اجرای حداقل مربعات یافتند. [9]

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:42 توسط علی رضا نقش نیلچی |

کمترین مربعات

کمترین مربعات

تعریف و مشتقات

ما در حال حاضر زمان زیادی را صرف یافتن راه حل هایی برای آن کرده ایم

A x = b

اگر راه حلی وجود ندارد، سعی می کنیم x را که به راه حل بودن نزدیکتر است، جستجو کنیم. نزدیکترین چنین بردار x خواهد بود به طوری که

A x = proj W b

که در آن W فضای ستون A است.

توجه داشته باشید که b - proj W b در متمم متعامد W از این رو در فضای تهی A T است. بنابراین اگر x نزدیکترین بردار باشد، پس

A T ( b - A x ) = 0 A T A x = A T b

حال باید نشان دهیم که A T A غیر مفرد است تا بتوانیم x را حل کنیم .

لما

اگر A یک ماتریس m xn با رتبه n باشد ، A T A غیر مفرد است.

اثبات

می خواهیم نشان دهیم که فضای تهی A T A صفر است. اگر

0 = A T A x

سپس هر دو ضلع را در x T ضرب می کنیم، به دست می آوریم

0 = x T A T A x = (A x ) T A x = A x . A x = ||A x || 2

اگر قدر یک بردار صفر باشد، بردار آن صفر است، بنابراین

A x = 0

از آنجا که

رتبه (A) = n

میتوتیم نتیجه بگیریم که

x = 0

اکنون می توانیم قضیه اصلی را بیان کنیم.

قضیه

بگذارید A یک ماتریس m xn یا رتبه n باشد ، سپس سیستم

A x = b

راه حل حداقل مربعات منحصر به فرد را دارد

x = (A T A) -1 A T b

مثال ها

مثال

راه حل حداقل مربعات را پیدا کنید

A x = b

با

راه حل

ما می توانیم به سرعت بررسی کنیم که A رتبه 2 دارد (دو ردیف اول مضرب یکدیگر نیستند). از این رو می توانیم محاسبه کنیم

توجه کنید که

دقیقاً b نیست، اما به همان اندازه که قرار است به آن نزدیک شویم.

خط رگرسیون حداقل مربعات

از اهمیت اساسی در تجزیه و تحلیل آماری، یافتن خط رگرسیون حداقل مربعات است.

مثال

یک مهندس در حال ردیابی شاخص اصطکاک بیش از مسافت پیموده شده در سیستم شکست یک وسیله نقلیه است. او انتظار دارد که رابطه مسافت پیموده شده-اصطکاک تقریباً خطی باشد. او پنج نقطه داده را جمع آوری می کند که در جدول زیر نشان داده شده است.

مسافت پیموده شده	2000	6000	20000	30000	40000
شاخص اصطکاک	20	18	10	6	2

نمودار زیر این نکات را نشان می دهد

ما به خطی علاقه مندیم که به بهترین وجه با داده ها مطابقت داشته باشد. به طور دقیق تر، اگر b بردار مقادیر داده های شاخص اصطکاک باشد و y بردار متشکل از مقادیر y باشد وقتی که داده مسافت پیموده شده را برای x وصل می کنیم و y را با معادله خط پیدا می کنیم، آنگاه خطی را می خواهیم که فاصله را به حداقل برساند. بین b و y _ اگر معادله خط باشد

تبر + b = y

سپس پنج معادله را بدست می آوریم

        2a + b = 20
        6a + b = 18
        20a + b = 10
        30a + b = 6
        40a + b = 2

معادله ماتریسی مربوطه است

A x = b

یا

اگرچه این راه حل دقیقی ندارد، اما نزدیکترین راه حل را دارد. ما داریم

می توان نتیجه گرفت که معادله خط رگرسیون است

y = -0.48x + 20.6

بهترین منحنی های مناسب

اغلب، یک خط بهترین مدل برای داده ها نیست. خوشبختانه اگر بخواهیم از منحنی های غیرخطی دیگری برای برازش داده ها استفاده کنیم، همین روش کار می کند. در اینجا نحوه یافتن حداقل مربعات مکعب را توضیح خواهیم داد. روند سایر چند جمله ای ها نیز مشابه است.

مثال

یک مهندس زیستی در حال مطالعه رشد یک کشت باکتری مهندسی شده ژنتیکی است و مشکوک است که تقریباً از یک مدل مکعبی پیروی می کند. او شش نقطه داده فهرست شده در زیر را جمع آوری می کند

زمان در روز	1	2	3	4	5	6
گرم	2.1	3.5	4.2	3.1	4.4	6.8

او فرض می کند که معادله شکل دارد

ax 3 + bx 2 + cx + d = y

این شش معادله با چهار مجهول به دست می دهد

              a + b + c + d = 2.1
            8a + 4b + 2c + d = 3.5
          27a + 9b + 3c + d = 4.2
          64a + 16b + 4c + d = 3.1 125a
        +         25b + 5c + d = 6a + 6 4.4
+ d = 6.8

معادله ماتریسی مربوطه است

برای یافتن بهترین جواب می توانیم از معادله حداقل مربعات استفاده کنیم

به طوری که بهترین مکعب مناسب است

y = 0.2x 3 - 2.0x 2 + 6.1x - 2.3

نمودار زیر نشان داده شده است

منبع

http://ltcconline.net/greenl/courses/203/matrixonvectors/leastsquares.htm

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:29 توسط علی رضا نقش نیلچی |

روش حداقل مربعات

روش حداقل مربعات فرآیند یافتن بهترین منحنی یا خط بهترین برازش برای مجموعه ای از نقاط داده با کاهش مجموع مجذورهای آفست (قسمت باقیمانده) نقاط از منحنی است. در طی فرآیند یافتن رابطه بین دو متغیر، روند پیامدها به صورت کمی برآورد می شود. این فرآیند به عنوان تحلیل رگرسیون نامیده می شود . روش برازش منحنی رویکردی برای تحلیل رگرسیون است. این روش برازش معادلات که منحنی ها را به داده های خام داده شده تقریب می کند، حداقل مربعات است.

کاملاً واضح است که برازش منحنی ها برای یک مجموعه داده خاص همیشه منحصر به فرد نیست. بنابراین، لازم است منحنی با حداقل انحراف از تمام نقاط داده اندازه گیری شده پیدا شود. این منحنی به عنوان بهترین منحنی برازش شناخته می شود و با استفاده از روش حداقل مربعات یافت می شود.

همچنین بخوانید:

تعریف روش حداقل مربع

روش حداقل مربعات یک روش آماری مهم است که برای یافتن یک خط رگرسیون یا یک خط مناسب برای الگوی داده شده استفاده می شود. این روش با یک معادله با پارامترهای خاص توصیف می شود. روش حداقل مربعات به طور سخاوتمندانه در ارزیابی و رگرسیون استفاده می شود. در تحلیل رگرسیونی، گفته می‌شود که این روش یک رویکرد استاندارد برای تقریب مجموعه‌هایی از معادلات است که دارای معادلات بیشتر از تعداد مجهول‌ها هستند.

روش حداقل مربعات در واقع راه حلی را برای به حداقل رساندن مجموع مربعات انحرافات یا خطاهای حاصل از هر معادله تعریف می کند. فرمول مجموع مربعات خطاها را بیابید که به یافتن تغییرات در داده های مشاهده شده کمک می کند.

روش حداقل مربعات اغلب در برازش داده ها استفاده می شود. بهترین نتیجه برازش برای کاهش مجموع مجذور خطاها یا باقیمانده‌ها فرض می‌شود که تفاوت بین مقدار مشاهده شده یا تجربی و مقدار برازش متناظر داده‌شده در مدل بیان شده است.

دو دسته اساسی از مسائل حداقل مربعات وجود دارد:

حداقل مربعات معمولی یا خطی
حداقل مربعات غیر خطی

اینها به خطی بودن یا غیرخطی بودن باقیمانده ها بستگی دارد. مسائل خطی اغلب در تحلیل رگرسیون در آمار دیده می شود. از سوی دیگر، مسائل غیر خطی به طور کلی در روش تکراری پالایش استفاده می شود که در آن مدل با هر تکرار به یک خطی تقریب می شود.

نمودار روش حداقل مربع

در رگرسیون خطی، خط بهترین تناسب یک خط مستقیم است که در نمودار زیر نشان داده شده است:

روش حداقل مربعات

نقاط داده داده شده باید با روش کاهش باقیمانده یا جابجایی هر نقطه از خط به حداقل برسد. جابجایی های عمودی به طور کلی در مسائل سطحی، چند جمله ای و ابرصفحه استفاده می شود، در حالی که جابجایی های عمودی در عمل معمول استفاده می شود.

افست های عمودی و عمودی

فرمول روش حداقل مربعات

روش حداقل مربعات بیان می کند که منحنی که به بهترین وجه با مجموعه مشاهدات معینی مطابقت دارد، به منحنی گفته می شود که دارای حداقل مجموع مجذور باقیمانده ها (یا انحرافات یا خطاها) از نقاط داده شده باشد. فرض کنید نقاط داده شده داده ها عبارتند از (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), …, (x n , y n ) که در آن همه x ها متغیر مستقل هستند ، در حالی که همه yها وابسته هستند. همچنین، فرض کنید که f(x) منحنی برازش است و d نشان دهنده خطا یا انحراف از هر نقطه داده شده است.

اکنون می توانیم بنویسیم:

d 1 = y 1 − f (x 1 )

d 2 = y 2 − f (x 2 )

d 3 = y 3 - f(x 3 )

…..

d n = y n – f( xn )

حداقل مربعات توضیح می دهد که منحنی که به بهترین وجه منطبق می شود با این ویژگی نشان داده می شود که مجموع مجذورات همه انحرافات از مقادیر داده شده باید حداقل باشد، به عنوان مثال:

فرمول روش حداقل مربعات

جمع = حداقل مقدار

فرض کنید زمانی که باید معادله خط بهترین تناسب را برای داده های داده شده تعیین کنیم، ابتدا از فرمول زیر استفاده می کنیم.

معادله حداقل مربع با Y = a + bX به دست می آید

معادله عادی برای 'a':

∑Y = na + b∑X

معادله عادی برای 'b':

∑XY = a∑X + b∑X 2

با حل این دو معادله عادی می توانیم معادله خط روند مورد نیاز را بدست آوریم.

بنابراین، می‌توانیم خط بهترین تناسب را با فرمول y = ax + b بدست آوریم

مثال حل شده

مدل حداقل مربعات برای مجموعه ای از داده ها (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 ), …, (x n , y n ) از نقطه (x a , y a ) که در آن x a میانگین x i و y a میانگین y i است. مثال زیر چگونگی پیدا کردن معادله یک خط مستقیم یا حداقل مربع را با استفاده از روش حداقل مربع توضیح می دهد.

سوال:

داده های سری زمانی ارائه شده در زیر را در نظر بگیرید:

x i	8	3	2	10	11	3	6	5	6	8
y من	4	12	1	12	9	4	9	6	1	14

از روش حداقل مربع برای تعیین معادله خط بهترین برازش برای داده ها استفاده کنید. سپس خط را رسم کنید.

راه حل:

میانگین مقادیر x i = (8 + 3 + 2 + 10 + 11 + 3 + 6 + 5 + 6 + 8)/10 = 62/10 = 6.2

میانگین مقادیر y i = (4 + 12 + 1 + 12 + 9 + 4 + 9 + 6 + 1 + 14)/10 = 72/10 = 7.2

معادله خط مستقیم y = a + bx است.

معادلات نرمال هستند

∑y = an + b∑x

∑xy = a∑x + b∑x 2

ایکس	y	x 2	xy
8	4	64	32
3	12	9	36
2	1	4	2
10	12	100	120
11	9	121	99
3	4	9	12
6	9	36	54
5	6	25	30
6	1	36	6
8	14	64	112
∑x = 62	∑y = 72	∑x 2 = 468	∑xy = 503

جایگزینی این مقادیر در معادلات عادی،

10a + 62b = 72….(1)

62a + 468b = 503….(2)

(1) × 62 - (2) × 10،

620a + 3844b - (620a + 4680b) = 4464 - 5030

-836b = -566

b = 566/836

b = 283/418

b = 0.677

جایگزینی b = 0.677 در رابطه (1)،

10a + 62 (0.677) = 72

10a + 41.974 = 72

10a = 72 - 41.974

10a = 30.026

a = 30.026/10

a = 3.0026

بنابراین، معادله تبدیل می شود،

y = a + bx

y = 3.0026 + 0.677x

مثال روش حداقل مربع

این معادله خط روند مورد نیاز است.

اکنون مجموع مربعات انحرافات از مقادیر به دست آمده را می توانیم به صورت زیر بدست آوریم:

d 1 = [4 - (3.0026 + 0.677*8)] = (4.4186-)

d 2 = [12 - (3.0026 + 0.677*3)] = (6.9664)

d 3 = [1 – (3.0026 + 0.677*2)] = (3.3566-)

d 4 = [12 - (3.0026 + 0.677*10)] = (2.2274)

d 5 = [9 – (3.0026 + 0.677*11)] =(-1.4496)

d 6 = [4 - (3.0026 + 0.677*3)] = (1.0336-)

d 7 = [9 – (3.0026 + 0.677*6)] = (1.9354)

d 8 = [6 – (3.0026 + 0.677*5)] = (0.3876-)

d 9 = [1 – (3.0026 + 0.677*6)] = (6.0646-)

d 10 = [14 - (3.0026 + 0.677*8)] = (5.5814)

∑d 2 = (4.4186-) 2 + (6.9664) 2 + (-3.3566) 2 + (2.2274) 2 + (-1.4496) 2 + (1.0336-) 2 + (1.9354) 2 + ( 0.387-) -6.0646) 2 + (5.5814) 2 = 159.27990

محدودیت برای روش حداقل مربع

روش حداقل مربعات یک روش بسیار سودمند برای برازش منحنی است. علیرغم فواید زیاد، کاستی هایی نیز دارد. یکی از محدودیت های اصلی در اینجا مورد بحث قرار می گیرد.

در فرآیند تحلیل رگرسیون که از روش حداقل مربعات برای برازش منحنی استفاده می شود، ناگزیر فرض می شود که خطاهای متغیر مستقل ناچیز یا صفر هستند. در چنین مواردی، زمانی که خطاهای متغیر مستقل غیر قابل چشم پوشی هستند، مدل ها در معرض خطاهای اندازه گیری قرار می گیرند. بنابراین، در اینجا، روش حداقل مربعات حتی ممکن است منجر به آزمون فرضیه شود، که در آن تخمین پارامترها و فواصل اطمینان به دلیل وجود خطاهای رخ داده در متغیرهای مستقل در نظر گرفته می شود.

سوالات متداول - سوالات متداول

چگونه حداقل مربعات را محاسبه می کنید؟

فرض کنید نقاط داده شده داده ها عبارتند از (x_1، y_1)، (x_2، y_2)، ...، (x_n، y_n) که در آن همه x ها متغیر مستقل هستند، در حالی که همه y ها متغیرهای وابسته هستند. همچنین، فرض کنید که f(x) منحنی برازش باشد و d نشان دهنده خطا یا انحراف از هر نقطه داده شده باشد.
حداقل مربعات توضیح می دهد که منحنی که به بهترین وجه برازنده است با این ویژگی نشان داده می شود که مجموع مجذورات همه انحرافات از مقادیر داده شده باید حداقل باشد.

چند روش برای حداقل مربع موجود است؟

دو دسته اصلی از مسائل روش حداقل مربعات وجود دارد:
حداقل مربعات معمولی یا خطی حداقل مربعات
غیرخطی

اصل حداقل مربعات چیست؟

اصل حداقل مربعات بیان می کند که با بدست آوردن مجموع مجذورات خطاها یک مقدار حداقل، محتمل ترین مقادیر سیستمی با مقادیر مجهول را می توان به دست آورد که مشاهدات بر اساس آن انجام شده است.

حداقل مربع یعنی چه؟

روش حداقل مربع، فرآیند به دست آوردن بهترین منحنی یا خط بهترین برازش برای مجموعه داده های داده شده با کاهش مجموع مجذورهای آفست (بخش باقیمانده) نقاط منحنی است.

برازش حداقل مربعات منحنی چیست؟

روش حداقل مربعات روشی است که معمولاً از منحنی برازش برای یک مجموعه داده معین استفاده می شود. این رایج ترین روشی است که برای تعیین خط روند برای داده های سری زمانی معین استفاده می شود.

منبع

https://byjus.com/maths/least-square-method/

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:25 توسط علی رضا نقش نیلچی |

رگرسیون حداقل مربعات

تعریف روش رگرسیون حداقل مربعات

روش رگرسیون حداقل مربعات شکلی از تحلیل رگرسیونی است که رابطه بین متغیر وابسته و مستقل را همراه با یک خط خطی ایجاد می کند. این خط به عنوان "خط بهترین تناسب" نامیده می شود.

تحلیل رگرسیون یک روش آماری است که به کمک آن می توان مقادیر مجهول یک متغیر را از مقادیر شناخته شده متغیر دیگر تخمین زد یا پیش بینی کرد. متغیری که برای پیش‌بینی علاقه متغیر استفاده می‌شود، متغیر مستقل یا توضیحی نامیده می‌شود و متغیری که پیش‌بینی می‌شود، متغیر وابسته یا تبیین‌شده نامیده می‌شود.

اجازه دهید دو متغیر x و y را در نظر بگیریم. اینها بر روی یک نمودار با مقادیر x در مقادیر محور x از y در محور y رسم می شوند. این مقادیر با نقاط در نمودار زیر نشان داده شده است. یک خط مستقیم از میان نقاط کشیده می‌شود - به آن خط بهترین تناسب گفته می‌شود.

رگرسیون حداقل مربعات

هدف از رگرسیون حداقل مربعات این است که اطمینان حاصل شود که خط ترسیم شده از طریق مجموعه مقادیر ارائه شده نزدیکترین رابطه را بین مقادیر ایجاد می کند.

فرمول رگرسیون حداقل مربعات

خط رگرسیون تحت روش حداقل مربعات با استفاده از فرمول زیر محاسبه می شود:

ŷ = a + bx

حداقل مربعات-رگرسیون-فرمول

شما می توانید از این تصویر در وب سایت خود، قالب ها و غیره استفاده کنید،لطفاً یک پیوند انتساب به ما ارائه دهید

جایی که،

ŷ = متغیر وابسته
x = متغیر مستقل
a = y-برق
b = شیب خط

شیب خط b با استفاده از فرمول زیر محاسبه می شود:

شیب خط فرمول 1

یا

شیب خط فرمول 2

مقطع Y، 'a' با استفاده از فرمول زیر محاسبه می شود -

Y رهگیری

خط بهترین تناسب در رگرسیون حداقل مربع

درخط بهترین تناسبیک خط مستقیم است که از طریق پراکنده ای از نقاط داده کشیده شده است که به بهترین نحو نشان دهنده رابطه بین آنها است.

اجازه دهید نمودار زیر را در نظر بگیریم که در آن مجموعه ای از داده ها در امتداد محور x و y رسم شده است. این نقاط داده با استفاده از نقاط آبی نشان داده می شوند. سه خط از میان این نقاط کشیده می شود - یک خط سبز، یک خط قرمز و یک خط آبی. خط سبز از یک نقطه و خط قرمز از سه نقطه داده می گذرد. با این حال، خط آبی از چهار نقطه داده عبور می کند و فاصله بین نقاط باقیمانده تا خط آبی در مقایسه با دو خط دیگر حداقل است.

خط بهترین تناسب

در نمودار بالا، خط آبی نشان‌دهنده خط بهترین تناسب است زیرا به تمام مقادیر نزدیک‌تر است و فاصله بین نقاط خارج از خط تا خط حداقل است (یعنی فاصله بین باقی‌مانده‌ها تا خط بهترین تناسب - همچنین به عنوان مجموع مربعات باقیمانده نامیده می شود). در دو خط دیگر، نارنجی و سبز، فاصله بین باقیمانده ها تا خطوط در مقایسه با خط آبی بیشتر است.

روش حداقل مربعات نزدیکترین رابطه را بین وابسته ومتغیرهای مستقلبا به حداقل رساندن فاصله بین باقیمانده ها، و خط بهترین تناسب، به عنوان مثال، مجموع مربعات باقیمانده در این روش حداقل است. از این رو اصطلاح "کمترین مربع" به وجود می آید.

نمونه هایی از خط رگرسیون حداقل مربعات

اجازه دهید این فرمول ها را در سوال زیر اعمال کنیم -

شما می توانید این قالب اکسل رگرسیون حداقل مربعات را از اینجا دانلود کنید – قالب اکسل رگرسیون حداقل مربعات

مثال شماره 1

جزئیات مربوط به تجربه تکنسین ها در یک شرکت (در چند سال) و رتبه عملکرد آنها در جدول زیر ارائه شده است. با استفاده از این مقادیر، رتبه عملکرد را برای یک تکنسین با 20 سال تجربه تخمین بزنید.

تجربه تکنسین (در سال)	رتبه بندی عملکرد
16	87
12	88
18	89
4	68
3	78
10	80
5	75
12	83

راه حل -

برای محاسبه حداقل مربعات، ابتدا مقطع Y (a) و شیب یک خط (b) را به صورت زیر محاسبه می کنیم:

حداقل مربعات مثال 1.2

شیب خط (ب)

حداقل مربعات مثال 1.3

b = 6727 - [(80*648)/8] / 1018 - [(80) 2/8 ]
= 247/218
= 1.13

قطع Y (a)

حداقل مربعات مثال 1.4

a = 648 - (1.13) (80) /8
= 69.7

خط رگرسیون به صورت زیر محاسبه می شود:

حداقل مربعات مثال 1.5

جایگزینی 20 به جای مقدار x در فرمول،

ŷ = a + bx
ŷ = 69.7 + (1.13) (20)
ŷ = 92.3

امتیاز عملکرد برای یک تکنسین با 20 سال سابقه، 92.3 برآورد شده است.

مثال شماره 2

معادله رگرسیون حداقل مربعات با استفاده از اکسل

معادله رگرسیون حداقل مربعات را می توان با استفاده از اکسل با مراحل زیر محاسبه کرد:

درج کنیدجدول داده ها در اکسل.

حداقل مربعات رگرسیون Excel 1.1

یک نمودار پراکندگی با استفاده از نقاط داده درج کنید.

رگرسیون حداقل مربعات اکسل 1.2

یک خط روند را در نمودار پراکندگی درج کنید.

حداقل مربعات رگرسیون Excel 1.3

در زیر گزینه های خط روند - خط روند خطی را انتخاب کنید و معادله نمایش را در نمودار انتخاب کنید.

حداقل مربعات رگرسیون Excel 1.4

معادله رگرسیون حداقل مربعات برای مجموعه داده شده اکسل روی نمودار نمایش داده می شود.

حداقل مربعات رگرسیون Excel 1.5

بنابراین، معادله رگرسیون حداقل مربعات برای مجموعه داده‌های اکسل محاسبه می‌شود. با استفاده از معادله، پیش بینی ها و تحلیل روند ممکن است ساخته شود. ابزارهای اکسل نیز محاسبات رگرسیون دقیق را فراهم می کنند.

مزایای

روش حداقل مربعات تحلیل رگرسیون برای مدل‌های پیش‌بینی و تحلیل روند مناسب‌تر است. بهترین کاربرد آن در زمینه‌های اقتصاد، مالی و بازارهای سهام است که در آن ارزش هر متغیر آتی با کمک متغیرهای موجود و رابطه بین آن‌ها پیش‌بینی می‌شود.
روش حداقل مربعات نزدیکترین رابطه را بین متغیرها فراهم می کند. تفاوت بین مجموع مربعات باقیمانده تا خط بهترین تناسب در این روش حداقل است.
مکانیزم محاسباتی ساده و کاربردی است.

معایب

روش حداقل مربعات بر ایجاد نزدیکترین رابطه بین مجموعه معینی از متغیرها متکی است. مکانیسم محاسباتی به داده‌ها حساس است و در صورت وجود هر گونه اطلاعات پرت (داده‌های استثنایی)، نتایج ممکن است به طور عمده تأثیر بگذارند.
این نوع محاسبه برای مدل های خطی مناسب است. برای معادلات غیر خطی، مکانیسم های محاسباتی جامع تری اعمال می شود.

نتیجه

روش حداقل مربعات یکی از متداول ترین روش های مورد استفاده برای مدل های پیش بینی وتحلیل روند. هنگامی که به درستی محاسبه شود، بهترین نتایج را ارائه می دهد.

منبع

https://www.wallstreetmojo.com/least-squares-regression/

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:17 توسط علی رضا نقش نیلچی |

مثال4:خط رگرسیون :روش کمترین مربعات

https://slideplayer.com/slide/9440910/

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:3 توسط علی رضا نقش نیلچی |

مثال2:خط رگرسیون :روش کمترین مربعات

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 5:0 توسط علی رضا نقش نیلچی |

مثال 1:خط رگرسیون :روش کمترین مربعات

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 4:58 توسط علی رضا نقش نیلچی |

خط رگرسیون :روش کمترین مربعات

+ نوشته شده در یکشنبه چهارم اردیبهشت ۱۴۰۱ ساعت 4:55 توسط علی رضا نقش نیلچی |

9- تئوری حد مرکزی

رگرسیون [ ویرایش ]

تجزیه و تحلیل رگرسیون و به ویژه حداقل مربعات معمولی مشخص می کند که یک متغیر وابسته با توجه به تابعی به یک یا چند متغیر مستقل با یک عبارت خطای افزایشی بستگی دارد . انواع مختلف استنتاج آماری بر روی رگرسیون فرض می کنند که عبارت خطا به طور معمول توزیع شده است. این فرض را می توان با این فرض توجیه کرد که عبارت خطا در واقع مجموع بسیاری از اصطلاحات خطای مستقل است. حتی اگر عبارات خطای فردی به طور معمول توزیع نشده باشند، با قضیه حد مرکزی مجموع آنها را می توان به خوبی با یک توزیع نرمال تقریب زد.

سایر تصاویر [ ویرایش ]

مقاله اصلی: تصویر قضیه حد مرکزی

با توجه به اهمیت آن برای آمار، تعدادی مقاله و بسته های کامپیوتری موجود است که همگرایی موجود در قضیه حد مرکزی را نشان می دهد. [41]

تاریخچه [ ویرایش ]

هنک تیمز ، ریاضیدان هلندی می نویسد: [42]

قضیه حد مرکزی تاریخچه جالبی دارد. اولین نسخه از این قضیه توسط ریاضیدان فرانسوی الاصل، آبراهام دو مویور ، فرض شد که در مقاله قابل توجهی که در سال 1733 منتشر شد، از توزیع نرمال برای تقریب توزیع تعداد سرهای حاصل از پرتاب های زیاد یک سکه استفاده کرد. این یافته بسیار جلوتر از زمان خود بود و تقریباً فراموش شد تا اینکه ریاضیدان مشهور فرانسوی پیر سیمون لاپلاس در اثر تاریخی خود Théorie analytique des probabilités آن را از گمنامی نجات داد.که در سال 1812 منتشر شد. لاپلاس با تقریب توزیع دوجمله ای با توزیع نرمال، یافته های دی مویور را گسترش داد. اما مانند دو مویور، یافته لاپلاس در زمان خودش کمتر مورد توجه قرار گرفت. زمانی که در سال 1901، الکساندر لیاپانوف ، ریاضیدان روسی، آن را به طور کلی تعریف کرد و دقیقاً چگونگی کارکرد آن را از نظر ریاضی اثبات کرد، تا پایان قرن نوزدهم بود که اهمیت قضیه حد مرکزی تشخیص داده شد . امروزه قضیه حد مرکزی به عنوان حاکمیت غیر رسمی نظریه احتمال در نظر گرفته می شود.

سر فرانسیس گالتون قضیه حد مرکزی را اینگونه توصیف کرد: [43]

من به ندرت چیزی می شناسم که به اندازه شکل شگفت انگیز نظم کیهانی که توسط "قانون فراوانی خطا" بیان می شود، تخیل را تحت تأثیر قرار دهد. اگر یونانیان از آن اطلاع داشتند، قانون توسط یونانیان تجسم و الوهیت می شد. در میان وحشی‌ترین سردرگمی‌ها، با آرامش و خودباختگی کامل حکومت می‌کند. هر چه اوباش بزرگتر باشد، و هر چه هرج و مرج ظاهری بیشتر باشد، نوسانش کاملتر است. این قانون عالی بی دلیل است. هر گاه نمونه بزرگی از عناصر آشفته در دست گرفته می شود و به ترتیب بزرگی آن ها به هم می چسبانند، ثابت می شود که شکل نامعلوم و زیباترین شکلی از نظم در تمام مدت پنهان بوده است.

اصطلاح واقعی "قضیه حد مرکزی" (به آلمانی: "zentraler Grenzwertsatz") اولین بار توسط جورج پولیا در سال 1920 در عنوان مقاله استفاده شد. [44] [45] پولیا به دلیل اهمیت آن در نظریه احتمال، از قضیه به عنوان "مرکزی" یاد کرد. به گفته لو کم، مکتب احتمالی فرانسوی کلمه مرکزی را به این معنا تفسیر می کند که "رفتار مرکز توزیع را بر خلاف دم آن توصیف می کند". [45] چکیده مقاله درباره قضیه حد مرکزی حساب احتمالات و مسئله گشتاورها توسط پولیا [44] در سال 1920 به شرح زیر ترجمه می شود.

وقوع چگالی احتمال گاوسی 1 = e - x 2 در آزمایش‌های مکرر، در خطاهای اندازه‌گیری، که منجر به ترکیبی از خطاهای اولیه بسیار زیاد و بسیار کوچک، در فرآیندهای انتشار و غیره می‌شود، می‌تواند توضیح داده شود. شناخته شده، با همان قضیه حد، که نقش مرکزی در حساب احتمالات بازی می کند. کاشف واقعی این قضیه حدی باید لاپلاس نامیده شود. احتمالاً اثبات دقیق آن اولین بار توسط اشبیشف ارائه شده است و تا آنجا که من از آن مطلع هستم، می توان دقیق ترین فرمول آن را در مقاله ای از لیاپونوف یافت . ...

یک حساب کامل از تاریخ قضیه، جزئیات کار اساسی لاپلاس، و همچنین کوشی 'ثانیه، بسل 'ثانیه و پواسون 'ثانیه مشارکت، توسط هالد ارائه شده است. [46] دو گزارش تاریخی، یکی توسعه از لاپلاس تا کوشی را پوشش می‌دهد، دومی مشارکت‌های فون میزس ، پولیا ، لیندبرگ ، لوی و کرامر در طول دهه 1920، توسط هانس فیشر ارائه شده است. [ 47] لو کم دوره ای را در حدود سال 1935 توصیف می کند .و شاگردانش آندری مارکوف و الکساندر لیاپانوف که منجر به اولین اثبات CLT در یک محیط کلی شد.

یک پاورقی عجیب به تاریخچه قضیه حد مرکزی این است که اثبات نتیجه ای مشابه با لیندبرگ CLT 1922 موضوع پایان نامه کمک هزینه تحصیلی آلن تورینگ در سال 1934 برای کالج کینگ در دانشگاه کمبریج بود. تنها پس از ارسال اثر، تورینگ متوجه شد که این کار قبلاً ثابت شده است. در نتیجه پایان نامه تورینگ منتشر نشد. [49]

همچنین مشاهده کنید [ ویرایش ]

خاصیت برابری مجانبی
توزیع مجانبی
توزیع بیتس
قانون بنفورد - نتیجه گسترش CLT به حاصلضرب متغیرهای تصادفی.
قضیه بری – اسین
قضیه حد مرکزی برای آمار جهت دار – قضیه حد مرکزی در مورد آمار جهت دار اعمال می شود
روش دلتا - برای محاسبه توزیع حدی یک تابع از یک متغیر تصادفی.
قضیه Erdős–Kac - تعداد عوامل اول یک عدد صحیح را با توزیع احتمال نرمال متصل می کند.
قضیه Fisher–Tippett–Gnedenko – قضیه حدی برای مقادیر افراطی (مانند max{ Xn } )
توزیع ایروین هال
قضیه حد مرکزی زنجیره مارکوف
توزیع نرمال
قضیه همگرایی تویدی - قضیه ای که می تواند به عنوان پل بین قضیه حد مرکزی و قضیه همگرایی پواسون در نظر گرفته شود [50]

یادداشت ها

https://en.wikipedia.org/wiki/Central_limit_theorem

+ نوشته شده در شنبه شانزدهم بهمن ۱۴۰۰ ساعت 16:30 توسط علی رضا نقش نیلچی |

8- تئوری حد مرکزی

پلی توپ های گاوسی [ ویرایش ]

قضیه: فرض کنید A 1 , …, A n نقاط تصادفی مستقلی در صفحه ℝ 2 باشند که هر کدام دارای توزیع نرمال استاندارد دو بعدی هستند. بگذارید K n بدنه محدب این نقاط و X n مساحت K n باشد سپس [33]
${\frac {X_{n}-\mathbb {E} (X_{n})}{\sqrt {\operatorname {Var} (X_{n})}}}$
در توزیع به N (0،1) همگرا می شود زیرا n به بی نهایت میل می کند.

در تمام ابعاد بزرگتر از 2 نیز همینطور است.

پلی توپ K n یک پلی توپ تصادفی گاوسی نامیده می شود.

نتیجه مشابهی برای تعداد رئوس (پلی توپ گاوسی)، تعداد لبه ها، و در واقع، وجوه در تمام ابعاد وجود دارد. [34]

توابع خطی ماتریس های متعامد [ ویرایش ]

تابع خطی ماتریس M ترکیبی خطی از عناصر آن است (با ضرایب داده شده)، M↦ tr( AM ) که در آن A ماتریس ضرایب است. ردیابی (جبر خطی) #حصول درونی را ببینید .

یک ماتریس متعامد تصادفی به طور یکنواخت توزیع می شود، اگر توزیع آن معیار Haar نرمال شده روی گروه متعامد O( n , ℝ ) باشد. ماتریس چرخش# ماتریس‌های چرخش تصادفی یکنواخت را ببینید .

قضیه. فرض کنید M یک ماتریس متعامد تصادفی n × n باشد که به طور یکنواخت توزیع شده است، و A یک ماتریس ثابت n × n باشد به طوری که tr( AA *) = n باشد ، و X = tr( AM ) باشد. سپس [35] توزیع X نزدیک به N است (0،1) در متریک تغییرات کل تا [ توضیحات لازم ] 2 √ 3/n - 1.

دنباله های بعدی [ ویرایش ]

قضیه. فرض کنید متغیرهای تصادفی X 1 , X 2 , … ∈ L 2 (Ω) به گونه ای باشند که X n → 0 ضعیف در L 2 (Ω) و X
n→ 1 ضعیف در L 1 (Ω) . سپس اعداد صحیح n 1 < n 2 < ⋯ وجود دارد که
${\frac {X_{n_{1}}+\cdots +X_{n_{k}}}{\sqrt {k}}}$
در توزیع به N (0،1) همگرا می شود زیرا k به بی نهایت میل می کند. [36]

راه رفتن تصادفی روی یک شبکه کریستالی [ ویرایش ]

قضیه حد مرکزی ممکن است برای راه رفتن تصادفی ساده روی یک شبکه کریستالی (یک گراف پوششی آبلی بی‌نهایت بر روی یک نمودار متناهی) ایجاد شود و برای طراحی ساختارهای کریستالی استفاده می‌شود. [37] [38]

برنامه ها و نمونه ها [ ویرایش ]

مثال ساده [ ویرایش ]

این شکل قضیه حد مرکزی را نشان می دهد. میانگین های نمونه با استفاده از یک مولد اعداد تصادفی تولید می شوند که اعداد بین 0 تا 100 را از یک توزیع احتمال یکنواخت می گیرد. این نشان می‌دهد که افزایش حجم نمونه منجر به این می‌شود که 500 نمونه اندازه‌گیری شده به معنای توزیع نزدیک‌تر در مورد میانگین جامعه (در این مورد 50) است. همچنین توزیع‌های مشاهده‌شده را با توزیع‌هایی که برای توزیع گاوسی نرمال‌شده انتظار می‌رود مقایسه می‌کند، و مقادیر مجذور کای را نشان می‌دهد که خوب بودن برازش را کمیت می‌کند (اگر کای دو کاهش یافته باشد، تناسب خوب است .مقدار کمتر یا تقریباً برابر با یک است). ورودی تابع گاوسی نرمال شده میانگین میانگین نمونه (~50) و میانگین انحراف استاندارد نمونه تقسیم بر جذر اندازه نمونه (~28.87/ √ n ) است که به آن انحراف استاندارد میانگین می گویند. از آنجایی که به گسترش میانگین نمونه اشاره دارد).

یک مثال ساده از قضیه حد مرکزی، انداختن بسیاری از تاس های یکسان و بی طرفانه است. توزیع مجموع (یا میانگین) اعداد نورد شده با یک توزیع نرمال به خوبی تقریب خواهد شد. از آنجایی که کمیت های دنیای واقعی اغلب مجموع متعادل بسیاری از رویدادهای تصادفی مشاهده نشده هستند، قضیه حد مرکزی نیز توضیحی جزئی برای شیوع توزیع احتمال نرمال ارائه می دهد. همچنین تقریب آمارهای نمونه بزرگ را به توزیع نرمال در آزمایش‌های کنترل‌شده توجیه می‌کند.

مقایسه توابع چگالی احتمال، ** p ( k ) برای مجموع n تاس 6 وجهی منصفانه برای نشان دادن همگرایی آنها به یک توزیع نرمال با افزایش n ، مطابق با قضیه حد مرکزی. در نمودار پایین سمت راست، نمایه های هموار نمودارهای قبلی مجدداً مقیاس شده، روی هم قرار گرفته و با یک توزیع نرمال (منحنی سیاه) مقایسه می شوند.

شبیه سازی دیگر با استفاده از توزیع دو جمله ای. 0ها و 1های تصادفی تولید شدند و سپس میانگین آنها برای اندازه نمونه از 1 تا 512 محاسبه شد. توجه داشته باشید که با افزایش اندازه نمونه، دمها نازکتر می شوند و توزیع حول میانگین متمرکزتر می شود.

برنامه های کاربردی واقعی [ ویرایش ]

ادبیات منتشر شده شامل تعدادی مثال و کاربرد مفید و جالب در رابطه با قضیه حد مرکزی است. [39] یک منبع [40] نمونه های زیر را بیان می کند:

توزیع احتمال برای کل مسافت طی شده در یک پیاده روی تصادفی (با طرفدار یا بی طرفانه) به سمت توزیع نرمال گرایش دارد .
چرخاندن تعداد زیادی سکه منجر به توزیع نرمال برای تعداد کل سرها (یا معادل تعداد کل دم) می شود.

از دیدگاه دیگر، قضیه حد مرکزی ظاهر رایج "منحنی زنگ" را در تخمین چگالی اعمال شده برای داده های دنیای واقعی توضیح می دهد. در مواردی مانند نویز الکترونیکی، نمرات امتحانی و غیره، اغلب می‌توانیم یک مقدار اندازه‌گیری شده را به عنوان میانگین وزنی بسیاری از اثرات کوچک در نظر بگیریم. با استفاده از تعمیم قضیه حد مرکزی، می‌توانیم ببینیم که اغلب (البته نه همیشه) توزیع نهایی تقریباً نرمال ایجاد می‌شود.

به طور کلی، هرچه اندازه گیری بیشتر شبیه مجموع متغیرهای مستقل با تأثیر مساوی بر نتیجه باشد، نرمال بیشتری از خود نشان می دهد. این امر استفاده متداول از این توزیع را برای نشان دادن اثرات متغیرهای مشاهده نشده در مدل هایی مانند مدل خطی توجیه می کند .

+ نوشته شده در شنبه شانزدهم بهمن ۱۴۰۰ ساعت 16:29 توسط علی رضا نقش نیلچی |

6-تئوری حد مرکزی

رابطه با قانون اعداد بزرگ [ ویرایش ]

قانون اعداد بزرگ و همچنین قضیه حد مرکزی راه حل های جزئی برای یک مسئله کلی هستند: "رفتار محدود کننده S n با نزدیک شدن n به بی نهایت چیست؟" در تجزیه و تحلیل ریاضی، سری مجانبی یکی از محبوب‌ترین ابزارهای مورد استفاده برای رویکرد به چنین سؤالاتی است.

فرض کنید ما یک بسط مجانبی از ${\textstyle f(n)}$ :

$f(n)=a_{1}\varphi _{1}(n)+a_{2}\varphi _{2}(n)+O{\big (}\varphi _{3}(n ){\big )}\qquad (n\to \infty).$

تقسیم هر دو بخش بر φ 1 ( n ) و گرفتن حد، یک 1 را ایجاد می کند ، ضریب جمله بالاترین مرتبه در بسط، که نشان دهنده نرخ تغییر f ( n ) در عبارت اصلی آن است.

$\lim _{n\to \infty }{\frac {f(n)}{\varphi _{1}(n)}}=a_{1}.$

به طور غیررسمی، می توان گفت: " f ( n ) تقریباً به صورت 1 φ 1 ( n ) رشد می کند . با در نظر گرفتن تفاوت بین f ( n ) و تقریب آن و سپس تقسیم بر جمله بعدی در بسط، به یک عبارت دقیق تر در مورد f ( n ) می رسیم :

$\lim _{n\to \infty }{\frac {f(n)-a_{1}\varphi _{1}(n)}{\varphi _{2}(n)}}=a_ {2}.$

در اینجا می توان گفت که تفاوت بین تابع و تقریب آن تقریباً به صورت 2 φ 2 ( n ) افزایش می یابد. ایده این است که تقسیم تابع با توابع نرمال سازی مناسب، و نگاه کردن به رفتار محدود کننده نتیجه، می تواند چیزهای زیادی در مورد رفتار محدود کننده خود تابع اصلی به ما بگوید.

به طور غیررسمی، چیزی در امتداد این خطوط زمانی اتفاق می‌افتد که مجموع، S n ، متغیرهای تصادفی مستقل با توزیع یکسان، X 1 ، ...، Xn ، در نظریه احتمال کلاسیک مطالعه شود . [ نیاز به نقل قول ] اگر هر X i دارای میانگین محدودی μ باشد ، طبق قانون اعداد بزرگ،S n/n→ μ . [21] اگر علاوه بر این، هر X i دارای واریانس محدود σ 2 باشد، با قضیه حد مرکزی،

${\frac {S_{n}-n\mu }{\sqrt {n}}}\rightarrow \xi ,$

جایی که ξ به صورت N توزیع می شود (0, σ 2 ) . این مقادیر دو ثابت اول را در بسط غیر رسمی ارائه می دهد

$S_{n}\approx \mu n+\xi {\sqrt {n}}.$

در مواردی که X i میانگین یا واریانس محدودی ندارد، همگرایی مجموع جابجایی و تغییر مقیاس نیز می‌تواند با عوامل مرکز و مقیاس‌بندی مختلف رخ دهد:

${\frac {S_{n}-a_{n}}{b_{n}}}\rightarrow \Xi ,$

یا غیر رسمی

$S_{n}\approx a_{n}+\Xi b_{n}.$

توزیع های Ξ که می توانند از این طریق ایجاد شوند پایدار نامیده می شوند . [22] واضح است که توزیع نرمال پایدار است، اما توزیع های پایدار دیگری نیز وجود دارد، مانند توزیع کوشی ، که میانگین یا واریانس برای آنها تعریف نشده است. ضریب مقیاس بندی b n ممکن است با n c برای هر c ≥ متناسب باشد1/2; همچنین ممکن است در یک تابع آهسته متغیر n ضرب شود . [12] [23]

قانون لگاریتم تکراری مشخص می‌کند که "در بین" قانون اعداد بزرگ و قضیه حد مرکزی چه اتفاقی می‌افتد. به طور خاص می گوید که تابع نرمال کننده √ n log log n ، با اندازه متوسط بین n قانون اعداد بزرگ و √ n قضیه حد مرکزی، یک رفتار محدود کننده غیر پیش پا افتاده ارائه می دهد.

گزاره های جایگزین قضیه [ ویرایش ]

توابع چگالی [ ویرایش ]

چگالی مجموع دو یا چند متغیر مستقل، پیچیدگی چگالی آنهاست (در صورت وجود این چگالی ها). بنابراین، قضیه حد مرکزی را می‌توان به‌عنوان بیانیه‌ای درباره ویژگی‌های توابع چگالی تحت کانولوشن تفسیر کرد: انحراف تعدادی از توابع چگالی به چگالی نرمال گرایش پیدا می‌کند، زیرا تعداد توابع چگالی بدون کران افزایش می‌یابد. این قضایا نیاز به فرضیه های قوی تری نسبت به اشکال قضیه حد مرکزی ارائه شده در بالا دارند. قضایای این نوع را اغلب قضایای حد محلی می نامند. به پتروف [24] برای یک قضیه حد محلی خاص برای مجموع متغیرهای تصادفی مستقل و توزیع شده یکسان مراجعه کنید.

توابع مشخصه [ ویرایش ]

از آنجایی که تابع مشخصه یک کانولوشن حاصل ضرب توابع مشخصه چگالی های درگیر است، قضیه حد مرکزی باز بیان دیگری دارد: حاصلضرب توابع مشخصه تعدادی از توابع چگالی به تابع مشخصه چگالی نرمال نزدیک می شود. با افزایش تعداد توابع چگالی بدون محدودیت، تحت شرایط ذکر شده در بالا. به طور خاص، یک عامل مقیاس بندی مناسب باید برای آرگومان تابع مشخصه اعمال شود.

یک عبارت معادل را می توان در مورد تبدیل های فوریه بیان کرد، زیرا تابع مشخصه اساساً تبدیل فوریه است.

محاسبه واریانس [ ویرایش ]

فرض کنید S n مجموع n متغیر تصادفی باشد. بسیاری از قضایای حد مرکزی شرایطی را فراهم می‌کنند که Sn / √ Var(Sn ) در توزیع به N (0،1) (توزیع نرمال با میانگین 0، واریانس 1) به صورت n → ∞ همگرا شود . در برخی موارد، می توان یک ثابت σ 2 و تابع f(n) را یافت به طوری که S n /(σ √ n⋅f ( n ) ) در توزیع به N (0,1) به صورت n همگرا شود.∞ .

لما [25] فرض کنید $X_{1}، X_{2}،\dots$ دنباله ای از متغیرهای تصادفی با ارزش واقعی و کاملا ثابت است $\mathbb {E} (X_{i})=0$ برای همه $من$ ، $g:[0,1]\to \mathbb {R}$ ، و $S_{n}=\sum _{i=1}^{n}g\left({\tfrac {i}{n}}\right)X_{i}$ . ساختن
$\sigma ^{2}=\mathbb {E} (X_{1}^{2})+2\sum _{i=1}^{\infty }\mathbb {E} (X_{1} X_{1+i})$
اگر $\sum _{i=1}^{\infty }\mathbb {E} (X_{1}X_{1+i})$ کاملاً همگرا است، $\left|\int _{0}^{1}g(x)g'(x)\,dx\right|<\infty$ ، و $0<\int _{0}^{1}(g(x))^{2}dx<\infty$ سپس $\mathrm {Var} (S_{n})/(n\gamma _{n})\to \sigma ^{2}$ مانند $n\ به \infty$ جایی که $\gamma _{n}={\frac {1}{n}}\sum _{i=1}^{n}\left(g\left({\tfrac {i}{n}}\ راست)\راست)^{2}$ .
اگر علاوه بر این $\sigma > 0$ و $S_{n}/{\sqrt {\mathrm {Var} (S_{n})}}$ در توزیع همگرا می شود ${\mathcal {N}}(0,1)$ مانند $n\ به \infty$ سپس $S_{n}/(\sigma {\sqrt {n\gamma _{n}}})$ همچنین در توزیع همگرا می شود ${\mathcal {N}}(0,1)$ مانند $n\ به \infty$ .

برنامه های افزودنی [ ویرایش ]

ضرب های متغیرهای تصادفی مثبت [ ویرایش ]

لگاریتم یک ضرب به سادگی مجموع لگاریتم عوامل است. بنابراین، وقتی لگاریتم حاصلضرب متغیرهای تصادفی که فقط مقادیر مثبت دارند به توزیع نرمال نزدیک می‌شود، خود ضرب به توزیع لگاریتم نرمال نزدیک می‌شود . بسیاری از کمیت های فیزیکی (مخصوصاً جرم یا طول، که در مقیاس هستند و نمی توانند منفی باشند) ضرب عوامل تصادفی مختلف هستند، بنابراین از توزیع لگ نرمال پیروی می کنند. این نسخه ضربی قضیه حد مرکزی گاهی اوقات قانون جبرات نامیده می شود .

در حالی که قضیه حد مرکزی برای مجموع متغیرهای تصادفی به شرط واریانس محدود نیاز دارد، قضیه مربوطه برای ضربهای مستلزم شرط متناظر است که تابع چگالی مربع انتگرال پذیر باشد. [26]

+ نوشته شده در شنبه شانزدهم بهمن ۱۴۰۰ ساعت 16:27 توسط علی رضا نقش نیلچی |

3-تئوری حد مرکزی

لیاپانوف CLT [ ویرایش ]

این قضیه به افتخار ریاضیدان روسی الکساندر لیاپانوف نامگذاری شده است . در این نوع قضیه حد مرکزی متغیرهای تصادفی ${\textstyle X_{i}}$ باید مستقل باشند، اما لزوماً به طور یکسان توزیع نشده باشند. این قضیه همچنین مستلزم آن متغیرهای تصادفی است ${\textstyle \چپ|X_{i}\راست|}$ لحظاتی منظم داشته باشید ${\textstyle (2+\delta )}$ ، و اینکه سرعت رشد این لحظات با شرایط لیاپانوف که در زیر ارائه شده است محدود می شود.

لیاپانوف CLT. [6] فرض کنید ${\textstyle \{X_{1},\ldots ,X_{n}\}}$ دنباله ای از متغیرهای تصادفی مستقل است که هر کدام دارای مقدار مورد انتظار محدود هستند ${\textstyle \mu _{i}}$ و واریانس ${\textstyle \sigma _{i}^{2}}$ . تعريف كردن
$s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}.$
اگر برای برخی ${\textstyle \delta >0}$ ، وضعیت لیاپانوف
$\lim _{n\to \infty }\;{\frac {1}{s_{n}^{2+\delta }}}\,\sum _{i=1}^{n}\ mathbb {E} \left[\left|X_{i}-\mu _{i}\right|^{2+\delta }\right]=0$
راضی است، سپس مجموع از ${\textstyle {\frac {X_{i}-\mu _{i}}{s_{n}}}}$ در توزیع به یک متغیر تصادفی عادی استاندارد همگرا می شود، به عنوان ${\textstyle n}$ تا بی نهایت می رود:
${\frac {1}{s_{n}}}\,\sum _{i=1}^{n}\left(X_{i}-\mu _{i}\right)\ \xrightarrow {d} \ {\mathcal {N}}(0،1).$

در عمل معمولاً آسان‌ترین بررسی وضعیت لیاپانوف است ${\textstyle \delta =1}$ .

اگر دنباله ای از متغیرهای تصادفی شرایط لیاپانوف را برآورده کند، آنگاه شرایط لیندبرگ را نیز برآورده می کند. با این حال، استلزام معکوس صادق نیست.

لیندبرگ CLT [ ویرایش ]

نوشتار اصلی: وضعیت لیندبرگ

در همان تنظیمات و با همان نماد بالا، شرط لیاپانوف را می توان با حالت ضعیف تر زیر (از لیندبرگ در سال 1920) جایگزین کرد.

فرض کنید که برای هر ${\textstyle \varepsilon >0}$

$\lim _{n\to \infty }{\frac {1}{s_{n}^{2}}}\sum _{i=1}^{n}\mathbb {E} \left[ (X_{i}-\mu _{i})^{2}\cdot \mathbf {1} _{\left\{X_{i}:\left|X_{i}-\mu _{i}\ راست|>\varepsilon s_{n}\right\}}\right]=0$

جایی که ${\textstyle \mathbf {1} _{\{\ldots \}}}$ تابع نشانگر است . سپس توزیع مبالغ استاندارد شده

${\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu _{i}\right)$

به سمت توزیع نرمال استاندارد همگرا می شود ${\textstyle {\mathcal {N}}(0,1)}$ .

CLT چند بعدی [ ویرایش ]

اثبات هایی که از توابع مشخصه استفاده می کنند را می توان به مواردی تعمیم داد که هر فردی ${\textstyle \mathbf {X} _{i}}$ یک بردار تصادفی در است ${\textstyle \mathbb {R} ^{k}}$ ، با بردار میانگین ${\textstyle {\boldsymbol {\mu }}=\mathbb {E} [\mathbf {X} _{i}]}$ و ماتریس کوواریانس ${\textstyle \mathbf {\Sigma } }$ (در میان اجزای بردار)، و این بردارهای تصادفی مستقل و به طور یکسان توزیع شده اند. جمع بندی این بردارها به صورت مؤلفه ای انجام می شود. قضیه حد مرکزی چند بعدی بیان می کند که وقتی مقیاس بندی می شود، مجموع به یک توزیع نرمال چند متغیره همگرا می شوند . [7]

اجازه دهید

$\mathbf {X} _{i}={\begin{bmatrix}X_{i(1)}\\\vdots \\X_{i(k)}\end{bmatrix}}$

بردار k باشد . جسور در ${\textstyle \mathbf {X} _{i}}$ به این معنی است که یک بردار تصادفی است، نه یک متغیر تصادفی (تک متغیره). سپس مجموع بردارهای تصادفی خواهد بود

${\begin{bmatrix}X_{1(1)}\\\vdots \\X_{1(k)}\end{bmatrix}}+{\begin{bmatrix}X_{2(1)}\ \\vdots \\X_{2(k)}\end{bmatrix}}+\cdots +{\begin{bmatrix}X_{n(1)}\\\vdots \\X_{n(k)}\end {bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}\left[X_{i(1)}\right]\\\vdots \\\sum _{i=1} ^{n}\left[X_{i(k)}\right]\end{bmatrix}}=\sum _{i=1}^{n}\mathbf {X} _{i}$

و میانگین است

${\frac {1}{n}}\sum _{i=1}^{n}\mathbf {X} _{i}={\frac {1}{n}}{\begin{bmatrix }\sum _{i=1}^{n}X_{i(1)}\\\vdots \\\sum _{i=1}^{n}X_{i(k)}\end{bmatrix} }={\begin{bmatrix}{\bar {X}}_{i(1)}\\\vdots \\{\bar {X}}_{i(k)}\end{bmatrix}}=\ mathbf {{\bar {X}}_{n}}$

و بنابراین

${\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}\left[\mathbf {X} _{i}-\mathbb {E} \left( X_{i}\right)\right]={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}(\mathbf {X} _{i}-{\ boldsymbol {\mu }})={\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\راست)~.$

قضیه حد مرکزی چند متغیره بیان می کند که

${\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\right)\,\xrightarrow {D} \ {\ mathcal {N}}_{k}(0,{\boldsymbol {\Sigma }})$

که در آن ماتریس کوواریانس $\boldsymbol{\Sigma}$ برابر است با

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\operatorname {Var} \left(X_{1(1)}\right)}&\operatorname {Cov} \left(X_{1 (1)},X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(1)},X_{1(3)}\right)&\cdots &\operatorname {Cov } \left(X_{1(1)},X_{1(k)}\right)\\\operatorname {Cov} \left(X_{1(2)},X_{1(1)}\راست) &\operatorname {Var} \left(X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(2)},X_{1(3)}\right)&\cdots & \operatorname {Cov} \left(X_{1(2)},X_{1(k)}\right)\\\operatorname {Cov} \left(X_{1(3)},X_{1(1) }\right)&\operatorname {Cov} \left(X_{1(3)},X_{1(2)}\right)&\operatorname {Var} \left(X_{1(3)}\right) &\cdots &\operatorname {Cov} \left(X_{1(3)},X_{1(k)}\right)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\نام عامل {Cov} \left(X_{1(k)},X_{1(1)}\راست)&\operatorname {Cov} \left(X_{1(k)},X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(k)},X_{1(3)} \right)&\cdots &\operatorname {Var} \left(X_{1(k)}\right)\\\end{bmatrix}}~.$

نرخ همگرایی با نتیجه نوع بری-اسین زیر داده می شود:

قضیه. [8] اجازه دهید $X_{1}،\dots،X_{n}$ مستقل باش $\mathbb {R} ^{d}$ -بردارهای تصادفی با ارزش که هر کدام دارای میانگین صفر هستند. نوشتن $S=\sum _{i=1}^{n}X_{i}$ و فرض کنید $\Sigma =\operatorname {Cov} [S]$ معکوس پذیر است اجازه دهید $Z\sim {\mathcal {N}}(0,\Sigma )$ یک باشد $د$ گاوسی بعدی با میانگین و ماتریس کوواریانس مشابه $اس$ . سپس برای همه مجموعه های محدب $U\subseteq \mathbb {R} ^{d}$ ،
$\left|\mathbb {P} [S\in U]-\mathbb {P} [Z\in U]\right|\leq C\,d^{1/4}\gamma ~,$
جایی که $سی$ یک ثابت جهانی است، $\gamma =\sum _{i=1}^{n}\mathbb {E} \left[\left\|\Sigma ^{-1/2}X_{i}\right\|_{2 }^{3}\right]$ ، و $\|\cdot \|_{2}$ نشان دهنده هنجار اقلیدسی در $\mathbb {R} ^{d}$ .

معلوم نیست که آیا عامل ${\textstyle d^{1/4}}$ لازم است. [9]

+ نوشته شده در شنبه شانزدهم بهمن ۱۴۰۰ ساعت 16:23 توسط علی رضا نقش نیلچی |

2-تئوری حد مرکزی

دنباله های مستقل [ ویرایش ]

توزیعی که با جمع "هموار" می شود ، چگالی اصلی توزیع و سه جمع بعدی را نشان می دهد. برای جزئیات بیشتر به تصویر قضیه حد مرکزی مراجعه کنید.

شکل توزیع جمعیت هر چه باشد، توزیع نمونه به گاوسی تمایل دارد و پراکندگی آن توسط قضیه حد مرکزی به دست می‌آید. [3]

CLT کلاسیک [ ویرایش ]

اجازه دهید ${\textstyle \{X_{1},\ldots ,X_{n}\}}$ یک نمونه تصادفی از اندازه باشد ${\textstyle n}$ - یعنی دنباله ای از متغیرهای تصادفی مستقل و با توزیع یکسان (iid) که از توزیع مقدار مورد انتظار داده شده توسط ${\textstyle \mu }$ و واریانس محدود داده شده توسط ${\textstyle \sigma ^{2}}$ . فرض کنید ما به میانگین نمونه علاقه مند هستیم

${\bar {X}}_{n}\equiv {\frac {X_{1}+\cdots +X_{n}}{n}}$

از این متغیرهای تصادفی طبق قانون اعداد بزرگ ، میانگین‌های نمونه تقریباً به طور قطعی (و بنابراین در احتمال همگرا می‌شوند ) به مقدار مورد انتظار همگرا می‌شوند. ${\textstyle \mu }$ مانند ${\textstyle n\to \infty }$ . قضیه حد مرکزی کلاسیک اندازه و شکل توزیعی نوسانات تصادفی حول عدد قطعی را توصیف می کند. ${\textstyle \mu }$ در طول این همگرایی به طور دقیق تر، بیان می کند که به عنوان ${\textstyle n}$ بزرگتر می شود، توزیع اختلاف بین میانگین نمونه ${\textstyle {\bar {X}}_{n}}$ و حد آن ${\textstyle \mu }$ ، وقتی در ضریب ضرب شود ${\textstyle {\sqrt {n}}}$ ( یعنی ${\textstyle {\sqrt {n}}({\bar {X}}_{n}-\mu )}$ ) توزیع نرمال را با میانگین 0 و واریانستقریب می ${\textstyle \sigma ^{2}}$ . برای n به اندازه کافی بزرگ ، توزیع ${\textstyle {\bar {X}}_{n}}$ با میانگین به توزیع نرمال نزدیک است ${\textstyle \mu }$ و واریانس ${\textstyle \sigma ^{2}/n}$ . سودمندی قضیه این است که توزیع ${\textstyle {\sqrt {n}}({\bar {X}}_{n}-\mu )}$ بدون توجه به شکل توزیع افراد به حالت عادی نزدیک می شود ${\textstyle X_{i}}$ . به طور رسمی، قضیه را می توان به صورت زیر بیان کرد:

لیندبرگ–لوی CLT. فرض کنید ${\textstyle \{X_{1},\ldots ,X_{n}\}}$ دنباله ای از متغیرهای تصادفی iid با ${\textstyle \mathbb {E} [X_{i}]=\mu }$ و ${\textstyle \operatorname {Var} [X_{i}]=\sigma ^{2}<\infty }$ . سپس به عنوان ${\textstyle n}$ به بی نهایت، متغیرهای تصادفی نزدیک می شود ${\textstyle {\sqrt {n}}({\bar {X}}_{n}-\mu )}$ در توزیع به یک نرمال همگرا می شوند ${\textstyle {\mathcal {N}}(0,\sigma ^{2})}$ : [4]
${\sqrt {n}}\left({\bar {X}}_{n}-\mu \right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\ سیگما ^{2}\راست).$

در مورد ${\textstyle \sigma >0}$ ، همگرایی در توزیع به این معنی است که توابع توزیع تجمعی از ${\textstyle {\sqrt {n}}({\bar {X}}_{n}-\mu )}$ همگرای نقطه ای به سی دی اف از ${\textstyle {\mathcal {N}}(0,\sigma ^{2})}$ توزیع: برای هر عدد واقعی ${\textstyle z}$ ،

$\lim _{n\to \infty }\mathbb {P} \left[{\sqrt {n}}({\bar {X}}_{n}-\mu )\leq z\right] =\lim _{n\to \infty }\mathbb {P} \left[{\frac {{\sqrt {n}}({\bar {X}}_{n}-\mu )}{\sigma }}\leq {\frac {z}{\sigma }}\right]=\Phi \left({\frac {z}{\sigma }}\right),$

جایی که ${\textstyle \Phi (z)}$ cdf معمولی استاندارد است که در آن ارزیابی شده است ${\textstyle z}$ . همگرایی در یکنواخت است ${\textstyle z}$ از آن جهت که

$\lim _{n\to \infty }\;\sup _{z\in \mathbb {R} }\;\left|\mathbb {P} \left[{\sqrt {n}}({ \bar {X}}_{n}-\mu )\leq z\right]-\Phi \left({\frac {z}{\sigma }}\right)\right|=0~,$

جایی که ${\textstyle \sup }$ نشان دهنده حداقل کران بالایی (یا supremum ) مجموعه است. [5]

+ نوشته شده در شنبه شانزدهم بهمن ۱۴۰۰ ساعت 16:21 توسط علی رضا نقش نیلچی |

تاو-کندال

Kendall's Tau nn این ضریب است که برای اندازه گیری ارتباط بین استفاده می شود

Kendall's Tau nn این ضریب است که برای اندازه گیری ارتباط بین دو جفت داده رتبه بندی شده استفاده می شود. این نام به نام موریس کندال ، آمارشناس انگلیسی است که آن را در سال 1938 توسعه داده است. 0 تا 1. 0 Tau-a (بدون کراوات) و Tau-b (با کراوات) 87

فرمول Tau-a n 88

ناسازگار و ناسازگار n 89

مثال 1 داده های خام کندال برای 11 دانشجو در 2 آزمون: امتحان

مثال 1 داده های خام کندال برای 11 دانشجو در 2 آزمون: آزمون 1 85 98 90 83 57 63 77 99 80 96 69 آزمون 1 85 95 80 75 70 65 73 93 93 79 88 74 90

رتبه های نتایج آزمون 1 x 1 2 3 4 5 6 7

رتبه های نتایج آزمون 1 x 1 2 3 4 5 6 7 8 9 10 11 آزمون 2 ycd 2 1 3 5 4 7 6 9 8 11 10 9 9 8 8 6 6 4 4 2 2 0 C = 50 1 0 1 0 1 91 = D = 5

محاسبه برای ṫ n 92

مراحل محاسبه ṫ 1. مرتب سازی داده ها x به ترتیب صعودی ، رتبه های جفت y

مراحل محاسبه ṫ 1. مرتب سازی داده ها x به ترتیب صعودی ، جفت y با x 2. مرتبه را برای هر y بشمارید 3. جمع C و D 3. جمع C و D 4. برای محاسبه 93 formula از فرمول استفاده کنید

فرمول tau-b (با کراوات) n 94

مثال 2 داده های مصرف شراب و مرگ شراب کندال در کشور xi

مثال 2 Kendall's tau-b شراب مصرف و بیماری های قلبی داده های مرگ من کشور xi yi cd 1 2 2 4 5 6 7 ایرلند ایسلند نروژ فنلاند USU K سوئد 0. 7 0. 8 1. 2 1. 3 1. 6 300 211 227 297 199 285 207 0 3 2 0 5 0 3 18 11 13 15 9 13 9 8 9 10 11 12 13 14 15 هلند N. Z کانادا استرالیا آلمان بلژیک دانمارک اتریش 1. 8 1. 9 2. 4 2. 5 2. 7 2. 9 3. 9 167 266 191 211 172 131 220 167 5 0 2 1 1 2 0 0 5 10 7 7 6 4 5 4 16 17 18 19 سوئیس اسپانیا ایتالیا فرانسه 5. 8 6. 5 7. 9 9. 1 115 86 107 71 0 0 C = 25 3 1 1 0 D = 141 95

محاسبه tau-b n 96

آزمون فرضیه برای τ n 97

نتایج آزمون فرضیه n 98

نتایج آزمون فرضیه n 99

https://slidetodoc.com/nonparametric-statistical-methods-presented-by-guo-cheng-ning/

+ نوشته شده در یکشنبه سوم مرداد ۱۴۰۰ ساعت 21:4 توسط علی رضا نقش نیلچی |

تقریب نرمال کندال-تاو

برخلاف rho Spearman ، اندازه گیری معمولاً پذیرفته شده ای از خطای استاندارد برای tau کندال وجود دارد ، یعنی

این فرض را می گیرد که فرضیه صفر و مستقل بودن x و y.

خواص

ویژگی 1 : برای n به اندازه کافی بزرگ (به طور کلی n ≥ 10) ، آمار زیر دارای توزیع استاندارد استاندارد است (با این فرض که x و y با هم همبستگی ندارند):

مشاهده : ما می توانیم از ویژگی 1 برای آزمایش این فرضیه صفر که x و y ضریب همبستگی (جمعیت) صفر دارند استفاده کنیم.

مثال ها

مثال 1 : مثال 1 آزمایش فرضیه تاو کندال را با استفاده از تقریب طبیعی ویژگی 1 تکرار کنید.

تجزیه و تحلیل در شکل 1 نشان داده شده است.

شکل 1 - آزمون فرضیه با استفاده از تقریب طبیعی

از آنجا که p-value = .006 <.05 = α (آزمون دو دم) ، فرضیه صفر رد می شود (سیگار کشیدن و طول عمر مستقل هستند). بنابراین ، نتیجه می گیریم که بین مصرف سیگار و طول عمر رابطه منفی وجود دارد.

همچنین می توانیم 95٪ فاصله اطمینان برای tau را به صورت زیر تعیین کنیم:

τ ± z crit ∙ s τ = -524 ± (1.96) (. 192) = (-.901 ، -.147)

توابع کاربرگ

عملکرد واقعی آمار : تابع آرایه زیر در بسته منبع واقعی آمار ارائه شده است:

KCORREL (R1 ، R2 ، آزمایشگاه ، دم ، آلفا ، کراوات ): یک محدوده ستون 7 × 1 را شامل حاوی کندال برای نمونه های R1 و R2 ، خطای استاندارد ، z-stat ، z-crit ، p-value و پایین تر برمی گرداند و حد بالایی فاصله اطمینان 1 - آلفا در صورت آزمایش = FALSE (پیش فرض). اگر آزمایشگاه = TRUE باشد ، خروجی یک محدوده 7 × 2 است که شامل ستونی از برچسب ها نیز می باشد. دم = # از دم: 1 یا 2 (به طور پیش فرض). آلفا = سطح معنی داری (05/0 پیش فرض). اگر کراوات = TRUE (پیش فرض) است پس از آن یک اصلاح گره استفاده می شود.

با مراجعه به سلولهای شکل 1 ، خروجی فرمول صفحه آرایه = KCORREL (A4: A: 18، B4: B18، TRUE ،،، FALSE) در سمت چپ شکل 2 نمایش داده می شود. به همین ترتیب ، خروجی از فرمول KCORREL (A4: A: 18، B4: B18، TRUE، 1،، FALSE) در سمت راست همان شکل نمایش داده می شود.

شکل 2 - خروجی از عملکرد KCORREL

منابع

eGyanKosh (2017) واحد 2: انواع دیگر همبستگی
http://egyankosh.ac.in/bitstream/123456789/20956/1/Unit-2.pdf

ویکی پدیا (2015) ضریب همبستگی رتبه کندال https://fa.wikipedia.org/wiki/ ضریب
همبستگی_کرانکل_کدل

4 تفکر در مورد "تقریب عادی کندلو"

دیو شاو
28 دسامبر 2020 در ساعت 9:30 بعد از ظهر
به نظر می رسد مقدار کمتری از فاصله 95٪ در شرایط خاص محاسبه نمی شود. آیا من این ارزش ها را به درستی درک می کنم؟
ضرایب همبستگی
پیرسون -0.039222537
اسپیرمن -0.153554464
کندال -0.080921444
ضریب کندال (آزمون)
آلفا 0.05
دم 2
tau -0.080921444
se 0.008061344
z -10.03820701
z-crit 1.959963985
p-value 0
پایین 0 باید -0.09672
فوقانی -0.065121499 باشد
ممنون ،
دیو
پاسخ
- چارلز
  3 ژانویه 2021 ساعت 11:59 بعد از ظهر
  سلام دیو ،
  بله ، شما درست می گویید. این نرم افزار ناخواسته هر کران پایینی کمتر از 0 را برای KCORREL یا SCORREL تغییر می دهد. من قصد دارم این را در نسخه بعدی رفع اشکال اصلاح کنم. بسیار ممنونم که این خطا را مشاهده کردید.
  چارلز
  پاسخ
هاپلیت
26 ژوئن 2015 ، ساعت 10:43 صبح
چارلز ،
با عرض پوزش ، دوباره من هستم - س askingالات زیادی می پرسم!
با توجه به فاصله اطمینان 95٪ که در اینجا محاسبه می شود ، من کمی از آن متحیرم. همانطور که من آن را درک می کنم ، H0 تاو 0 است (بدون همبستگی). آیا مرزهای بالا و پایین CI 95٪ برای این فرضیه صفر نیستند؟ در این حالت کمتر از 0-1.96 * 0.192 = -0.377 و بالاتر = + 0.377 خواهد بود. آمار تاو محاسبه شده -0.524 است که در واقع خارج از 95٪ CI است و از نظر آماری معنادار است ، همان چیزی است که شما از مقادیر p محاسبه کرده اید. متوجه می شوم که در صفحه اکسل در محاسبه فرم طولانی این روش و همچنین در تابع kcorrel محاسبه می شود.
اگر درک من در اینجا درست نباشد ، CI 95٪ در اینجا محاسبه می شود؟
پاسخ
- چارلز
  29 ژوئن 2015 ، ساعت 8:18 صبح
  فاصله اطمینان بر اساس مقدار مشاهده شده است ، tau در این مورد. بنابراین فاصله تاو ... مقداری است. اگر 0 در این فاصله نباشد ، ما فرضیه صفر را رد می کنیم.
  در محاسبه فاصله اطمینان در صفحه وب ارجاع شده اشتباه تایپی وجود دارد. باید بخواند
  τ ± zcrit ∙ se = -524 ± (1.96) (. 192) = (-.901 ، -.147).
  این مسئله در حال حاضر اصلاح شده است.
  چارلز

+ نوشته شده در یکشنبه سوم مرداد ۱۴۰۰ ساعت 20:20 توسط علی رضا نقش نیلچی |

تست فرضیه کندو تاو

جدول ارزشهای بحرانی

برای نمونه های کوچک ، می توان از جدول مقادیر بحرانی موجود در جدول Tau کندال برای آزمایش فرضیه استفاده کرد (جایی که فرضیه صفر دو دم H 0 است : τ = 0). برای آزمایش یک دم از مقدار α موجود در جدول ضرب در 2 استفاده کنید.

عملکرد کاربرگ

مقادیر عناصر موجود در این جدول را می توان با استفاده از تابع زیر یافت.

عملکرد واقعی آمار : عملکرد زیر در بسته منبع واقعی آمار ارائه شده است:

TauCRIT ( n ، α ، tails ، h ) = مقدار حیاتی جدول Tend Kendall برای نمونه های اندازه n ، برای مقدار داده شده آلفا (05/0 پیش فرض) و دمها 1 یا 2 (پیش فرض). اگر h = TRUE (پیش فرض) از درون یابی هارمونیکی استفاده شود. در غیر این صورت از درون یابی خطی استفاده می شود.

مثال ها

مثال 1 : تجزیه و تحلیل را برای مثال 1 آزمون همبستگی از طریق آزمون t با استفاده از tau Kendall تکرار کنید (برای تعیین اینکه آیا بین طول عمر و استعمال سیگار همبستگی وجود دارد) جایی که دو مورد آخر تغییر داده شده است همانطور که در محدوده A3 نشان داده شده است: B18 شکل 1 (ما این کار را برای از بین بردن هرگونه ارتباط انجام دادیم).

شکل 1 - آزمون فرضیه برای طعم کندال

ما با مرتب سازی داده ها در دامنه A3: B18 به ترتیب صعودی بر اساس امید به زندگی و قرار دادن نتایج در دامنه D4: E18 شروع می کنیم. این کار را می توان با استفاده از قابلیت مرتب سازی اکسل ( داده> مرتب سازی و فیلتر | مرتب سازی ) یا با استفاده از فرمول آرایه کاربرگ آمار واقعی = QSORTRows (A4: B18،1) انجام داد.

از آنجا که n = 15 نفر در نمونه وجود دارد ، C (15 ، 2) = 105 جفت عنصر وجود دارد. ما بعد محاسبه می کنیم که برای هر یک از جفت ها مقدار وارونگی D داریم. به عنوان مثال ، ما به تعداد وارونگی های مربوط به شخص در ردیف 8 (یعنی F8) نگاه می کنیم.

از آنجا که تعداد سیگارهای سیگاری شده توسط آن شخص 14 عدد است (مقدار سلول E8) ، ما ورودی های موجود در ستون E زیر E8 را می شماریم که مقدار آنها کمتر از 14 است. این 5 عدد است زیرا فقط ورودی های سلول های E10 ، E14 ، E15 است ، E16 و E18 مقادیر کمتری دارند. ما محاسبه مشابهی را برای هر یک از سطرها انجام می دهیم و نتیجه را جمع می کنیم تا 80 بدست آوریم (مقدار سلول F19).

این محاسبه با قرار دادن فرمول = COUNTIF (E5: 19 دلار ، "<" & E4) در سلول F4 انجام می شود ( برای توصیف COUNTIF به توابع اکسل داخلی مراجعه کنید). ما بعد دامنه F4: F18 را برجسته می کنیم و Ctrl-D را فشار می دهیم تا این فرمول را در تمام سلولهای مربوطه در ستون F کپی کنیم. سلول F8 اکنون شامل فرمول آرایه = COUNTIF (E9: E 19 $ ، "<" & E8). این رویکرد تا زمانی که سلول E19 خالی بماند کار می کند.

اکنون می توانیم آمار کلیدی (ستون I) را همانطور که در شکل 1 شرح داده شده است محاسبه کنیم ، جایی که ستون K فرمولهایی را که در سلولهای ستون 1 یافت می شوند نمایش می دهد. می بینیم که tau -524- (سلول I10) است.

از آنجا که τ crit = .395 <.524 = | τ | ما فرضیه صفر را رد می کنیم و نتیجه می گیریم که ضریب همبستگی tau از صفر تفاوت معناداری دارد. بنابراین ، سیگار کشیدن و طول عمر با هم ارتباط دارند.

منابع

eGyanKosh (2017) واحد 2: انواع دیگر همبستگی
http://egyankosh.ac.in/bitstream/123456789/20956/1/Unit-2.pdf

ویکی پدیا (2015) ضریب همبستگی رتبه کندال https://fa.wikipedia.org/wiki/ ضریب
همبستگی_کرانکل_کدل

13 فکر در مورد "آزمون فرضیه تاو کندال"

جان
21 نوامبر 2018 در ساعت 2:32 بعد از ظهر
توضیح عالی ، بسیار مفید کاملاً برای من کار کرد.
روی قسمت COUNTIF می نویسید "این روش تا زمانی که سلول E19 خالی بماند یا شامل یک خالی یا 0 باشد" کار می کند. با این حال ، "0" بر نتایج (حداقل در صفحه گسترده من) تأثیر می گذارد. خالی است یا فضایی خوب عمل می کند
پاسخ
- چارلز
  نوامبر 22، 2018 در 7:55 بعد از ظهر
  جان ،
  بله ، شما درست می گویید. E19 نباید دارای صفر باشد. من این را در صفحه وب اصلاح کردم.
  بسیار ممنونم که این اشتباه را متوجه شدید و به بهبود وب سایت کمک کردید.
  چارلز
  پاسخ
آندرس Meza-Escallón
21 جولای 2018 ساعت 12:46 صبح
سلام چارلز.
من در حال کار با دو متغیر ترتیبی هستم که مقادیر به صورت اعداد در یک بازه از 1 تا 5 کدگذاری می شوند. من روشی را که در اینجا توضیح دادید امتحان کردم [Tau = (CD) / C (n، 2)] برای محاسبه Tend Kendall برای یک مجموعه داده با n = 14 و مقداری که من می گیرم (0.69) با مقداری که توسط عملکرد شما KCORREL (0.34) محاسبه شده فاصله دارد. آیا اصول اساسی وجود دارد که من در اینجا از دست رفته باشم؟
درک من این است که Tau کندال به ویژه با پرت کردن بسیار مفید است ، که این مورد من نیست زیرا مقادیر کاملاً نزدیک هستند ، اما من نمی فهمم که چرا چنین اختلاف زیادی بین این دو روش وجود دارد ("دستی" محاسبه گام به گام هر اصطلاح فرمول در مقابل استفاده از تابع KCORREL).
هر ایده؟ پیشاپیش از راهنماییتان و وب سایت نجات دهنده شما سپاسگزارم.
با احترام،
آندرس
پاسخ
- چارلز
  21 جولای 2018 ساعت 8:46 صبح
  آندرس ،
  خوشحالم که وب سایت آمار واقعی را مفید می دانید.
  اگر برای شما یک فایل اکسل همراه با داده های خود و محاسبه ای که انجام داده اید برای من بفرستید ، سعی می کنم ببینم که چرا بین این دو مقدار چنین تفاوتی وجود دارد.
  چارلز
  پاسخ
فرانچسکو
16 اکتبر 2017 ، ساعت 3:49 بعد از ظهر
سلام ،
من نیاز به تجزیه و تحلیل تست اهمیت برای kendal tau-b دارم. سوالات به طور عمده دو:
1) آیا کندال تاو به عنوان یک نرمال با میانگین توزیع $ 0 $ و با واریانس
3 SQRT [/ (2 (2N + 5) ((N) ^ 2N)) برای N به اندازه کافی بزرگ (N > 10)؟
2) آیا توزیع Kendal tau-b با توزیع Kendall Tau برابر است؟
که در آن N اندازه نمونه است.
خیلی ممنون. فرانچسکو
پاسخ
- چارلز
  16 اکتبر 2017 ، ساعت 9:01 بعد از ظهر
  سلام به فرانچسکو ،
  1. به http://www.real-statistics.com/correlation/kendalls-tau-correlation/kendalls-tau-normal-approximation/ مراجعه کنید
  . اصلاح پیوندها اعمال می شود
  چارلز
  پاسخ
ماها سید
24 سپتامبر 2017 ، ساعت 6:30 بعد از ظهر
سلام چارلز،
من نرم افزار SPSS استفاده کرده اند برای محاسبه من کندال تاو b و نتایج به دست آمده:
همبستگی
رهبری مدیریتی
رهبری tau_b ضریب همبستگی کندال 1.000 0.367 *
SIG. (2 دم). .048
N 16 16
ضریب همبستگی مدیریتی .367 * 1.000
Sig. (2 دم) .048.
N 16 16
* همبستگی در سطح 0.05 معنادار است (2 دم).
چه موقع اگر از جدول مقدار بحرانی عبور کنم متوجه می شوم که مقدار حیاتی 383/0 است ،
بنابراین ما نمی توانیم فرضیه صفر را رد کنیم.
لطفاً مرا راهنمایی کنید که چگونه باید نتایج خود را گزارش دهم
پاسخ
- چارلز
  24 سپتامبر 2017 ، ساعت 6:39 بعد از ظهر
  ماها ،
  نحوه گزارش نتایج خود به مخاطبان بستگی دارد. به عنوان مثال APA دستورالعمل های خاصی دارد که در صورت ارائه مقاله برای یک مجله روانشناسی باید از آنها پیروی کنید ، اگرچه فکر نمی کنم آنها رهنمودهایی را برای طنز کندال منتشر کرده باشند. در هر صورت ، بهترین کار در این مورد این است که سعی کنید دستورالعمل های مربوط به تست های مشابه را دنبال کنید.
  معمولاً باید فرضیه ای را که آزمایش می کنید ، آزمایشی که استفاده می کنید ، آمار توصیفی کلیدی را بیان کنید (به عنوان مثال اندازه (های) نمونه ؛ اگر آزمایش معنی است ، میانگین (های) نمونه و انحراف (های) استاندارد را بیان کنید ؛ اگر همبستگی های آزمایشی را آزمایش کنید ، سپس همبستگی های نمونه و غیره) ، مقدار p (و اینکه آیا قابل توجه است یا نه) و در صورت امکان فاصله اطمینان و اندازه اثر را بیان کنید.
  چارلز
  پاسخ
علامت
22 اکتبر 2015 ، ساعت 2:59 بامداد
سلام ، با
تشکر از شما برای این نمایشگاه قابل دسترس کندال تاو. من آماری نیستم ، اما مشکلی دارم که به اعتقاد من این تحلیل صحیح برای پیگیری است ، با یک پیچ و تاب: من می خواهم این فرضیه را آزمایش کنم که این دو سری (که روابط زیادی دارند) کاملاً با هم ارتباط دارند (H0 : tau = 1). اگر این یک سوال ابتدایی است مرا ببخشید ، اما چگونه می توانم این آزمون را با استفاده از مقادیر حیاتی کندال تاو تدوین کنم.
با تشکر از شما برای وقت خود ،
مارک
پاسخ
- چارلز
  22 اکتبر 2015 ، ساعت 9:05 صبح
  سلام مارک ،
  شما برای تحقق این امر از تغییر شکل فیشر همبستگی معمول پیرسون استفاده می کنید.
  من مطمئن نیستم که شما چگونه این کار را با استفاده از طعمه کندال انجام می دهید ، اما معتقدم مقاله زیر نشان می دهد که چگونه تاو کندال را به روشی مشابه تغییر شکل دهید ، و بنابراین این ممکن است مفید باشد. لطفا به من اطلاع دهید که آیا این مفید بود؟
  http://www.cedu.niu.edu/~walker/personal/Walker٪20Kendall٪ 20Tau.pdf
  چارلز
  پاسخ
  - علامت
    اکتبر 22 ، 2015 در 2:50 بعد از ظهر
    ممنون ، چارلز ، برای توصیه شما. من مقاله ای را که پیوند داده اید می خوانم و همچنین تحول فیشر را بررسی می کنم.
    بهترین،
  - https://www.real-statistics.com/correlation/kendalls-tau-correlation/kendalls-tau-hypothesis-testing/

+ نوشته شده در یکشنبه سوم مرداد ۱۴۰۰ ساعت 19:57 توسط علی رضا نقش نیلچی |

همبستگی خودکار

همبستگی خودکار به میزان همبستگی بین مقادیر متغیرهای مشابه در مشاهدات مختلف داده ها اشاره دارد. مفهوم همبستگی اغلب در زمینه داده های سری زمانی که مشاهدات در نقاط مختلف زمانی اتفاق می افتد (به عنوان مثال دمای هوا در روزهای مختلف ماه اندازه گیری می شود) بحث می شود. به عنوان مثال ، انتظار می رود دمای هوا در روز اول ماه شباهت بیشتری به دمای روز 2 نسبت به روز 31 داشته باشد. اگر مقادیر دمایی که از نظر زمانی به هم نزدیکترند ، در واقع شباهت بیشتری نسبت به مقادیر دمایی دارند که از فاصله زمانی بیشتری فاصله دارند ، داده ها با هم همبسته می شوند.

درخواست مشاوره کنید

با این حال ، همبستگی خودكار همچنین می تواند در داده های مقطعی هنگامی رخ دهد كه مشاهدات به روشی دیگر مرتبط باشند. به عنوان مثال ، در یک نظرسنجی ، ممکن است انتظار داشته باشد افراد از مکان های جغرافیایی مجاور پاسخ های مشابه تری نسبت به افرادی که از نظر جغرافیایی فاصله بیشتری دارند ، به یکدیگر ارائه دهند. به طور مشابه ، دانش آموزان از یک کلاس ممکن است عملکرد مشابه تری نسبت به دانش آموزان از کلاس های مختلف با یکدیگر داشته باشند. بنابراین ، اگر مشاهدات از جنبه های دیگری غیر از زمان وابسته باشند ، همبستگی می تواند رخ دهد. همبستگی خودکار می تواند در تجزیه و تحلیل های معمولی (مانند رگرسیون حداقل مربعات معمولی) مشکلاتی ایجاد کند که استقلال مشاهدات را فرض می کند.

در تجزیه و تحلیل رگرسیون ، همبستگی خودکار باقیمانده های رگرسیون نیز می تواند در صورت مشخص نشدن اشتباه مدل رخ دهد. به عنوان مثال ، اگر می خواهید یک رابطه ساده خطی را مدل کنید اما رابطه مشاهده شده غیر خطی است (یعنی از یک عملکرد منحنی یا U شکل پیروی می کند) ، پس مانده ها با هم همبسته می شوند.

نحوه تشخیص همبستگی خودکار

یک روش معمول آزمایش برای همبستگی ، آزمون دوربین-واتسون است. نرم افزار آماری مانند SPSS می تواند گزینه اجرای آزمون دوربین-واتسون هنگام انجام تحلیل رگرسیون را داشته باشد. آزمونهای Durbin-Watson آماری از آزمون را ارائه می دهد كه از 0 تا 4 است. مقادیر نزدیك به 2 (وسط محدوده) همبستگی كمتری را نشان می دهد و مقادیر نزدیك به 0 یا 4 به ترتیب همبستگی مثبت یا منفی بیشتری را نشان می دهند.

صفحات وب اضافی مرتبط با همبستگی خودکار

https://www.statisticssolutions.com/dissertation-resources/autocorrelation/

+ نوشته شده در یکشنبه سوم مرداد ۱۴۰۰ ساعت 19:18 توسط علی رضا نقش نیلچی |

همبستگی (پیرسون ، کندال ، اسپیرمن)

فهرست تجزیه و تحلیل آماری همبستگی (پیرسون ، کندال ، اسپیرمن)

همبستگی (پیرسون ، کندال ، اسپیرمن)

همبستگی یک تحلیل دو متغیره است که قدرت ارتباط بین دو متغیر و جهت رابطه را اندازه گیری می کند. از نظر قدرت رابطه ، مقدار ضریب همبستگی بین 1+ و -1 تغییر می کند. مقدار 1 ± نشان دهنده درجه كامل ارتباط بین دو متغیر است. هرچه مقدار ضریب همبستگی به سمت 0 می رود ، رابطه بین دو متغیر ضعیف تر خواهد بود. جهت رابطه با علامت ضریب نشان داده می شود. علامت + نشان دهنده یک رابطه مثبت و علامت - یک رابطه منفی است. معمولاً در آمار ، چهار نوع همبستگی را اندازه گیری می کنیم: همبستگی پیرسون، همبستگی رتبه کندال ، همبستگی اسپیرمن و همبستگی نقطه ای-دوقلویی. نرم افزار زیر به شما امکان می دهد خیلی راحت یک همبستگی را انجام دهید.

R همبستگی پیرسون: پیرسون r و همبستگی آماری همبستگی به طور گسترده استفاده برای اندازه گیری درجه از رابطه بین متغیرهای خطی مربوط است. برای مثال، در بازار سهام، اگر ما می خواهیم برای اندازه گیری چگونه دو سهم مربوط به هر یک از دیگر، پیرسون r و همبستگی برای اندازه گیری میزان ارتباط بین دو استفاده شده است. همبستگی نقطه به نقطه با فرمول همبستگی پیرسون انجام می شود با این تفاوت که یکی از متغیرها دوگانه است. از فرمول زیر استفاده می شود برای محاسبه پیرسون r و همبستگی:

r xy = ضریب همبستگی پیرسون r بین x و y
n = تعداد مشاهدات
x i = مقدار x (برای هر مشاهده)
y i = مقدار y (برای هر مشاهده)

انواع سوالات تحقیق که یک همبستگی پیرسون می تواند بررسی کند:

آیا از نظر آماری بین سن ، اندازه گیری شده در سال و قد ، اندازه گیری شده در اینچ رابطه معنی داری وجود دارد؟

آیا بین دمای اندازه گیری شده بر حسب درجه فارنهایت و فروش بستنی رابطه ای وجود دارد که بر اساس درآمد اندازه گیری می شود؟

آیا رابطه ای بین رضایت شغلی ، اندازه گیری شده توسط JSS و درآمد ، اندازه گیری شده بر حسب دلار وجود دارد؟

فرضیات

برای همبستگی پیرسون r ، هر دو متغیر باید به طور معمول توزیع شوند (متغیرهای توزیع شده به طور معمول دارای یک منحنی زنگوله ای هستند). فرضیات دیگر شامل خطی بودن و همدلی بودن است. خطی بودن فرض می کند که یک رابطه مستقیم بین هر یک از دو متغیر وجود دارد و هموسدیستی بودن فرض می کند که داده ها به طور مساوی در مورد خط رگرسیون توزیع شده اند.

همبستگی پیرسون را انجام دهید و آن را تفسیر کنید

شرایط کلیدی

اندازه اثر: از استاندارد کوهن برای ارزیابی ضریب همبستگی برای تعیین قدرت رابطه یا اندازه اثر ممکن است استفاده شود. ضرایب همبستگی بین .10 و .29 نشان دهنده یک ارتباط کوچک ، ضرایب بین 0.30 و .49 نمایانگر یک ارتباط متوسط است و ضرایب 0.50 به بالا یک ارتباط یا رابطه بزرگ را نشان می دهد.

داده های مداوم: داده هایی که فاصله یا سطح نسبت دارند. این نوع داده دارای خصوصیات اندازه و فواصل برابر بین واحدهای مجاور است. فواصل برابر بین واحدهای مجاور به معنای وجود مقادیر مساوی از متغیر اندازه گیری شده بین واحدهای مجاور در مقیاس است. یک مثال می تواند سن باشد. افزایش سن از 21 به 22 همان افزایش سن از 60 به 61 سال خواهد بود.

همبستگی رتبه کندال : همبستگی رتبه کندال یک آزمون غیر پارامتری است که قدرت وابستگی بین دو متغیر را اندازه گیری می کند. اگر دو نمونه a و b را در نظر بگیریم که اندازه نمونه n باشد ، می دانیم که تعداد کل جفت شدن های ab n ( n -1) / 2 است . برای محاسبه مقدار همبستگی رتبه کندال از فرمول زیر استفاده شده است:

همبستگی رتبه کندال

Nc = تعداد
ناسازگار Nd = تعداد ناسازگار

همبستگی کندال را انجام دهید و آن را تفسیر کنید

شرایط کلیدی

سازگار: به همین ترتیب سفارش داده شده است.

ناسازگار: متفاوت سفارش داده شده است.

همبستگی رتبه Spearman : همبستگی رتبه Spearman یک آزمون غیر پارامتری است که برای اندازه گیری میزان ارتباط بین دو متغیر استفاده می شود. آزمون همبستگی رتبه Spearman هیچ فرضی در مورد توزیع داده ها ندارد و هنگامی که متغیرها در مقیاس حداقل ترتیبی اندازه گیری می شوند ، تحلیل همبستگی مناسب است.

برای محاسبه همبستگی رتبه Spearman از فرمول زیر استفاده شده است:

همبستگی رتبه اسپیرمن

ρ = همبستگی رتبه Spearman
di = اختلاف بین صفات متغیرهای مربوطه
n = تعداد مشاهدات

انواع سوالات تحقیقاتی که همبستگی اسپیرمن می تواند بررسی کند:

آیا از نظر آماری بین سطح تحصیلات شرکت کنندگان (دبیرستان ، لیسانس یا تحصیلات تکمیلی) و حقوق اولیه آنها رابطه معناداری وجود دارد؟

آیا از نظر آماری بین موقعیت اتمام اسب و نژاد رابطه معنی داری وجود دارد؟

فرضیات

مفروضات همبستگی اسپیرمن این است که داده ها باید حداقل ترتیبی باشند و امتیازات یک متغیر باید به صورت یکنواخت با متغیر دیگر مرتبط باشد.

همبستگی Spearman را انجام دهید و آن را تفسیر کنید

شرایط کلیدی

داده های عادی: در یک مقیاس ترتیبی ، سطوح یک متغیر به گونه ای مرتب می شوند که بتوان یک سطح را از سطح دیگر بالاتر / پایین تر در نظر گرفت. با این حال ، لزوماً اختلاف اختلاف بین سطوح مشخص نیست. به عنوان مثال می توان به درجه بندی سطح تحصیلات اشاره کرد. مدرک تحصیلات تکمیلی بالاتر از لیسانس است و لیسانس بالاتر از دیپلم دبیرستان. با این حال ، ما نمی توانیم میزان تحصیلات تکمیلی بالاتر را با مقطع کارشناسی مقایسه کنیم. همچنین نمی توانیم بگوییم که تفاوت تحصیلات در مقطع تحصیلات تکمیلی و کارشناسی همان تفاوت بین مدرک لیسانس و دیپلم دبیرستان است.

منابع همبستگی:

Algina، J.، & Keselman، HJ (1999). مقایسه ضرایب همبستگی چندگانه مجذور: بررسی یک فاصله اطمینان و اهمیت آزمون. روشهای روانشناختی ، 4 (1) ، 76-83.

Bobko ، P. (2001). همبستگی و رگرسیون: کاربردهایی برای روانشناسی و مدیریت سازمانی صنعتی (ویرایش دوم). هزار اوکس ، کالیفرنیا: انتشارات سیج. چشم انداز

بونت ، DG (2008). برآورد فاصله متاآنالیز برای همبستگی های متغیر روشهای روانشناختی ، 13 (3) ، 173-181.

چن ، PY و پوپویچ ، PM (2002). همبستگی: معیارهای پارامتری و غیرپارامتری . هزار اوکس ، کالیفرنیا: انتشارات سیج. چشم انداز

Cheung، MW -L.، & Chan، W. (2004). آزمایش ضرایب همبستگی وابسته از طریق مدل سازی معادلات ساختاری . روشهای تحقیق سازمانی ، 7 (2) ، 206-223.

Coffman، DL، Maydeu-Olivares، A.، Arnau، J. (2008). تخمین فاصله آزاد توزیع مجانبی: برای ضریب همبستگی درون کلاس با کاربردها در داده های طولی. روش شناسی ، 4 (1) ، 4-9.

کوهن ، ج. ، کوهن ، پی. ، وست ، SG ، و آیکن ، LS (2003). تحلیل رگرسیون / همبستگی چندگانه برای علوم رفتاری . (ویرایش سوم). مهوا ، نیوجرسی: همکاران لارنس ارلباوم. چشم انداز

Hatch، JP، Hearne، EM، & Clark، GM (1982). روشی برای آزمون همبستگی سریال در تجزیه و تحلیل واریانس اندازه گیری های تکراری متغیر. روش تحقیق و ابزار دقیق رفتار ، 14 (5) ، 497-498.

کندال ، ام جی و گیبونز ، جی دی (1990). روشهای همبستگی رتبه (ویرایش پنجم). لندن: ادوارد آرنولد. چشم انداز

Krijnen ، WP (2004). بارهای مثبت و ضرایب همبستگی از ماتریس های کوواریانس مثبت روان سنجی ، 69 (4) ، 655-660.

شیعه ، جی. (2006). برآورد دقیق زمان ، محاسبه توان و تعیین اندازه نمونه در تحلیل همبستگی نرمال. روان سنجی ، 71 (3) ، 529-540.

Stauffer ، JM ، و Mendoza ، JL (2001). توالی مناسب برای اصلاح ضرایب همبستگی برای محدودیت دامنه و عدم اطمینان. روان سنجی ، 66 (1) ، 63-68.

صفحات مرتبط:

https://www.statisticssolutions.com/free-resources/directory-of-statistical-analyses/correlation-pearson-kendall-spearman/

+ نوشته شده در یکشنبه سوم مرداد ۱۴۰۰ ساعت 19:4 توسط علی رضا نقش نیلچی |

علم 16 ژوئن 2021 ، 00:01 محاسبه سریع: دانشمندان اوج رشد تعداد آلوده به COVID-19 را پیش بینی کردند

علم

16 ژوئن 2021 ، 00:01

محاسبه سریع: دانشمندان اوج رشد تعداد آلوده به COVID-19 را پیش بینی کردند

آیا ظهور سویه های جدید اصلاحاتی در متن ریاضیدانان سنت پترزبورگ ایجاد می کند

اولگا کلنتسوا

پس از یک هفته پیش در روسیه ، تعداد موارد جدید COVID-19 به شدت در حال رشد بود ، ریاضیدانان پیش بینی پیشرفت بیشتر همه گیری را اعلام کردند. طبق محاسبات آنها ، حداکثر تعداد موارد جدید - حداکثر 25 هزار مورد در روز - می تواند در پایان ماه ژوئن ثبت شود. طبق پیش بینی ، تعداد بیماران فعال در اواسط تیر ماه 580 هزار نفر خواهد بود که حتی از اوج ژانویه نیز بیشتر است. طبق برخی از کارشناسان مصاحبه شده توسط ایزوستیا ، این سناریو بسیار بدبینانه است. با این حال ، دیگران استثنا نمی دهند که به دلیل گسترش فشار هند و نادیده گرفتن اقدامات امنیتی ، واقعیت بدتر از این نیز بدل شود.

برخیز ، چرخش کن: چگونه اوضاع COVID-19 در روسیه توسعه می یابد

ممکن است به دلیل سویه های جدید میزان بروز افزایش یافته باشد ، اما با افزایش تعداد واکسینه شده کاهش می یابد

بار اوج

از 5 ژوئن 2021 ، تعداد موارد جدید عفونت ویروس کرونا به طور پیوسته افزایش یافته است . پیش از این ، برای حدود دو ماه ، شاخص به طور متوسط در روز 7-8 هزار بود. در روز سه شنبه 15 ژوئن ، تعداد موارد جدید 14185 مورد بود.

ریاضیدانان روسی از دانشگاه ایالتی سن پترزبورگ پیش بینی خود را برای بروز داده های جدید در مدل به روز کرده اند . مدل دانشمندان مبتنی بر رویکرد به اصطلاح تکراری است. داده های مورد استفاده برای پیش بینی برای چهار تا پنج هفته در زمان واقعی به روز می شود. بنابراین ، روند شیوع بیماری در طی آخرین دوره تجزیه و تحلیل ، محاسبه دقیق پیش بینی توسعه آن در آینده نزدیک را امکان پذیر می کند.

عکس: ایزوستیا / دیمیتری کوروتایف

"این حداکثر تعداد موارد جدید موج فعلی این بیماری همه گیر را می توان در پایان ماه ژوئن ثبت شده - حدود 25 هزار ،" ویکتور زاخاروف، رئیس گروه مدل سازی ریاضی سیستم های انرژی دانشگاه ایالتی سن پترزبورگ، رئیس مرکز لجستیک فکری دانشگاه ایالتی سن پترزبورگ ، به ایزوستیا گفت. - در این حالت ، اوج اپیدمی در اواسط ماه جولای خواهد بود. علاوه بر این ، تعداد بیماران فعال 580 هزار نفر خواهد بود که حتی بیشتر از اوج ژانویه است. بگذارید یادآوری کنم که در ماه ژانویه حداکثر تعداد موارد فعال حدود 560 هزار مورد بود. با این حال ، تعداد موارد جدید در ژانویه بیشتر بود - حدود 29 هزار مورد.

در مورد توزیع بیماری در سراسر کشور ، مناطق مانند گذشته کمی عقب تر از مسکو هستند.

پس از اوج ، میزان بروز کاهش می یابد . طبق پیش بینی دانشگاه ایالتی سن پترزبورگ ، تا اواسط ماه ژوئیه تعداد موارد جدید در روز ممکن است به 20 هزار نفر برسد. سطح همه گیری تقریباً در همان منحنی که رشد وجود داشت کاهش می یابد ، فقط در جهت مخالف ، از محاسبات ریاضیدانان سن پترزبورگ نتیجه می گیرد. پیش بینی می شود تعداد موارد جدید در روز تا اول آگوست نیمی از اوج باشد.

عکس: ایزوستیا / دیمیتری کوروتایف

در مورد احتمال قله چهارم ، ویکتور زاخاروف خاطرنشان کرد که تنها با افزایش شدید تعداد واکسیناسیون می توان از آن جلوگیری کرد. این کارشناس معتقد است که اگر این اتفاق نیفتد ، موج چهارم و پنجم وجود دارد.

داغ خواهد شد

گرما بدهید: چه نوع آب و هوایی از ویروس کرونا نجات می یابد

آیا تابستان بارانی می تواند باعث افزایش بیماری شود

کارشناسان مصاحبه شده توسط ایزوستیا در پیش بینی ارائه شده توسط متخصصان دانشگاه ایالتی سن پترزبورگ اختلاف نظر داشتند. برخی از آنها معتقدند که سناریوی توصیف شده بیش از حد بدبینانه است.

یک محقق برجسته در آزمایشگاه زیست شناسی مولکولی در دانشگاه دولتی مسکو به یاد می آورد: "اقدامات مختلفی علیه افزایش بیماری ، حداقل در مسکو در حال انجام است." M.V. لومونوسف رومن زینووکین. - اگر این اقدامات جواب داد ، پس نباید به چنین ارقام وحشتناکی برسیم . این رشد به احتمال زیاد به دلیل ورود انواع جدید ویروس کرونا ، به عنوان مثال هندی است. قبل از بروز علائم در بدن انسان باقی می ماند و همچنین بسیار مسری است. حتی افراد واکسینه شده به اندازه SARS-Cov-2 اصلی در برابر سویه های جدید محافظت نمی شوند. بنابراین ، تعداد بیماری های مجدد افزایش می یابد.

این کارشناس خاطرنشان کرد ، با این حال ، بسیاری از روس ها از اقدامات ضد لغو غافل می شوند . وی معتقد است که این می تواند دلیل وخامت کنونی وضعیت نیز باشد.

عکس: ایزوستیا / سرگئی کنکوف

- کاملاً ممکن است ارتفاع قله از نظر تعداد موارد جدید حتی بیشتر از محاسبه شده توسط همکاران از St. M.V. لومونوسف میخائیل تام. - شاید حتی سه برابر بیشتر از افراد کنونی در روز آلوده شوند. من در محاسبات آنها کمی متعجب شدم که زمان اوج تعداد موارد جدید اواخر ماه ژوئن است. به نظر من در پایان این ماه حداکثر باید در پایتخت باشد ، اما در روسیه اینگونه نیست.

میخائیل تام به اهمیت تهدیدات ناشی از سویه هند اشاره کرد. در جاهایی که ظاهر می شود ، تعداد موارد سر به فلک می کشد. بنابراین ، موارد زیادی به نحوه انتشار این نوع SARS-Cov-2 بستگی دارد.

بازگشت به زندگی: واکسیناسیون باعث تسریع در ایمنی گله می شود

Rospotrebnadzor به اهمیت واکسیناسیون برای افراد مسن توجه می کند

آرتور کریموف ، محقق ارشد موسسه تحقیقات جوانان ETU LETI ، احتمال دستیابی به مقدار نشان داده شده توسط ریاضیدانان سن پترزبورگ را رد نکرد ، اما گفت که رقم 20 هزار عفونت جدید در روز تا پایان ماه ژوئن بیشتر به نظر می رسد واقع بینانه .

- این متخصص توضیح داد - اوج می تواند به دلیل افزایش تحرک در تعطیلات ، عفونت مجدد افرادی که در موج اول بهبود یافته اند ، گسترش سویه های جدید ، به نزدیکی پاییز منتقل شود. - باز هم ، اگر ما فقط در مورد موارد ثبت شده صحبت می کنیم ، این ضعف نشان دهنده پویایی واقعی همه گیری است. در موارد خفیف ، امروزه افراد به پزشک مراجعه نمی کنند و آزمایش نمی کنند ، در عین حال ناقل و توزیع کننده ویروس هستند. به نظر من حجم افراد آلوده ، از جمله موارد ثبت نشده ، مدتها پیش به 25 هزار نفر در روز رسیده است.

طبق اطلاعات رسمی ، حداکثر تعداد موارد در ژوئن سال گذشته از 12 هزار نفر فراتر نرفته است و اکنون از 14 هزار مورد عبور کرده است.

منبع

https://iz.ru/1178646/olga-kolentcova/rezvyi-raschet-uchenye-sprognozirovali-pik-rosta-chisla-zarazhennykh-covid-19

+ نوشته شده در یکشنبه سی ام خرداد ۱۴۰۰ ساعت 5:58 توسط علی رضا نقش نیلچی |

ادامه حداقل مربعات معمولی

حساسیت به گرد کردن [ ویرایش ]

مقاله اصلی: مدلهای خطاهای موجود در متغیرها

همچنین نگاه کنید به: مدل خطای اندازه گیری

این مثال همچنین نشان می دهد که ضرایب تعیین شده توسط این محاسبات به نحوه تهیه داده حساس هستند. در ابتدا ارتفاعات به نزدیکترین اینچ گرد شده و تبدیل شده و به نزدیکترین سانتی متر گرد می شوند. از آنجا که عامل تبدیل یک اینچ به 2.54 سانتی متر است این است نه یک تبدیل دقیق. اینچ های اصلی را می توان با استفاده از Round (x / 0.0254 x) بازیابی کرد و سپس بدون گرد کردن دوباره به متریک تبدیل کرد. اگر این کار انجام شود:

	ساخت	قد	قد 2
با گرد کردن به متریک تبدیل شد.	128.8128	143.162	61.96033
بدون گرد کردن به متریک تبدیل شد.	119.0205	1.131.5076	58.5046

باقیمانده برای یک درجه دوم مناسب برای تبدیل داده های صحیح و نادرست.

با استفاده از هر یک از این معادلات برای پیش بینی وزن یک زن 5 '6 "(1.6764 متر) مقادیر مشابهی به دست می آید: 62.94 کیلوگرم با گرد کردن در مقابل 62.98 کیلوگرم بدون گرد کردن. بنابراین یک تغییر ظاهراً کوچک در داده ها تأثیر واقعی بر ضرایب دارد اما تأثیر کمی بر نتایج معادله دارد.

اگرچه این ممکن است در وسط دامنه داده بی ضرر به نظر برسد ، اما در افراط یا در مواردی که از مدل نصب شده برای بیرون از محدوده داده استفاده می شود ( برون یابی ) قابل توجه خواهد بود.

این یک خطای رایج را برجسته می کند: این مثال سو abuse استفاده از OLS است که ذاتاً مستلزم صفر یا حداقل قابل اغماض بودن خطاهای متغیر مستقل است. گرد کردن اولیه به نزدیکترین اینچ به علاوه خطاهای اندازه گیری واقعی یک خطای محدود و غیر قابل اغماض را تشکیل می دهد. در نتیجه ، پارامترهای نصب شده بهترین برآوردهایی که فرض می شود نیستند. اگرچه کاملاً جعلی نیست ، خطای تخمین به اندازه نسبی خطاهای x و y بستگی دارد .

مثال دیگر با داده های واقعی کمتر [ ویرایش ]

بیان مسئله [ ویرایش ]

ما می توانیم از مکانیسم حداقل مربع برای کشف معادله یک مدار دو بدن در مختصات پایه قطبی استفاده کنیم. معادله ای که به طور معمول استفاده می شود ، می باشد ${\ displaystyle r (\ theta) = {\ frac {p} {1-e \ cos (\ theta)}}}$ جایی که $r (\ تتا)$ شعاع فاصله جسم با یکی از اجسام است. در معادله پارامترها

$پ$ و $ه$ برای تعیین مسیر مدار استفاده می شود. ما داده های زیر را اندازه گیری کرده ایم.

$\ تتا$ (در درجه)	43	45	52	93	108	116
$r (\ تتا)$	4.7126	4.5542	4.0419	2.2187	1.8910	1.7599

ما باید تقریب حداقل مربعات را پیدا کنیم $ه$ و $پ$ برای داده های داده شده

راه حل [ ویرایش ]

ابتدا باید e و p را به صورت خطی نشان دهیم. بنابراین ما می خواهیم معادله را دوباره بنویسیم $r (\ تتا)$ مانند ${\ displaystyle {\ frac {1} {r (\ theta)}} = {\ frac {1} {p}} - {\ frac {e} {p}} \ cos (\ theta)}$ . اکنون می توانیم از این فرم برای نمایش داده های مشاهده ای خود استفاده کنیم: ${\ displaystyle A ^ {T} A {\ binom {x} {y}} = A ^ {T} b}$ جایی که $ایکس$ است ${\ frac {1} {p}}$ و $y$ است ${\ displaystyle {\ frac {e} {p}}}$ و $آ$ توسط ستون اول ضریب ساخته می شود

${\ frac {1} {p}}$ و ستون دوم ضریب ${\ displaystyle {\ frac {e} {p}}}$ و $ب$ مقادیر مربوطه است ${\ displaystyle {\ frac {1} {r (\ theta)}}}$ بنابراین

${\ displaystyle A = {\ start {bmatrix} 1 & -0.731354 \\ 1 & -0.707107 \\ 1 & -0.615661 \\ 1 & \ 0.052336 \\ 1 & 0.309017 \\ 1 & 0.438371 \ end {bmatrix}}}$ و

${\ displaystyle b = {\ start {bmatrix} 0.21220 \\ 0.21958 \\ 0.24741 \\ 0.45071 \\ 0.52883 \\ 0.56820 \ end {bmatrix}}.}$

${\ displaystyle {\ binom {x} {y}} = {\ binom {0.43478} {0.30435}}}$

بنابراین ${\ displaystyle p = {\ frac {1} {x}} = 2.3000}$ و ${\ displaystyle e = p \ cdot y = 0.70001}$

همچنین به [ ویرایش ] مراجعه کنید

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 11:48 توسط علی رضا نقش نیلچی |

ادامه ادامه حداقل مربعات معمولی

با فرض نرمال بودن [ ویرایش ]

خصوصیاتی که تاکنون ذکر شده اند ، صرف نظر از توزیع اساسی اصطلاحات خطا ، معتبر هستند. با این حال، اگر شما مایل به فرض کنیم که می فرض نرمال نگه می دارد (این است که، که ε ~ N (0، σ 2 من N ) )، سپس خصوصیات اضافی از OLS تخمین زننده می توان گفت.

برآوردگر $\ scriptstyle {\ hat {\ beta}}$ به طور معمول توزیع می شود ، با میانگین و واریانس همانطور که قبلا داده شد: [23] ${\ displaystyle {\ hat {\ beta}} \ \ sim \ {\ mathcal {N}} {\ big (} \ beta، \ \ sigma ^ {2} (X ^ {\ mathrm {T}} X) ^ {-1} {\ بزرگ)}}$

که در آن Q است ماتریس کوفاکتور . این برآوردگر به مدل کرامر-رائو می رسد و بنابراین در کلاس همه برآوردگرهای بی طرف بهینه است. [15] توجه داشته باشید که برخلاف قضیه گاوس - مارکوف ، این نتیجه در بین برآوردگرهای خطی و غیر خطی بهینه سازی می کند ، اما فقط در مورد اصطلاحات خطای توزیع شده معمول.

برآوردگر بازدید کنندگان 2 متناسب خواهد بود به توزیع کیدو : [24]

$s ^ {2} \ \ sim \ {\ frac {\ sigma ^ {2}} {np}} \ cdot \ chi _ {np} ^ {2}$

واریانس این برآوردگر برابر است با 2 σ 4 / ( N - P ) ، که رسیدن به نه کرامر-رائو محدود از 2 σ 4 / N . با این حال نشان داده شد که هیچ برآوردگرهای بی طرفانه از وجود دارد σ 2 با واریانس کوچکتر از از برآوردگر بازدید کنندگان 2 . [25] اگر ما می خواهیم برآوردگرهای مغرضانه را مجاز بدانیم و طبقه برآوردگرهایی را كه متناسب با مجموع باقیمانده های مربع (SSR) مدل هستند در نظر بگیریم ، بهترین (به معنای خطای مربع میانگین ) برآوردگر در این کلاس می شود ~σ 2 = SSR / ( n - p + 2) ، که حتی در صورت وجود فقط یک رگرسور Cramér – Rao را می بندد ( p = 1 ). [26]

علاوه بر این ، برآوردگرها $\ scriptstyle {\ hat {\ beta}}$ و s 2 مستقل هستند ، [27] این واقعیت که در ساخت تستهای t و F برای رگرسیون مفید واقع می شود.

مشاهدات تأثیرگذار [ ویرایش ]

مقاله اصلی: مشاهده تأثیرگذار

همچنین نگاه کنید به: اهرم نیرو (آمار)

همانطور که قبلا ذکر شد ، برآوردگر ${\ کلاه {\ بتا}}$ در y خطی است ، به این معنی که ترکیبی خطی از متغیرهای وابسته y i را نشان می دهد . وزن های این ترکیب خطی توابع رگرسیون X هستند و به طور کلی نابرابر هستند. مشاهدات با وزن زیاد را تأثیرگذار می نامند زیرا تأثیر بارزتری بر ارزش برآوردگر دارند.

برای تجزیه و تحلیل اینکه مشاهدات تأثیرگذار هستند ، ما یک مشاهده خاص j را حذف می کنیم و در نظر می گیریم که مقادیر برآورد شده چه مقدار تغییر می کند (به طور مشابه روش jackknife ). می توان نشان داد که تغییر در برآوردگر OLS برای β برابر خواهد بود با [28]

${\ displaystyle {\ hat {\ beta}} ^ {(j)} - {\ hat {\ beta}} = - {\ frac {1} {1-h_ {j}}} (X ^ {\ mathrm { T}} X) ^ {- 1} x_ {j} ^ {\ mathrm {T}} {\ hat {\ varepsilon}} _ {j} \ ،،}$

که در آن ساعت J = X J T ( X T X ) -1 X J است J عنصر مورب هفتم از ماتریس کلاه P و X J بردار رگرسورها مربوط به است J مشاهده هفتم. به طور مشابه ، تغییر در مقدار پیش بینی شده برای مشاهده j -th ناشی از حذف این مشاهده از مجموعه داده برابر خواهد بود با [28]

${\ displaystyle {\ hat {y}} _ {j} ^ {(j)} - {\ hat {y}} _ {j} = x_ {j} ^ {\ mathrm {T}} {\ hat {\ بتا}} ^ {(j)} - x_ {j} ^ {T} {\ hat {\ beta}} = - {\ frac {h_ {j}} {1-h_ {j}}} \ ، {\ کلاه {\ varepsilon}} _ {j}}$

از خواص ماتریس کلاه ، 0 ≤ h j ≤ 1 ، و آنها جمع می شوند تا p ، به طوری که به طور متوسط h j ≈ p / n . این کمیت ها ساعت J هستند به نام اهرم ، و مشاهدات با بالا ساعت J به نام نقطه اهرم . [29] معمولاً مشاهدات با اهرم بالا باید با دقت بیشتری مورد بررسی قرار گیرند ، درصورت اشتباه بودن یا دور بودن یا به طریقی غیرمعمول از بقیه مجموعه داده ها.

رگرسیون تقسیم شده [ ویرایش ]

گاهی اوقات متغیرها و پارامترهای مربوطه در رگرسیون را می توان به طور منطقی به دو گروه تقسیم کرد ، تا رگرسیون شکل بگیرد

$y = X_ {1} \ beta _ {1} + X_ {2} \ beta _ {2} + \ varepsilon ،$

که در آن X 1 و X 2 دارای ابعاد N × ص 1 ، N × ص 2 ، و β 1 ، β 2 هستند ص 1 × 1 و P 2 × 1 بردار، با ص 1 + P 2 = P .

قضیه افدبلیوال بیان می کند که در این رگرسیون باقیمانده ${\ کلاه {\ varepsilon}}$ و تخمین $\ scriptstyle {\ hat {\ beta}} _ {2}$ از نظر عددی با مانده و تخمین OLS برای β 2 در رگرسیون زیر یکسان خواهد بود : [30] $M_ {1} y = M_ {1} X_ {2} \ beta _ {2} + \ eta \ ،،$

که در آن M 1 است ماتریس نابود برای رگرسورها X 1 .

از قضیه می توان برای ایجاد تعدادی از نتایج نظری استفاده کرد. به عنوان مثال ، داشتن یک رگرسیون با یک ثابت و یک رگرسور دیگر معادل کم کردن میانگین از متغیر وابسته و رگرسیون و سپس اجرای رگرسیون برای متغیرهای معنی دار است اما بدون مدت ثابت.

برآورد محدود [ ویرایش ]

مقاله اصلی: رگرسیون ریج

فرض کنید معلوم است که ضرایب در رگرسیون یک سیستم معادلات خطی را برآورده می کند

${\ displaystyle A \ colon \ quad Q ^ {T} \ beta = c، \،}$

که در آن Q یک ماتریس p × q با درجه کامل است ، و c یک بردار q × 1 از ثابت های شناخته شده است ، که در آن q . در این مورد حداقل برآورد مربع معادل حداقل رساندن مجموع باقیمانده مربع از موضوع مدل به محدودیت است . حداقل مربعات محدود (CLS) برآوردگر را می توان با یک فرمول واضح داده شود: [31]

${\ displaystyle {\ hat {\ beta}} ^ {c} = {\ hat {\ beta}} - (X ^ {T} X) ^ {- 1} Q {\ Big (} Q ^ {T} ( X ^ {T} X) ^ {- 1} Q {\ Big)} ^ {- 1} (Q ^ {T} {\ hat {\ beta}} - c).}$

این عبارت برای برآوردگر محدود تا زمانی معتبر است که ماتریس X T X وارون باشد. از ابتدای این مقاله فرض بر این بود که این ماتریس از درجه کامل برخوردار است ، و اشاره شد که وقتی شرط رتبه خراب شود ، β قابل شناسایی نیست. با این حال ممکن است اتفاق بیفتد که افزودن محدودیت A باعث شناسایی β شود ، در این صورت شخص می خواهد فرمول برآوردگر را پیدا کند. برآورد کننده برابر است با [32]

${\ hat {\ beta}} ^ {c} = R (R ^ {T} X ^ {T} XR) ^ {- 1} R ^ {T} X ^ {T} y + {\ Big (} I_ { p} -R (R ^ {T} X ^ {T} XR) ^ {- 1} R ^ {T} X ^ {T} X {\ بزرگ)} Q (Q ^ {T} Q) ^ {- 1} c ،$

که در آن R یک ماتریس p × ( p - q ) است به طوری که ماتریس [ QR ] غیر مفرد است و R T Q = 0 . چنین ماتریسی را همیشه می توان یافت ، اگرچه به طور کلی منحصر به فرد نیست. مصادف فرمول دوم با برای اولین بار در مورد زمانی که X T X معکوس است. [32]

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 11:25 توسط علی رضا نقش نیلچی |

ادامه حداقل مربعات معمولی

مدل رگرسیون خطی ساده [ ویرایش ]

مقاله اصلی: رگرسیون خطی ساده

اگر ماتریس داده X فقط شامل دو متغیر باشد ، یک رگرسور ثابت و یک مقیاس x i ، آن را "مدل رگرسیون ساده" می نامند. [12] این مورد اغلب در کلاسهای آمار مبتدی مورد توجه قرار می گیرد ، زیرا فرمول های بسیار ساده تری حتی برای محاسبه دستی نیز مناسب است. پارامترها معمولاً به صورت ( α ، β ) نشان داده می شوند :

$y_ {i} = \ alpha + \ beta x_ {i} + \ varepsilon _ {i}.$

حداقل برآورد مربعات در این مورد با فرمول های ساده داده می شود

${\ displaystyle {\ start {تراز شده} {\ کلاه {\ بتا}} & = {\ frac {\ sum {x_ {i} y_ {i}} - {\ frac {1} {n}} \ sum {x_ {i}} \ sum {y_ {i}}} {\ sum {x_ {i} ^ {2}} - {\ frac {1} {n}} (\ sum {x_ {i}}) ^ {2 }}} = {\ frac {\ operatorname {Cov} [x، y]} {\ operatorname {Var} [x]}} \\ {\ hat {\ alpha}} & = {\ overline {y}} - {\ hat {\ beta}} \، {\ overline {x}} \، \ end {تراز شده}}}$

که در آن Var (.) و Cov (.) پارامترهای نمونه هستند.

مشتقات جایگزین [ ویرایش ]

در بخش قبلی برآورد حداقل مربعات ${\ کلاه {\ بتا}}$ به عنوان مقداری بدست آمد که مجموع باقیمانده های مربع مدل را به حداقل می رساند. با این وجود استخراج برآوردگر یکسان از رویکردهای دیگر نیز امکان پذیر است. در همه موارد فرمول برآوردگر OLS به همان صورت باقی می ماند: ^ β = ( X T X ) −1 X T y ؛ تنها تفاوت در نحوه تفسیر این نتیجه است.

فرافکنی [ ویرایش ]

تخمین OLS را می توان به عنوان یک پیش بینی بر روی فضای خطی که توسط رگرسورها کنترل می شود ، مشاهده کرد. (در اینجا هر یک از $X_ {1}$ و $X_ {2}$ به ستونی از ماتریس داده اشاره دارد.)

ممکن است لازم باشد این قسمت تمیز شود. از حداقل مربعات خطی (ریاضیات) ادغام شده است .

برای ریاضی دانان، OLS یک راه حل تقریبی به یک سیستم تغیین از معادلات است Xβ ≈ Y ، که در آن β ناشناخته است. با فرض اینکه سیستم دقیقاً قابل حل نباشد (تعداد معادلات n بسیار بیشتر از تعداد ناشناخته های p است ) ، ما به دنبال راه حلی هستیم که بتواند کمترین اختلاف بین دو طرف راست و چپ را فراهم کند. به عبارت دیگر ، ما به دنبال راه حل رضایت بخش هستیم

${\ hat {\ beta}} = {\ rm {arg}} \ min _ {\ beta} \، \ lVert yX \ beta \ rVert،$

کجا || · || هنجار استاندارد L 2 در فضای اقلیدسی n- بعدی R n است . مقدار پیش بینی شده Xβ فقط یک ترکیب خطی خاص از بردارهای بازدارنده است. بنابراین ، بردار باقیمانده y - Xβ کمترین طول را خواهد داشت وقتی y به صورت متعامد بر روی فضای فضای خطی قرار دارد که توسط ستون های X پوشانده شده است . برآوردگر ${\ کلاه {\ بتا}}$ در این مورد می تواند به عنوان ضرایب تفسیر تجزیه بردار از ^ Y = کوکنار در امتداد اساس X .

به عبارت دیگر ، حداقل معادلات شیب را می توان به صورت زیر نوشت:

$(\ mathbf {y} -X {\ hat {\ boldsymbol {\ beta}}}) ^ {\ rm {T}} X = 0.$

یک تفسیر هندسی از این معادلات این است که بردار باقیمانده ها ، $\ mathbf {y} -X {\ hat {\ boldsymbol {\ beta}}}$ متعامد به است فضای ستون از X ، از محصول از نقطه $(\ mathbf {y} -X {\ hat {\ boldsymbol {\ beta}}}) \ cdot X \ mathbf {v}$ برابر است با صفر برای هر بردار انطباق ، v . این بدان معنی است که $\ mathbf {y} -X {\ boldsymbol {\ hat {\ beta}}}$ کوتاهترین بردارهای ممکن است $\ mathbf {y} -X {\ boldsymbol {\ beta}}$ ، یعنی واریانس باقیمانده حداقل ممکن است. این در سمت راست نشان داده شده است.

معرفی ${\ hat {\ boldsymbol {\ gamma}}}$ و یک ماتریس K با این فرض که یک ماتریس $[X \ K]$ غیر مفرد است و K T X = 0 ( رجوع کنید به پیش بینی های متعامد ) ، بردار باقی مانده باید معادله زیر را برآورده کند:

${\ hat {\ mathbf {r}}} \ triangleq \ mathbf {y} -X {\ hat {\ boldsymbol {\ beta}}} = K {\ hat {\ boldsymbol {\ gamma}}}.$

بنابراین معادله و حل حداقل مربعات خطی به شرح زیر شرح داده شده است:

$\ mathbf {y} = {\ start {bmatrix} X&K \ end {bmatrix}} {\ begin {pmatrix} {\ hat {\ boldsymbol {\ beta}}} \\ {\ hat {\ boldsymbol {\ gamma}} } \ end {pmatrix}} ،$

${\ start {pmatrix} {\ hat {\ boldsymbol {\ beta}}} \\ {\ hat {\ boldsymbol {\ gamma}}} \ end {pmatrix}} = {\ start {bmatrix} X&K \ end {bmatrix }} ^ {- 1} \ mathbf {y} = {\ start {bmatrix} (X ^ {\ rm {T}} X) ^ {- 1} X ^ {\ rm {T}} \\ (K ^ {\ rm {T}} K) ^ {- 1} K ^ {\ rm {T}} \ end {bmatrix}} \ mathbf {y}.$

روش دیگر بررسی این است که خط رگرسیون را میانگین وزنی خطوط عبوری از ترکیب هر دو نقطه در مجموعه داده در نظر بگیریم. [13] اگرچه این روش محاسبه گران از نظر محاسباتی گران است ، اما شهود بهتری در OLS فراهم می کند.

حداکثر احتمال [ ویرایش ]

برآوردگر OLS با فرض نرمال بودن اصطلاحات خطا با برآوردگر حداکثر احتمال (MLE) یکسان است . [14] [اثبات] این فرض عادی از اهمیت تاریخی برخوردار است ، زیرا اساس کار اولیه در تحلیل رگرسیون خطی توسط یول و پیرسون را فراهم کرد. [ نیاز به منبع ] از خواص MLE ، می توان نتیجه گرفت که برآوردگر OLS به صورت مجانبی کارآمد است (به معنای دستیابی به کرامر-رائو که برای واریانس محدود است ) اگر فرض نرمال بودن را برآورده کند. [15]

روش تعمیم یافته لحظه ها [ ویرایش ]

در IID مورد ارزیاب OLS همچنین می توانید به عنوان یک مشاهده می شود GMM برآوردگر ناشی از شرایط حال حاضر

$\ mathrm {E} {\ big [} \، x_ {i} (y_ {i} -x_ {i} ^ {T} \ beta) \، {\ big]} = 0.$

این شرایط لحظه ای بیان می کند که رگرسورها نباید با خطاها ارتباطی نداشته باشند. از آنجا که x i یک بردار p است ، تعداد شرایط گشتاور برابر است با بعد بردار پارامتر β ، بنابراین سیستم دقیقاً مشخص می شود. این حالت به اصطلاح کلاسیک GMM است ، زمانی که برآوردگر به انتخاب ماتریس وزن بستگی ندارد.

توجه داشته باشید که فرض اصلی برازش دقیق E [ ε i | x i ] = 0 مجموعه ای از شرایط لحظه ای به مراتب غنی تر از آنچه در بالا گفته شد را نشان می دهد. به طور خاص ، این فرض به این معنی است که برای هر تابع بردار ƒ ، شرایط لحظه E [ ƒ ( x i ) · ε i ] = 0 برقرار است . با این حال می توان آن را با استفاده از نشان داده شده است قضیه گوس-مارکف که انتخاب بهینه از تابع ƒ است را به ƒ ( x را ) = X ، که منجر به معادله لحظه ارسال شده در بالا.

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 11:13 توسط علی رضا نقش نیلچی |

ادامه حداقل مربعات معمولی

فرمول ماتریس / بردار [ ویرایش ]

یک سیستم بیش از حد تعیین شده را در نظر بگیرید

${\ displaystyle \ sum _ {j = 1} ^ {p} X_ {ij} \ beta _ {j} = y_ {i}، \ (i = 1،2، \ dots، n)،}$

از N معادلات خطی در ص ناشناخته ضرایب ، بتا 1 ، بتا 2 ، ...، β ص ، با N > P . (توجه: برای یک مدل خطی مانند بالا ، همه X حاوی اطلاعات مربوط به نقاط داده نیست. ستون اول با ستونهایی جمع شده است ، ${\ displaystyle X_ {i1} = 1}$ ، فقط ستون های دیگر حاوی داده های واقعی هستند ، بنابراین در اینجا p = تعداد تنظیم کننده ها + 1) این را می توان به صورت ماتریس به صورت زیر نوشت:

${\ displaystyle \ mathrm {X} {\ boldsymbol {\ beta}} = \ mathbf {y} ،}$

جایی که

${\ displaystyle \ mathrm {X} = {\ start {bmatrix} X_ {11} & X_ {12} & \ cdots & X_ {1p} \\ X_ {21} & X_ {22} & \ cdots & X_ {2p} \\\ vdots & \ vdots & \ ddots & \ vdots \\ X_ {n1} & X_ {n2} & \ cdots & X_ {np} \ end {bmatrix}} ، \ qquad {\ boldsymbol {\ beta}} = {\ start {bmatrix } \ beta _ {1} \\\ beta _ {2} \\\ vdots \\\ beta _ {p} \ end {bmatrix}} ، \ qquad \ mathbf {y} = {\ start {bmatrix} y_ { 1} \\ y_ {2} \\\ vdots \\ y_ {n} \ end {bmatrix}}.}$

چنین سیستمی معمولاً راه حل دقیقی ندارد ، بنابراین هدف این است که ضرایب را پیدا کنید ${\ boldsymbol {\ beta}}$ که به معنای حل مسئله کوچک سازی درجه دوم ، معادلات "بهترین" است

${\ hat {\ boldsymbol {\ beta}}} = {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \، min}}} \، S ({\ boldsymbol {\ beta}}) ،$

که در آن تابع هدف S توسط داده می شود

${\ displaystyle S ({\ boldsymbol {\ beta}}) = \ sum _ {i = 1} ^ {n} {\ biggl |} y_ {i} - \ sum _ {j = 1} ^ {p} X_ {ij} \ beta _ {j} {\ biggr |} ^ {2} = {\ bigl \ |} \ mathbf {y} - \ mathrm {X} {\ boldsymbol {\ beta}} {\ bigr \ |} ^ {2}.}$

توجیهی برای انتخاب این معیار در Properties در زیر آورده شده است. این مسئله به حداقل رساندن یک راه حل منحصر به فرد دارد ، به شرطی که ستونهای p ماتریس X به طور خطی مستقل باشند ، با حل معادلات نرمال

${\ displaystyle (\ mathrm {X} ^ {\ mathsf {T}} \ mathrm {X}) {\ hat {\ boldsymbol {\ beta}}} = \ mathrm {X} ^ {\ mathsf {T}} \ mathbf {y} \.}$

ماتریکس ${\ displaystyle \ mathrm {X} ^ {\ mathsf {T}} \ mathbf {y}}$ توسط رگرسیون ها به عنوان ماتریس لحظه برگشت و شناخته می شود. [1] سرانجام ، ${\ hat {\ boldsymbol {\ beta}}}$ بردار ضریب حداقل مربعات است ابرصفحه ، به عنوان بیان شده

${\ displaystyle {\ hat {\ boldsymbol {\ beta}}} = \ left (\ mathrm {X} ^ {\ mathsf {T}} \ mathrm {X} \ right) ^ {- 1} \ mathrm {X} ^ {\ mathsf {T}} \ mathbf {y}.}$

برآورد [ ویرایش ]

فرض کنید b یک مقدار "نامزد" برای بردار پارامتر β است . مقدار y i - x i T b ، که برای مشاهده i -th باقیمانده نامیده می شود ، فاصله عمودی بین نقطه داده ( x i ، y i ) و ابر هواپیما y = x T b را اندازه گیری می کند ، و بنابراین درجه بین داده های واقعی و مدل متناسب است. مجموع باقیمانده مربع ( SSR ) (همچنین به نام مجموع خطا از مربع (ESS ) یا مجموع باقیمانده مربعات ( RSS )) [2] معیاری برای تناسب مدل کلی است:

${\ displaystyle S (b) = \ sum _ {i = 1} ^ {n} (y_ {i} -x_ {i} ^ {\ mathrm {T}} b) ^ {2} = (y-Xb) ^ {\ mathrm {T}} (y-Xb) ،}$

جایی که T نشانگر جابجایی ماتریس است ، و ردیف های X ، نشانگر مقادیر تمام متغیرهای مستقل مرتبط با یک مقدار خاص از متغیر وابسته ، X i = x i T هستند . مقدار b که این جمع را به حداقل می رساند ، برآوردگر OLS برای β نامیده می شود . تابع S ( b ) در b با Hessian مثبت مشخص درجه دوم است و بنابراین این تابع دارای حداقل جهانی منحصر به فرد در $b = {\ کلاه {\ بتا}}$ ، که می تواند با فرمول صریح ارائه شود: [3] [اثبات]

${\ displaystyle {\ hat {\ beta}} = \ operatorname {argmin} _ {b \ in \ mathbb {R} ^ {p}} S (b) = (X ^ {\ mathrm {T}} X) ^ {-1} X ^ {\ mathrm {T}} y \.}$

این محصول N = X T X است ماتریس نرمال و معکوس آن، Q = N -1 ، است ماتریس کوفاکتور از β ، [4] [5] [6] نزدیک به آن مربوط ماتریس کواریانس ، C β . ماتریس ( X T X ) –1 X T = Q X T را شبه معكوس مور-پنروز می نامندماتریس X. این فرمول این نکته را برجسته می کند که برآورد می تواند انجام شود اگر ، و فقط در صورت وجود چندخطی بودن کامل بین متغیرهای توضیحی (که باعث می شود ماتریس نرمال معکوس نداشته باشد) وجود نداشته باشد.

بعد از اینکه β را تخمین زدیم ، مقادیر مناسب (یا مقادیر پیش بینی شده ) حاصل از رگرسیون خواهد بود ${\ hat {y}} = X {\ hat {\ beta}} = Py ،$

که در آن P = X ( X T X ) -1 X T است ماتریس طرح ریزی بر روی فضایی V میرسد توسط ستون ها از X . این ماتریس P را گاهی ماتریس کلاه نیز می نامند زیرا "کلاه را روی متغیر y قرار می دهد" . ماتریس دیگری که از نزدیک با P مرتبط است ، ماتریس نابود کننده M = I n - P است . این یک ماتریس طرح ریزی بر روی فضای متعامد V است . هر دو ماتریس Pو M می متقارن و idempotent (به این معنی که P 2 = P و M 2 = M )، و مربوط به داده های ماتریس X طریق هویت PX = X و MX = 0 . [7] ماتریس M باقیمانده های حاصل از رگرسیون را ایجاد می کند :

${\ displaystyle {\ hat {\ varepsilon}} = y - {\ hat {y}} = yX {\ hat {\ beta}} = My = M (X \ beta + \ varepsilon) = (MX) \ beta + M \ varepsilon = M \ varepsilon.}$

با استفاده از این باقیمانده ها می توانیم مقدار σ 2 را با استفاده از آمار كای مربع كاهش یافته تخمین بزنیم :

${\ displaystyle s ^ {2} = {\ frac {{\ hat {\ varepsilon}} ^ {\ mathrm {T}} {\ hat {\ varepsilon}}} {np}} = {\ frac {(من) ^ {\ mathrm {T}} My} {np}} = {\ frac {y ^ {\ mathrm {T}} M ^ {\ mathrm {T}} My} {np}} = {\ frac {y ^ {\ mathrm {T}} My} {np}} = {\ frac {S ({\ hat {\ beta}})} {np}} ، \ qquad {\ hat {\ sigma}} ^ {2} = {\ frac {np} {n}} \؛ s ^ {2}}$

عدد ، n - p ، درجه های آماری آزادی است . اولین مقدار ، s 2 ، تخمین OLS برای σ 2 است ، در حالی که دومین ،

$\ scriptstyle {\ hat {\ sigma}} ^ {2}$ ، برآورد MLE برای σ 2 است . این دو برآوردگر در نمونه های بزرگ کاملاً شبیه به هم هستند. برآوردگر اول همیشه بی طرف است ، در حالی که برآوردگر دوم مغرضانه است اما میانگین مربعات خطای کوچکتر دارد . در عمل از s 2 بیشتر استفاده می شود ، زیرا برای آزمایش فرضیه راحت تر است. ریشه مربع s 2 را خطای استاندارد رگرسیون ، [8] خطای استاندارد رگرسیون ، [9] [10] یا خطای استاندارد معادله می نامند . [7]

معمولاً ارزیابی خوب بودن تناسب رگرسیون OLS با مقایسه میزان تغییر اولیه در نمونه با بازگشت به X کاهش می یابد . ضریب تعیین R 2 به عنوان یک نسبت "توضیح داد:" واریانس به "کل" واریانس متغیر وابسته تعریف Y ، در موارد که در آن مبلغ رگرسیون از مربع برابر است با مجموع مربعات باقیمانده: [11]

${\ displaystyle R ^ {2} = {\ frac {\ sum ({\ hat {y}} _ {i} - {\ overline {y}}) ^ {2}} {\ sum (y_ {i} -) {\ overline {y}}) ^ {2}}} = {\ frac {y ^ {\ mathrm {T}} P ^ {\ mathrm {T}} LPy} {y ^ {\ mathrm {T}} Ly }} = 1 - {\ frac {y ^ {\ mathrm {T}} My} {y ^ {\ mathrm {T}} Ly}} = 1 - {\ frac {\ rm {RSS}} {\ rm { TSS}}}}$

که در آن TSS است مجموع مربع برای متغیر وابسته، L = من ازت - 11 T / N و 1 یک IS N × 1 بردار از آنهایی. ( L یک "ماتریس مرکز" است که معادل رگرسیون روی یک ثابت است ؛ این به سادگی میانگین را از یک متغیر کم می کند.) برای اینکه R 2 معنی دار باشد ، ماتریس X داده ها در رگرسورها باید شامل یک بردار ستون باشد برای نشان دادن ثابت که ضریب آن رهگیری رگرسیون است. در آن صورت R 2 همیشه عددی بین 0 تا 1 خواهد بود ، مقادیر نزدیک به 1 نشانگر درجه مناسب بودن است.

واریانس پیش بینی متغیر مستقل به عنوان تابعی از متغیر وابسته در مقاله حداقل مربعات چند جمله ای آورده شده است .

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 11:5 توسط علی رضا نقش نیلچی |

حداقل مربعات معمولی

تجزیه و تحلیل رگرسیون
بخشی از یک سریال در

مدل ها
رگرسیون خطی رگرسیون ساده رگرسیون چند جمله ای مدل خطی عمومی
مدل خطی تعمیم یافته انتخاب گسسته رگرسیون دو جمله ای رگرسیون دودویی رگرسیون لجستیک منطق چند جمله ای لوجیت مخلوط پروبیت احتمال چند جمله ای سفارش لوجیت دستور موقت پواسون
مدل چند سطحی جلوه های ثابت جلوه های تصادفی مدل اثرات مختلط خطی مدل اثرات مختلط غیرخطی
رگرسیون غیرخطی غیرپارامتری نیم پارامتری قدرتمند کوانتیل ایزوتونیک م componentsلفه های اصلی زاویه کم محلی تقسیم بندی شده
خطاهای موجود در متغیرها
برآورد کردن
کمترین مربعات خطی غیر خطی
معمولی وزن دار تعمیم یافته
جزئي جمع غیر منفی رگرسیون ریج منظم شده
حداقل انحراف مطلق با تکرار مجدد وزن بیزی چند متغیره بیزی
زمینه
اعتبار سنجی رگرسیون پاسخ متوسط و پیش بینی شده خطاها و باقیمانده ها برازش باقیمانده مورد مطالعه قضیه گاوس – مارکوف
پورتال ریاضیات
v تی ه

در آمار ، حداقل مربعات معمولی ( OLS ) نوعی روش حداقل مربعات خطی برای برآورد پارامترهای ناشناخته در یک مدل رگرسیون خطی است. OLS با استفاده از اصل حداقل مربعات پارامترهای یک تابع خطی از مجموعه ای از متغیرهای توضیحی را انتخاب می کند : به حداقل رساندن مجموع مربعات اختلافات بین متغیر وابسته مشاهده شده (مقادیر متغیر مشاهده شده) در مجموعه داده و پیش بینی شده توسط تابع خطی.

از نظر هندسی ، این به عنوان مجموع فواصل مربع ، موازی با محور متغیر وابسته ، بین هر نقطه داده در مجموعه و نقطه مربوط به سطح رگرسیون دیده می شود - هرچه اختلافات کوچکتر باشد ، مدل بهتر متناسب با داده است . برآوردگر حاصل را می توان با یک فرمول ساده بیان کرد ، خصوصاً در مورد یک رگرسیون خطی ساده ، که در آن یک رگرسور واحد در سمت راست معادله رگرسیون وجود دارد.

OLS است برآوردگر سازگار زمانی که رگرسورها هستند اگزوژن ، و توسط گاوس مارکوف قضیه - بهینه در کلاس از برآوردگرهای بی طرفانه خطی که خطا می homoscedastic و سریال ناهمبسته . در این شرایط ، وقتی خطاها دارای واریانس محدود باشند ، برآورد میانگین بی طرفانه حداقل واریانس را ارائه می دهد . با فرض اضافی که خطاها به طور معمول توزیع می شوند ، OLS برآورد کننده حداکثر احتمال است .

فهرست

مدل خطی [ ویرایش ]

مقاله اصلی: مدل رگرسیون خطی

قانون اوكون در اقتصاد كلان بیان می دارد كه در اقتصاد رشد ناخالص داخلی باید به طور خطی به تغییرات نرخ بیكاری بستگی داشته باشد. در اینجا از روش حداقل مربعات معمولی برای ساخت خط رگرسیون توصیف کننده این قانون استفاده می شود.

فرض کنید داده ها متشکل از n مشاهده باشد { y i ، x i }n
i = 1. هر مشاهده من شامل یک پاسخ اسکالر Y i و یک بردار ستونیXi از مقادیر P پارامترهای (رگرسورها) X IJ برای J = 1، ...، ص . در یک مدل رگرسیون خطی ، متغیر پاسخ ، $y_ {i}$ ، یک تابع خطی از گیرنده ها است:

${\ displaystyle y_ {i} = \ beta _ {1} \ x_ {i1} + \ beta _ {2} \ x_ {i2} + \ cdots + \ beta _ {p} \ x_ {ip} + \ varepsilon _ {من}،}$

یا به صورت برداری ،

${\ displaystyle y_ {i} = \ mathbf {x} _ {i} ^ {\ mathsf {T}} {\ boldsymbol {\ beta}} + \ varepsilon _ {i}، \،}$

که در آنXi بردار از است من هفتم مشاهدات از همه متغیرهای توضیحی؛ ${\ boldsymbol {\ beta}}$ یک بردار p × 1 از پارامترهای ناشناخته است. و اسکالرهای معادلات من نشان متغیرهای مشاهده نشده تصادفی ( خطاهای )، که برای تحت تاثیر بر پاسخ های حساب Y من از منابع دیگر از explanators xi . این مدل را می توان در نت ماتریس نیز نوشت

${\ displaystyle \ mathbf {y} = \ mathrm {X} {\ boldsymbol {\ beta}} + {\ boldsymbol {\ varepsilon}} ، \ ،}$

که در آن Y و ε هستند N × 1 بردار از ارزش های متغیر پاسخ و خطاهای برای مشاهدات مختلف، و X یک IS N × ص ماتریس رگرسورها، همچنین گاهی اوقات به نام ماتریس طراحی ، که ردیف من است Xi T و شامل من هفتم مشاهدات در تمام متغیرهای توضیحی.

به عنوان یک قاعده ، اصطلاح ثابت همیشه در مجموعه رگرسورهای X گنجانده می شود ، مثلاً با گرفتن x i 1 = 1 برای همه i = 1 ، ... ، n . ضریب β 1 متناظر با این رگرسیون را رهگیری می نامند .

رگرسرها لازم نیست مستقل باشند: هر رابطه رگرسیونی می تواند وجود داشته باشد (به شرطی که یک رابطه خطی نباشد). به عنوان مثال ، ممکن است شک کنیم که پاسخ به طور خطی هم به یک مقدار و هم به مربع آن بستگی دارد. در این صورت ما یک رگرسیون را شامل می کنیم که ارزش آن فقط مربع یک رگرسیون دیگر است. در آن صورت، مدل می شود درجه دوم در رگرسور دوم، اما هیچ کدام از حد کمتر هنوز به عنوان یک خطی مدل این دلیل که مدل است هنوز هم خطی در پارامترهای ( β ).

منبع

https://en.wikipedia.org/wiki/Ordinary_least_squares

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 10:46 توسط علی رضا نقش نیلچی |

رگرسیون موضعی یا رگرسیون چند جمله ای موضعی

این مقاله لیستی از منابع را شامل می شود ، اما منابع آن همچنان نامشخص است زیرا استنادات درون ریز کافی ندارد . لطفا با معرفی نقل قول های دقیق تر به بهبود این مقاله کمک کنید . ( ژوئن 2011 ) (با نحوه و زمان حذف این پیام الگو آشنا شوید )

تجزیه و تحلیل رگرسیون
بخشی از یک سریال در

مدل ها
رگرسیون خطی رگرسیون ساده رگرسیون چند جمله ای مدل خطی عمومی
مدل خطی تعمیم یافته انتخاب گسسته رگرسیون دو جمله ای رگرسیون دودویی رگرسیون لجستیک منطق چند جمله ای لوجیت مخلوط پروبیت احتمال چند جمله ای سفارش لوجیت دستور موقت پواسون
مدل چند سطحی جلوه های ثابت جلوه های تصادفی مدل اثرات مختلط خطی مدل اثرات مختلط غیرخطی
رگرسیون غیرخطی غیرپارامتری نیم پارامتری قدرتمند کوانتیل ایزوتونیک م componentsلفه های اصلی زاویه کم محلی تقسیم بندی شده
خطاهای موجود در متغیرها
برآورد کردن
کمترین مربعات خطی غیر خطی
معمولی وزن دار تعمیم یافته
جزئي جمع غیر منفی رگرسیون ریج منظم شده
حداقل انحراف مطلق با تکرار مجدد وزن بیزی چند متغیره بیزی
زمینه
اعتبار سنجی رگرسیون پاسخ متوسط و پیش بینی شده خطاها و باقیمانده ها برازش باقیمانده مورد مطالعه قضیه گاوس – مارکوف
پورتال ریاضیات
v تی ه

منحنی LOESS متناسب با جمعیتی است که از موج سینوسی نمونه برداری شده و نویز یکنواخت اضافه شده است. منحنی LOESS موج سینوسی اصلی را تقریبی می دهد.

رگرسیون موضعی یا رگرسیون چند جمله ای موضعی [1] ، همچنین به عنوان رگرسیون متحرک شناخته می شود ، [2] تعمیم رگرسیون میانگین متحرک و چند جمله ای است . [3] ترین روش های معمول آن، در ابتدا برای توسعه صاف نمودار پراکندگی ، هستند لس ( به صورت محلی برآورد صاف نمودار پراکندگی ) و LOWESS ( به صورت محلی وزن صاف نمودار پراکندگی )، هر دو با تلفظ / L oʊ ɛ بازدید کنندگان / . آنها دو رگرسیون غیر پارامتری کاملاً مرتبط هستندروشهایی که چندین مدل رگرسیون را در یک متا مدل مبتنی بر k- نزدیکترین همسایه ترکیب می کنند. در خارج از اقتصاد سنجی ، LOESS شناخته می شود و معمولاً از آن به عنوان فیلتر Savitzky – Golay [4] [5] یاد می شود (15 سال قبل از LOESS پیشنهاد شده است).

بنابراین LOESS و LOWESS بر اساس روشهای "کلاسیک" مانند رگرسیون حداقل مربعات خطی و غیرخطی بنا می شوند . آنها موقعیت هایی را نشان می دهند که رویه های کلاسیک عملکرد خوبی ندارند یا نمی توانند بدون زایمان بی مورد به طور م effectivelyثر اعمال شوند. LOESS ترکیبی از سادگی رگرسیون حداقل مربعات خطی با انعطاف پذیری رگرسیون غیرخطی است . این کار را با قرار دادن مدل های ساده در زیرمجموعه های محلی شده داده انجام می دهد تا یک تابع ایجاد کند که قسمت تعیین کننده تغییر داده ها را به صورت نقطه به نقطه توصیف کند. در حقیقت ، یکی از جذابیتهای اصلی این روش این است که تحلیلگر داده نیازی به تعیین عملکرد جهانی از هر شکل برای قرار دادن یک مدل در داده ها ، فقط برای متناسب کردن بخشهای داده ندارد.

معامله برای این ویژگی ها افزایش محاسبه است. از آنجا که از نظر محاسباتی بسیار فشرده است ، استفاده از LOESS در دورانی که حداقل رگرسیون مربعات در حال توسعه بود ، عملاً غیرممکن بود. بیشتر روشهای مدرن دیگر برای مدلسازی فرآیند از این نظر مشابه LOESS هستند. این روش ها آگاهانه طراحی شده اند تا از توانایی محاسباتی فعلی ما تا حداکثر مزیت ممکن برای دستیابی به اهدافی که با رویکردهای سنتی به راحتی حاصل نمی شوند استفاده کنند.

منحنی صاف از طریق مجموعه ای از نقاط داده به دست آمده با این تکنیک آماری ، منحنی loess نامیده می شود ، به ویژه هنگامی که هر مقدار صاف با یک رگرسیون حداقل مربعات درجه دوم وزن دهانه مقادیر متغیر معیار پراکندگی محور- y داده شود. وقتی هر مقدار هموار با یک رگرسیون حداقل مربعات خطی وزن شده روی دهانه داده می شود ، این به عنوان منحنی کم ارتفاع شناخته می شود . با این حال ، برخی از مقامات با پایین بودن و لوس بودن به عنوان مترادف رفتار می کنند.

فهرست

تعریف مدل [ ویرایش ]

در سال 1964 ، Savitsky و Golay روشی معادل LOESS را پیشنهاد کردند که معمولاً از آن به عنوان فیلتر Savitzky – Golay یاد می شود . ویلیام اس. کلیولند این روش را دوباره در سال 1979 کشف کرد و نام متمایزی به آن داد. این روش بیشتر توسط Cleveland و Susan J. Devlin (1988) توسعه داده شد. LOWESS به عنوان رگرسیون چند جمله ای با وزن موضعی نیز شناخته می شود.

در هر نقطه از محدوده مجموعه داده ها ، یک چند جمله ای با درجه پایین در زیر مجموعه ای از داده ها نصب می شود ، مقادیر متغیر توضیحی در نزدیکی نقطه پاسخ آن تخمین زده می شود. چند جمله ای با استفاده از حداقل مربعات وزنی نصب می شود ، و وزن بیشتری به نقاط نزدیک به نقطه ای که پاسخ آنها تخمین زده می شود و وزن کمتری به نقاط دورتر ، می دهد. سپس مقدار تابع رگرسیون برای نقطه با ارزیابی چند جمله ای موضعی با استفاده از مقادیر متغیر توضیحی برای آن نقطه داده بدست می آید. تناسب LOESS پس از محاسبه مقادیر عملکرد رگرسیون برای هر یک از آنها کامل می شود{\ displaystyle n} $n$ نقاط داده بسیاری از جزئیات این روش ، مانند درجه مدل چند جمله ای و وزن ها ، انعطاف پذیر هستند. طیف وسیعی از انتخاب برای هر قسمت از روش و پیش فرض های معمول به طور خلاصه در اینجا بحث می شود.

زیرمجموعه های محلی سازی داده ها [ ویرایش ]

زیر مجموعه داده مورد استفاده برای هر حداقل مربعات وزن مناسب در لس ها توسط نزدیکترین الگوریتم همسایه تعیین می شود. ورودی مشخص شده توسط کاربر برای رویه به نام "پهنای باند" یا "پارامتر صاف کردن" تعیین می کند که چه مقدار از داده ها برای متناسب کردن با هر چند جمله ای محلی استفاده شود. پارامتر صاف کردن ، $آلفا$ ، کسری از تعداد کل n نقاط داده است که در هر تناسب محلی استفاده می شود. زیر مجموعه داده های مورد استفاده در هر جاذبه حداقل مربعات متناسب ، بنابراین شامل می شود $n \ alpha$ نقاط (گرد به بزرگترین عدد صحیح بعدی) که مقادیر متغیرهای توضیحی آنها نزدیکترین نقطه به نقطه ارزیابی پاسخ است. [6]

از آنجا که یک چند جمله ای درجه k برای تناسب نیاز به حداقل ( k +1) امتیاز دارد ، پارامتر صاف سازی $آلفا$ باید بین باشد $\ چپ (\ lambda + 1 \ راست) / n$ و 1 ، با $\ لامبدا$ نشانگر درجه چند جمله ای محلی است. $آلفا$ پارامتر هموار سازی نامیده می شود زیرا انعطاف پذیری عملکرد رگرسیون LOESS را کنترل می کند. مقادیر بزرگ از $آلفا$ صاف ترین توابع را تولید می کنند که کمترین لرزش را در پاسخ به نوسانات داده ها دارند. کوچکتر $آلفا$ است ، هر چه عملکرد رگرسیون با داده ها مطابقت داشته باشد. استفاده از مقدار خیلی کم پارامتر صاف کردن مطلوب نیست ، از آنجا که تابع رگرسیون سرانجام شروع به ضبط خطای تصادفی در داده ها می کند.

درجه چند جمله ای محلی [ ویرایش ]

چند جمله ای های محلی متناسب با هر زیر مجموعه از داده ها تقریباً همیشه از درجه اول یا دوم هستند. یعنی به صورت محلی خطی (به معنای خط مستقیم) یا به صورت محلی درجه دوم. استفاده از چند جمله ای درجه صفر ، LOESS را به یک میانگین متحرک وزنی تبدیل می کند . چند جمله ای های درجه بالاتر از لحاظ تئوری کار می کنند ، اما مدل هایی را ارائه می دهند که در واقع در روح LOESS نیستند. LOESS بر اساس این ایده است که می توان هر محاسبه را در یک محله کوچک با چند جمله ای مرتبه پایین به خوبی تخمین زد و مدل های ساده به راحتی با داده ها متناسب هستند. چند جمله ای های درجه بالا تمایل به پوشاندن بیش از حد داده ها در هر زیر مجموعه دارند و از نظر عددی ناپایدار هستند و محاسبات دقیق را دشوار می کنند.

عملکرد وزن [ ویرایش ]

همانطور که در بالا ذکر شد ، تابع وزن بیشترین وزن را به نقاط داده نزدیک به نقطه برآورد و کمترین وزن را به نقاط داده ای که در دورترین فاصله قرار دارند ، می دهد. استفاده از اوزان بر اساس این ایده است كه نقاط نزدیك به هم در فضای متغیر توضیحی بیشتر از نقاطی كه فاصله بیشتری دارند به یك روش ساده با هم مرتبط هستند. پیرو این منطق ، نکاتی که احتمالاً از مدل محلی پیروی می کنند بهترین تأثیر را در پارامتر مدل محلی دارند. نقاطی که احتمالاً در واقع با مدل محلی مطابقت ندارند ، تأثیر کمتری در برآورد پارامتر مدل محلی دارند .

تابع وزن سنتی که برای LOESS استفاده می شود ، عملکرد وزن سه مکعبی است ، ${\ displaystyle w (x) = (1- | d | ^ {3}) ^ {3}}$

جایی که d فاصله یک نقطه داده داده شده از نقطه روی منحنی نصب شده است ، مقیاس بندی شده در دامنه 0 تا 1 قرار دارد. [6]

با این حال ، هر عملکرد وزنی دیگری که خصوصیات ذکر شده در کلیولند (1979) را برآورده کند نیز می تواند مورد استفاده قرار گیرد. وزن برای یک نقطه خاص در هر زیرمجموعه محلی از داده ها با ارزیابی عملکرد وزن در فاصله بین آن نقطه و نقطه برآورد ، پس از مقیاس گذاری فاصله بدست می آید به طوری که حداکثر فاصله مطلق بیش از تمام نقاط زیر مجموعه داده ها دقیقاً یکی است.

تعمیم زیر در مدل رگرسیون خطی را با یک متریک در نظر بگیرید ${\ displaystyle w (x، z)}$ روی فضای مورد نظر ${\ mathbb R} ^ {m}$ که به دو پارامتر بستگی دارد ، ${\ displaystyle x، z \ in \ mathbb {R} ^ {n}}$ . فرض کنید که فرضیه خطی بر اساس است $n$ پارامترهای ورودی و این که ، طبق معمول در این موارد ، ما فضای ورودی را تعبیه می کنیم $\ mathbb {R} ^ {n}$ به ${\ displaystyle \ mathbb {R} ^ {n + 1}}$ مانند ${\ displaystyle x \ mapsto {\ hat {x}}: = (1 ، x)}$ ، و عملکرد زیان زیر را در نظر بگیرید

${\ displaystyle \ operatorname {RSS} _ {x} (A) = \ sum _ {i = 1} ^ {N} (y_ {i} -A {\ hat {x}} _ {i}) ^ {T } w_ {i} (x) (y_ {i} -A {\ hat {x}} _ {i}).}$

اینجا، $آ$ هست یک ${\ displaystyle (n + 1) \ بار (n + 1)}$ ماتریس واقعی ضرایب ، ${\ displaystyle w_ {i} (x): = w (x_ {i} ، x)}$ و زیرنویس i بردارهای ورودی و خروجی مجموعه آموزشی را برمی شمارد. از آنجا که $w$ یک متریک است ، یک ماتریس متقارن ، مثبت و مشخص است و به همین ترتیب ، یک ماتریس متقارن دیگری نیز وجود دارد $ساعت$ به طوری که

${\ displaystyle w = h ^ {2}}$ . عملکرد زیان فوق را می توان با مشاهده آن به یک ردیف مرتب کرد

${\ displaystyle y ^ {T} wy = (hy) ^ {T} (hy) = \ operatorname {Tr} (hyy ^ {T} h) = \ operatorname {Tr} (wyy ^ {T})}$ . با چیدمان بردارها $y_ {i}$ و ${\ displaystyle {\ hat {x}} _ {i}}$ به ستون های $m \ بار N$ ماتریس $بله$ و یک ${\ displaystyle (n + 1) \ بار N}$ ماتریس ${\ کلاه X}$ به ترتیب می توان تابع زیان فوق را به صورت زیر نوشت:

${\ displaystyle \ operatorname {Tr} (W (x) (YA {\ hat {X}}) ^ {T} (YA {\ hat {X}}))}}$

جایی که $دبلیو$ مورب مربع است $N \ بار N$ ماتریسی که ورودی های آن است ${\ displaystyle w_ {i} (x)}$ تمایز با توجه به

$آ$ و تنظیم نتیجه برابر با 0 یکی معادله ماتریس افراطی را پیدا می کند

${\ displaystyle A {\ hat {X}} W (x) {\ hat {X}} ^ {T} = YW (x) {\ hat {X}} ^ {T}.}$

با فرض بیشتر اینکه ماتریس مربع

${\ displaystyle {\ hat {X}} W (x) {\ hat {X}} ^ {T}}$ تابع ضرر غیر منفرد است ${\ displaystyle \ operatorname {RSS} _ {x} (A)}$ به حداقل خود در ${\ displaystyle A (x) = YW (x) {\ hat {X}} ^ {T} ({\ hat {X}} W (x) {\ hat {X}} ^ {T}) ^ {- 1}.}$

یک انتخاب معمولی برای ${\ displaystyle w (x، z)}$ است وزن گاوسی

${\ displaystyle w (x، z) = \ exp \ left (- {\ frac {(xz) ^ {2}} {2 \ sigma ^ {2}}} \ right)}$

مزایا [ ویرایش ]

همانطور که در بالا گفته شد ، بزرگترین مزیتی که LOESS نسبت به بسیاری از روشهای دیگر دارد این است که فرایند مناسب سازی مدل با داده های نمونه با مشخص شدن یک تابع آغاز نمی شود. در عوض ، تحلیلگر فقط باید مقدار پارامتر صاف و درجه چند جمله ای محلی را ارائه دهد. علاوه بر این ، LOESS بسیار انعطاف پذیر است ، و آن را برای مدل سازی فرآیندهای پیچیده که هیچ مدل نظری برای آن وجود ندارد ، ایده آل می کند. این دو مزیت ، همراه با سادگی روش ، LOESS را به یکی از جذابترین روشهای رگرسیون مدرن برای کاربردهایی تبدیل می کند که متناسب با چارچوب کلی رگرسیون حداقل مربعات باشد اما دارای ساختار قطعی پیچیده ای است.

اگرچه نسبت به روشهای دیگر مربوط به رگرسیون حداقل مربعات خطی کمتر مشهود است ، LOESS همچنین بیشتر مزایای معمولاً مشترک آن روشها را نیز به خود اختصاص می دهد. مهمترین آنها تئوری عدم قطعیت محاسبات برای پیش بینی و کالیبراسیون است. بسیاری از تست های دیگر و روش های مورد استفاده برای اعتبار سنجی از حداقل مدل مربع همچنین می توانید به مدل های لس تمدید شود [ نیازمند منبع ] .

معایب [ ویرایش ]

LOESS نسبت به سایر روش های حداقل مربعات ، از داده ها با استفاده کمتری استفاده می کند. برای تولید مدلهای خوب ، به مجموعه داده های نسبتاً بزرگ و نمونه برداری شده ای نیاز دارد. زیرا LOESS هنگام انجام اتصالات محلی به ساختار داده محلی متکی است. بنابراین ، LOESS در ازای هزینه های بیشتر تجزیه و تحلیل داده های پیچیده کمتری را ارائه می دهد [ با توجه به چه کسی؟ ] .

از دیگر معایب LOESS این واقعیت است که عملکرد رگرسیونی تولید نمی کند که به راحتی با یک فرمول ریاضی نشان داده شود. این می تواند انتقال نتایج یک تحلیل به افراد دیگر را دشوار کند. برای انتقال عملکرد رگرسیون به شخص دیگر ، آنها به مجموعه داده ها و نرم افزار برای محاسبات LOESS نیاز دارند. در رگرسیون غیر خطی ، از سوی دیگر، آن را تنها لازم است به نوشتن یک فرم تابعی به منظور ارائه برآورد پارامترهای ناشناخته و عدم قطعیت برآورد شده است. بسته به نوع کاربرد ، این می تواند یک اشکال عمده یا جزئی برای استفاده از LOESS باشد. به طور خاص ، در مواردی که پارامترهای نصب شده خصوصیات فیزیکی خاصی از سیستم را مشخص می کنند ، نمی توان از فرم ساده LOESS برای مدل سازی مکانیکی استفاده کرد.

سرانجام ، همانطور که در بالا بحث شد ، LOESS یک روش محاسباتی فشرده است (به استثنای داده های با فاصله مساوی ، که در آن رگرسیون را می توان به عنوان یک فیلتر پاسخ تکانه غیر علتی بیان کرد ). LOESS همچنین مانند سایر روش های حداقل مربعات مستعد اثرات دور از دسترس در مجموعه داده ها است. یک، تکرار شونده وجود دارد قوی نسخه از لس [کلیولند (1979)] است که می تواند مورد استفاده قرار گیرد برای کاهش حساسیت لس به نقاط دورافتاده ، اما بیش از حد بسیاری از نقاط دورافتاده شدید هنوز هم می تواند غلبه بر حتی روش قوی.

همچنین به [ ویرایش ] مراجعه کنید

منبع

https://en.wikipedia.org/wiki/Local_regression

+ نوشته شده در پنجشنبه بیستم شهریور ۱۳۹۹ ساعت 10:39 توسط علی رضا نقش نیلچی |

مطالب قدیمی‌تر

آموزش ریاضی

نمونه های حل شده فرمول استرلینگ

مشتق [ ویرایش ]

مثال [ ویرایش ]

کمی سازی عدم قطعیت [ ویرایش ]

تست آماری [ ویرایش ]

حداقل مربعات وزنی [ ویرایش ]

رابطه با اجزای اصلی [ ویرایش ]

رابطه با نظریه اندازه گیری [ ویرایش ]

منظم سازی [ ویرایش ]

منظم سازی تیخونوف [ ویرایش ]

روش کمند [ ویرایش ]

همچنین مشاهده کنید [ ویرایش ]

بیان مشکل [ ویرایش ]

محدودیت ها [ ویرایش ]

حل مسئله حداقل مربعات [ ویرایش ]

حداقل مربعات خطی [ ویرایش ]

حداقل مربعات غیر خطی [ ویرایش ]

تفاوت بین حداقل مربعات خطی و غیرخطی [ ویرایش ]

فهرست

تاریخچه [ ویرایش ]

تأسیس [ ویرایش ]

روش [ ویرایش ]

تعریف روش حداقل مربع

نمودار روش حداقل مربع

فرمول روش حداقل مربعات

مثال حل شده

محدودیت برای روش حداقل مربع

سوالات متداول - سوالات متداول

چگونه حداقل مربعات را محاسبه می کنید؟

چند روش برای حداقل مربع موجود است؟

اصل حداقل مربعات چیست؟

حداقل مربع یعنی چه؟

برازش حداقل مربعات منحنی چیست؟

تعریف روش رگرسیون حداقل مربعات

فرمول رگرسیون حداقل مربعات

خط بهترین تناسب در رگرسیون حداقل مربع

نمونه هایی از خط رگرسیون حداقل مربعات

مزایای

معایب

نتیجه

رگرسیون [ ویرایش ]

سایر تصاویر [ ویرایش ]

تاریخچه [ ویرایش ]

همچنین مشاهده کنید [ ویرایش ]

یادداشت ها

پلی توپ های گاوسی [ ویرایش ]

توابع خطی ماتریس های متعامد [ ویرایش ]

دنباله های بعدی [ ویرایش ]

راه رفتن تصادفی روی یک شبکه کریستالی [ ویرایش ]

برنامه ها و نمونه ها [ ویرایش ]

مثال ساده [ ویرایش ]

برنامه های کاربردی واقعی [ ویرایش ]

رابطه با قانون اعداد بزرگ [ ویرایش ]

گزاره های جایگزین قضیه [ ویرایش ]

محاسبه واریانس [ ویرایش ]

برنامه های افزودنی [ ویرایش ]

ضرب های متغیرهای تصادفی مثبت [ ویرایش ]

لیاپانوف CLT [ ویرایش ]

لیندبرگ CLT [ ویرایش ]

CLT چند بعدی [ ویرایش ]

دنباله های مستقل [ ویرایش ]

CLT کلاسیک [ ویرایش ]

خواص

مثال ها

توابع کاربرگ

منابع

4 تفکر در مورد "تقریب عادی کندلو"

جدول ارزشهای بحرانی

عملکرد کاربرگ

مثال ها

منابع

13 فکر در مورد "آزمون فرضیه تاو کندال"

همبستگی (پیرسون ، کندال ، اسپیرمن)

محاسبه سریع: دانشمندان اوج رشد تعداد آلوده به COVID-19 را پیش بینی کردند

بار اوج

داغ خواهد شد

حساسیت به گرد کردن [ ویرایش ]

مثال دیگر با داده های واقعی کمتر [ ویرایش ]

بیان مسئله [ ویرایش ]