برآورد ماتریس کوواریانس

برآورد ماتریس کواریانس ذاتی [ ویرایش ]

انتظار ذاتی [ ویرایش ]

با توجه به نمونه از N مشاهدات مستقل X 1 ، ...، ایکس N از یک ص بعدی صفر میانگین متغیر تصادفی گاوسی X با کوواریانس R از حداکثر احتمال برآوردگر از R برابر است با

$\ hat {{\ mathbf {R}}}} = {1 \ over n} \ sum _ {{i = 1}} ^ {n} x_ {i} x_ {i} ^ {{\ mathrm {T }}.$

پارامتر R متعلق به مجموعه ماتریس های مثبت مثبت است ، که یک منیفولد ریمانی است ، نه یک فضای بردار ، از این رو مفاهیم معمول بردار-فضای انتظار ، یعنی "E [ R ^]" ، و تعصب تخمین گر را باید تعمیم داد. manifolds برای درک مشکل تخمین ماتریس کواریانس. این امر می تواند با تعیین انتظار برای یک برآوردگر دارای ارزش چند برابر R ^ با توجه به نقطه ارزش منیفول R R انجام شود.

$\ mathrm {E}} _ {{{\ mathbf {R}}}} [{\ hat {{\ mathbf {R}}}}] \ {\ stackrel {{\ mathrm {def}} {=} } \ \ exp _ {{{\ mathbf {R}}}} {\ mathrm {E}} \ [[exp _ {{{\ mathbf {R}}}} ^ {{- 1}} {\ hat {\ mathbf {R}}} right \ درست]$

جایی که

$\ exp _ {{m \ mathbf {R}}}} ({\ hat {{\ mathbf {R}}}}) = {\ mathbf {R}} ^ {{{\ frac {1} {2}} }} \ exp \ left ({\ mathbf {R}} ^ {{- {\ frac {1} {2}}}} {\ hat {{\ mathbf {R}}}} {\ mathbf {R}} ^ {{- {\ frac {1} {2}}}} \ Right) {\ mathbf {R}} ^ {{{\ frac {1} {2}}}}$

$\ exp _ {{m \ mathbf {R}}}} ^ {{- 1}} ({\ hat {{\ mathbf {R}}}}) = {\ mathbf {R}} ^ {{{\ frac {1} {2}}} left \ left (\ log {\ mathbf {R}} ^ {{- {\ frac {1} {2}}}} {\ hat {{\ mathbf {R}}} \ mathbf {R}} ^ {{- {\ frac {1} {2}}}} \ Right) {\ mathbf {R}} ^ {{{\ frac {1} {2}}}}$

می روی نقشه نمایی و معکوس بر روی نقشه نمایی، به ترتیب، "بزرگراه" و "ورود به سیستم" معنی عادی ماتریس نمایی و ماتریس لگاریتم ، و E [·] اپراتور انتظار عادی تعریف شده روی یک فضای برداری، در این مورد است فضای مماس از مانیفولد [1]

تعصب از ماتریس کواریانس نمونه [ ویرایش ]

تعصب ذاتی میدان برداری از برآوردگر $\ displaystyle {\ hat {\ mathbf {R}}}}$ تعریف شده است

$\ mathbf {B}} ({\ hat {{\ mathbf {R}}}}) = \ exp _ {{{\ mathbf {R}}}} ^ {{- 1}} {\ mathrm {E} } _ {{{\ mathbf {R}}}} \ left [exp \ hat {{\ mathbf {R}}}} \ Right] = {\ mathrm {E}} \ left [\ exp _ {{{\ mathbf {R}}}} ^ {{- 1}} {\ hat {{\ mathbf {R}}}} \ درست]$

تعصب برآوردگر ذاتی پس از آن داده می شود $\ exp _ {{{\ mathbf {R}}}} {\ mathbf {B}} ({\ hat {{\ mathbf {R}}}})$ .

برای پیچیده متغیرهای تصادفی گاوسی، این میدان برداری تعصب نشان داده می شود [1] را برابر

$\ mathbf {B}} ({\ hat {{\ mathbf {R}}}}) = - \ beta (p، n) \ mathbf {R}$

جایی که

$\ beta (p ، n) = {\ frac {1} {p}} \ left (p \ log n + p- \ psi (n-p + 1) + (n-p + 1) \ psi (n- p + 2) + \ psi (n + 1) - (n + 1) \ psi (n + 2) \ Right)$

و ψ (·) عملکرد دیگما است . تعصب ذاتی ماتریس کواریانس نمونه برابر است

$\ exp _ {{m \ mathbf {R}}}} {\ mathbf {B}} ({\ hat {{\ mathbf {R}}}}) = e ^ {{- \ beta (p، n) {\ mathbf {R}}$

و SCM بدون n بی طرف بی طرف است .

به طور مشابه ، ناکارآمدی ذاتی ماتریس کوواریانس نمونه به انحنای ریمانی فضای ماتریسهای مثبت مثبت بستگی دارد .

تخمین کوچک سازی [ ویرایش ]

اگر اندازه نمونه n کوچک باشد و تعداد متغیرهای در نظر گرفته شده p بزرگ باشد ، برآوردگرهای تجربی فوق کواریانس و همبستگی بسیار ناپایدار هستند. به طور خاص ، امکان تهیه برآوردگرهایی وجود دارد که براساس تخمین حداکثر احتمال از نظر میانگین خطای مربع ، به میزان قابل توجهی بهبود می یابند. علاوه بر این ، برای n < p (تعداد مشاهدات از تعداد متغیرهای تصادفی کمتر است) برآورد تجربی ماتریس کوواریانس مفرد می شود ، یعنی برای محاسبه ماتریس دقیق نمی توان وارونه شد .

به عنوان جایگزین ، روشهای زیادی برای بهبود برآورد ماتریس کواریانس پیشنهاد شده است. همه این رویکردها بر مفهوم انقباض تکیه دارند. این در روش های بیزی و در روشهای حداکثر مجازات صریح و صریح در روش کوچک شدن استین صریح است .

یک نسخه ساده از برآوردگر انقباض ماتریس کوواریانس توسط برآوردگر انقباض Ledoit-Wolf [7] [8] [9] [10] ارائه شده است . یکی ترکیبی محدب از برآوردگر تجربی را در نظر می گیرد ({\ نمایشگر A $آ$ ) با چند هدف انتخابی مناسب ( $ب$ ) ، به عنوان مثال ، ماتریس مورب. متعاقباً پارامتر اختلاط ( $\ دلتا$ ) برای به حداکثر رساندن دقت پیش بینی شده برآوردگر کوچک شده انتخاب شده است. این می تواند از طریق اعتبارسنجی متقابل یا با استفاده از یک برآورد تحلیلی از شدت انقباض انجام شود. برآوردگر منظم حاصل (دلتا) B $\ delta A + (1- \ delta) B$ ) می توان نشان داد که از برآوردگر حداکثر احتمال برای نمونه های کوچک بهتر است. برای نمونه های بزرگ ، شدت انقباض به صفر کاهش می یابد ، از این رو در این حالت برآوردگر انقباض با برآوردگر تجربی یکسان است. جدا از افزایش بهره وری ، برآورد انقباض مزیت دیگری دارد که همواره مثبت و قطعی است.

اهداف انقباض مختلف پیشنهاد شده است:

ماتریس ، مقیاس بندی با متوسط واریانس نمونه ؛
مدل تک شاخص ؛
مدل همبستگی ثابت ، که در آن واریانس نمونه حفظ می شود ، اما همه ضرایب همبستگی دو طرفه فرض می شوند که با یکدیگر برابر هستند.
ماتریس دو پارامتر ، که در آن همه واریانس یکسان هستند ، و همه متغیرها با یکدیگر یکسان هستند (اگرچه با واریانس یکسان نیست ).
ماتریس قطری حاوی نمونه واریانس در و صفر قطر هر جای دیگر.
ماتریس . [8]

برآوردگر انقباض را می توان به یک برآوردگر کوچک چند منظوره تعمیم داد که از چندین هدف به طور همزمان استفاده می کند. [11] نرم افزار برای محاسبه یک برآوردگر انقباض کوواریانس در R (بسته های corpcor [12] و ShrinkCovMat [13] ) ، در پایتون (کتابخانه scikit-Learn ) و در MATLAB در دسترس است . [14]

نزدیکترین ماتریس معتبر [ ویرایش ]

در برخی از برنامه ها (به عنوان مثال ، ساختن مدل های داده فقط از داده های جزئی مشاهده شده) فرد می خواهد "نزدیکترین" ماتریس کواریانس یا ماتریس همبستگی را به یک ماتریس متقارن معین (به عنوان مثال ، کواریانس مشاهده شده) پیدا کند. در سال 2002 ، Higham [15] مفهوم نزدیکی را با استفاده از یک هنجار فروبنیوس وزنه بردار رسمی کرد و روشی برای محاسبه نزدیکترین ماتریس همبستگی ارائه داد.

همچنین مشاهده کنید [ ویرایش ]

منابع

https://en.wikipedia.org/wiki/Estimation_of_covariance_matrices

+ نوشته شده در دوشنبه دهم شهریور ۱۳۹۹ ساعت 11:0 توسط علی رضا نقش نیلچی |

ریاضیات

آموزش ریاضی