زنجیره مارکوف زمان گسسته

توسط علی رضا نقش نیلچی | پنجشنبه هجدهم اردیبهشت ۱۳۹۹ | 18:0

خواص [ ویرایش ]

کاهش [ ویرایش ]

گفته می شود زنجیره مارکوف در صورت امکان رسیدن به هر ایالت از هر ایالتی غیرقابل بازگشت است. [1] موارد زیر این تعریف را رسما توضیح می دهد.

دولت J گفته می شود از حالت های قابل دسترس من (نوشته شده من → J ) اگر یک سیستم آغاز شده در دولت من تا به احتمال غیر صفر از انتقال به دولت J در برخی از نقطه. در صورت وجود عدد صحیح n ij ≥ به طور رسمی ، حالت j از حالت من قابل دسترسی است

$\ displaystyle \ Pr (X_ {n_ {ij}} = j \ mid X_ {0} = i) = p_ {ij} ^ {(n_ {ij})}> 0}$

این عدد صحیح مجاز است برای هر جفت ایالت متفاوت باشد ، از این رو اشتراک در n ij . اجازه می دهد N به صفر به معنی است که هر دولت طبق تعریف از خود را در دسترس است. رابطه دستیابی بازتابی و گذرا است اما لزوماً متقارن نیست.

دولت من است گفت: برای برقراری ارتباط با دولت J (نوشته شده من ↔ J اگر هر دو) من → J و J → من . یک کلاس برقراری ارتباط حداکثر حالت C است به گونه ای که هر جفت ایالت در C با یکدیگر ارتباط برقرار می کنند. ارتباطات یک رابطه هم ارزی است و کلاسهای برقراری ارتباط کلاسهای هم ارزی این رابطه هستند.

کلاس برقراری ارتباط بسته است اگر احتمال ترک کلاس صفر است، یعنی اگر من در C اما J نیست، پس J است از دسترس نیست من . مجموعه ای از کلاس های برقراری ارتباط به شکل یک کارگردانی، گراف بدون دور توسط وارث فلش از فضای حالت اصلی است. اگر ارتباط برقرار شود اگر یک پیکان خروجی در این نمودار وجود نداشته باشد ، یک کلاس ارتباط برقرار است.

دولت من است گفته می شود ضروری و یا نهایی اگر برای همه J به طوری که من → J این نیز درست است که J → من . حالت من غیر ضروری است اگر ضروری نیست. [55] در صورتی که کلاس ارتباطی آن بسته باشد ، دولت نهایی است.

گفته می شود زنجیره مارکوف اگر فضای ایالتی آن یک طبقه ارتباطی واحد باشد ، غیرقابل بازگشت است. به عبارت دیگر ، در صورت امکان رسیدن به هر ایالت از هر کشوری.

دوره ای [ ویرایش ]

ایالت $من$ دوره ای دارد $ک$ در صورت بازگشت به حالت $من$ باید در چند برابر اتفاق بیفتد $ک$ مراحل زمان به طور رسمی ، دوره دولت $من$ به عنوان ... تعریف شده است

$k = \ gcd \ {n> 0: \ Pr (X_ {n} = i \ mid X_ {0} = i)> 0 \$

(جایی که ${\ Displaystyle gcd$ است بزرگترین مقسوم علیه مشترک ) ارائه شده است که این مجموعه خالی نیست. در غیر این صورت دوره مشخص نشده است. توجه داشته باشید که حتی اگر یک ایالت دوره ای داشته باشد $ک$ ممکن است رسیدن به دولت در این کشور امکان پذیر نباشد $ک$ پله ها به عنوان مثال ، فرض کنید بازگشت به حالت ممکن در کشور امکان پذیر است ${\ displaystyle \ {6 ، 8 ~ ، 10 ~ ، 12 ~ ، \ نقطه \}}$ مراحل زمان؛ $ک$ خواهد بود $2$ ، بااینکه $2$ در این لیست ظاهر نمی شود.

اگر $k = 1$ ، پس از آن گفته می شود که دولت متعلق به سالمندان است. در غیر این صورت ( $\ displaystyle k> 1$ ) ، گفته می شود که ایالت با دوره $ک$ . زنجیره مارکوف در صورتی که هر ایالت غیرقانونی باشد ، غیرقانونی است. زنجیره ای غیرقابل برگشت مارکوف فقط به یک حالت غیرقانونی احتیاج دارد تا دلالت کند که همه ایالت ها مربوط به سالمندان هستند.

هر حالت از یک نمودار دو طرفه یک دوره یکنواخت دارد.

گذرا و عود [ ویرایش ]

حالتی به من گفته می شود که گذرا است ، اگر با توجه به اینکه در حالت i شروع می کنیم ، احتمال غیر صفر وجود دارد که ما هرگز به i برنخواهیم گشت . به طور رسمی ، اجازه دهید متغیر تصادفی T i اولین بار بازگشت به حالت i باشد ("زمان ضربه"):

$\ displaystyle T_ {i} = \ inf \ {n \ geq 1: X_ {n} = i \}.$

شماره

$\ displaystyle f_ {ii} ^ {(n)} = \ Pr (T_ {i} = n \ mid X_ {0} = i)$

این احتمال وجود دارد که ما برای اولین بار بعد از N مراحل به حالت من برگردیم . بنابراین ، اگر من حالت گذرا داشته باشم

$\ displaystyle \ Pr (T_ {i} <\ infty \ mid X_ {0} = i) = \ sum _ {n = 1} ^ {\ infty} f_ {ii} ^ {(n)} <1.$

حالت من در صورت گذرا بودن ، مكرر (يا مداوم) است. حالتهای عود تضمین شده است (با احتمال 1) زمان ضربه زدن محدود. عود و گذشتگی ، خواص کلاس است ، یعنی همه اعضای یک کلاس ارتباط برقرار را نگه دارند یا نگه ندارند.

میانگین زمان عود [ ویرایش ]

حتی اگر زمان ضربه زدن با احتمال 1 محدود باشد ، نیازی به انتظار محدود نیست . میانگین زمان عود در حالت i ، زمان بازگشت انتظار می رود M i :

$\ displaystyle M_ {i} = E [T_ {i}] = \ sum _ {n = 1} ^ {\ infty} n \ cdot f_ {ii} ^ {(n)}$

دولت من مکرر مثبت (یا غیر تهی مداوم) اگر M من محدود است. در غیر این صورت ، حالت من عود کننده (یا تهدید مداوم) است.

تعداد بازدیدهای مورد انتظار [ ویرایش ]

نشان می دهد که ایالت من عود می کند اگر و فقط اگر تعداد بازدیدهای مورد انتظار از این ایالت بی نهایت باشد:

$\ displaystyle \ sum _ {n = 0} ^ {\ infty} p_ {ii} ^ {(n) = \ infty.$

حالتهای جذب کننده [ ویرایش ]

دولت من است به نام جذب اگر غیر ممکن است به ترک این حالت. بنابراین ، حالت من اگر و فقط اگر جذب می شود

$p_ {ii} = 1 {\ text و}} p_ {ij} = 0 {\ متن {برای}} i \ not = j.$

اگر هر ایالت می تواند به یک حالت جاذب برسد ، زنجیره مارکوف زنجیره ای برای جذب مارکوف است . [1]

Ergodicity [ ویرایش ]

اگر به حالت عادی و عود کننده مکرر گفته شود ، به من حالت ارگودیک گفته می شود . به عبارت دیگر ، حالت من اگر عود کننده باشد ، دارای یک دوره 1 است و میانگین زمان عود محدود را دارد. اگر همه حالت های زنجیره ای غیرقابل برگشت مارکوف ergodic باشند ، به این زنجیره گفته می شود که ارگودی است.

می توان نشان داد که یک زنجیره مارکوف غیرقابل بازگشت با محدود با حالت عادی اگر حالت بی هوازی داشته باشد از نظر ارگودیک است. به طور کلی ، زنجیره مارکوف اگر عددی N وجود داشته باشد به گونه ای است که از هر ایالت دیگری در هر تعداد پله کمتر یا مساوی با عدد N می توان به هر ایالت دیگر رسید . در صورت ماتریس انتقال کاملاً متصل ، که در آن همه انتقال ها احتمال غیر صفر دارند ، این شرایط با N = 1 برآورده می شود .

یک زنجیره مارکوف با بیش از یک ایالت و فقط یک انتقال خارج از کشور در هر ایالت غیرقابل برگشت یا غیرقابل برگشت نیست ، از این رو نمی تواند ergodic باشد.

منبع

https://en.wikipedia.org/wiki/Markov_chain

مشخصات وب

در این وبلاگ به ریاضیات و کاربردهای آن و تحقیقات در آنها پرداخته می شود. مطالب در این وبلاگ ترجمه سطحی و اولیه است و کامل نیست.در صورتی سوال یا نظری در زمینه ریاضیات دارید مطرح نمایید .در صورت امکان به آن می پردازم. من دوست دارم برای یافتن پاسخ به سوالات و حل پروژه های علمی با دیگران همکاری نمایم.در صورتی که شما هم بامن هم عقیده هستید با من تماس بگیرید.
09132003030

ریاضیات

آموزش ریاضی