تجزیه و تحلیل حالت پایدار و توزیع محدود [ ویرایش ]

اگر زنجیره مارکوف یک زنجیره مارکوف همزمان همگن باشد ، [56] به طوری که این فرایند توسط یک ماتریس مستقل از زمان توصیف می شود. p_ {ij، سپس بردار\ boldsymbol \ pi}توزیع ثابت (یا اندازه ثابت ) در صورت\ forall j \ in S ارضا می کند

0 \ leq \ pi _ {j} \ leq 1.

\ sum _ {j \ in S} \ pi _ {j} = 1.

\ pi _ {j} = \ sum _ {i \ in S} \ pi _ {i} p_ {ij.

یک زنجیره برگشت ناپذیر توزیع مستقیمی دارد (توزیع ثابت به گونه ای که\ displaystyle \ forall i، \ pi _ {i}> 0) اگر و فقط در صورت مثبت بودن همه حالتهای آن. [57] در این حالت ، π منحصر به فرد است و مربوط به زمان بازگشت انتظار می رود:

\ pi _ {j} = {\ frac {C} {M_ {j}}} \ ،،

جایی که {\ نمایشگر C}جثابت عادی است علاوه بر این ، اگر زنجیره بازگشتی مثبت هم غیرقابل برگشت باشد و هم غیرقانونی ، گفته می شود که توزیع محدودی دارد. برای هر من و ج ،

\ displaystyle \ lim _ {n \ Rightarrow \ infty} p_ {ij} ^ {(n) = {\ frac {C} {M_ {j}}}.

(هیچ فرضی در توزیع شروع وجود ندارد ؛ زنجیره صرف نظر از اینکه در کجا شروع می شود به توزیع ثابت همگرا می شود) {\ صفحه نمایش \ pi\ pi  توزیع توازن زنجیره نامیده می شود.)

اگر زنجیره ای بیش از یک کلاس ارتباطی بسته داشته باشد ، توزیع های ثابت آن بی نظیر نخواهد بود (هر کلاس ارتباط برقراری بسته را در نظر بگیرید C_ {مندر زنجیره؛ هرکدام توزیع ثابت ثابت خود را دارند\ pi _ {من}. گسترش این توزیع ها به زنجیره کلی ، تنظیم همه مقادیر صفر در خارج از کلاس ارتباطات ، نتیجه می دهد که مجموعه اقدامات ثابت زنجیره اصلی مجموعه ای از همه ترکیبات محدب است\ pi _ {من}. با این حال ، اگر یک حالت j فوق‌العاده است ، پس از آن \ displaystyle \ lim \ nolimits _ {n \ Rightarrow \ infty} p_ {jj} ^ {(n) = {\ tfrac {C} {M_ {j}}}} و برای هر کشور دیگر من ، اجازه دهید F IJ شود احتمال این که زنجیره تا به حال بازدیدکننده داشته است دولت J اگر آن را در شروع می شود\ displaystyle \ lim \ nolimits _ {n \ Rightarrow \ infty} p_ {ij} ^ {(n) = C {\ tfrac {f_ {ij}} _ M_ {j}}}.

اگر حالت من با دوره k  > 1 تناوبی باشد ، حد مجاز است \ displaystyle \ lim \ nolimits _ {n \ Rightarrow \ infty} p_ {ii} ^ {(n) وجود ندارد ، هر چند حد \ displaystyle \ lim \ nolimits _ {n \ rightarrow \ infty} p_ {ii} ^ {(kn + r)} برای هر عدد صحیح وجود داشته باشد  R .

تجزیه و تحلیل حالت پایدار و زنجیره مارکوف هم زمان ناهمگن [ ویرایش ]

یک زنجیره مارکوف لزوماً برای داشتن توزیع توازن هم زمان نیست. اگر توزیع احتمالی روی ایالات وجود داشته باشد\ boldsymbol \ pi} به طوری که

\ displaystyle \ pi _ {j} = \ sum _ {i \ in S} \ pi _ {i} \، \ Pr (X_ {n + 1 = j \ mid X_ {n} = i)}

برای هر دولت J و هر بار N پس از آن\ boldsymbol \ pi}توزیع تعادل زنجیره مارکوف است. چنین مواردی می تواند در روش های زنجیره مارکوف مونت کارلو (MCMC) در شرایطی که تعدادی از ماتریس های انتقال مختلف استفاده می شود رخ دهد ، زیرا هر یک برای نوع خاصی از مخلوط کردن کارآمد هستند ، اما هر ماتریس به توزیع تعادل مشترک احترام می گذارد.

قابل برگشت زنجیره مارکوف[ ویرایش ]

گفته می شود زنجیره مارکوف در صورت وجود توزیع احتمال π بیش از حالتهای آن برگشت پذیر است

\\ pi _ {i} \ Pr (X_ {n + 1} = j \ mid X_ {n} = i) = \ pi _ {j} \ Pr (X_ {n + 1} = i \ mid X_ {n = ج)

برای همه زمانها n و همه حالتهای من و ج . این شرط به عنوان شرایط تعادل مفصل شناخته شده است (برخی از کتابها آن را معادله تعادل محلی می نامند).

با در نظر گرفتن یک زمان دلخواه ثابت و n و استفاده از shorthand

\ displaystyle p_ {ij} = \ Pr (X_ {n + 1} = j \ mid X_ {n} = i) \،

معادله تعادل تفصیلی را می توان به صورت فشرده تر نوشت

\ pi _ {i} p_ {ij} = \ pi _ {j} p_ {ji} \ ،.

تنها زمان مرحله از N به N  + 1 می توان به عنوان هر فرد فکر من داشتن π من دلار در ابتدا و پرداخت هر فرد J کسری ص IJ از آن. شرط تراز تفصیلی بیان می کند که پس از هر پرداخت ، شخص دیگر دقیقاً همان مقدار پول را پس می دهد. [58] واضح است که مقدار کل پول π هر فرد دارای همان را پس از زمان مرحله باقی می ماند، از هر دلار صرف است و متعادل کننده شده توسط یک دلار مربوط دریافت کرده است. این می تواند رسماً توسط برابری نشان داده شود

\ sum _ {i} \ pi _ {i} p_ {ij} = \ sum _ {i} \ pi _ {j} p_ {ji} = \ pi _ {j} \ sum _ {i} p_ {ji} = \ pi _ {j} \ ، ،

که در اصل بیان می کند که کل پولی که شخص j دریافت می کند (از جمله خود او) در طول مرحله برابر است با مبلغ پولی که وی به دیگران می پردازد ، که برابر با تمام پولی است که وی در ابتدا داشته است زیرا فرض بر این است که تمام پول خرج می شود (که است ، p ji مبالغ به 1 بیش از من ). فرض یک فنی است ، زیرا پول واقعاً استفاده نمی شود و صرفاً تصور می شود که از شخص j به خودش پرداخت می شود (یعنی p jj لزوماً صفر نیست).

همانطور که n دلخواه بود ، این استدلال برای هر n وجود دارد ، و بنابراین برای زنجیره های برگشت پذیر مارکوف π همیشه توزیع حالت پایدار از Pr ( X n +1  =  j  |  X n  =  i ) برای هر  n است .

اگر زنجیره مارکوف در توزیع حالت پایدار شروع شود ، یعنی اگر \ displaystyle Pr (X_ {0} = i) = \ pi _ {i}، سپس \ displaystyle Pr (X_ {n} = i) = \ pi _ {i} برای همه ن و معادله تراز مفصل را می توان به صورت زیر نوشت

\ Pr (X_ {n} = i، X_ {n + 1} = j) = \ Pr (X_ {n + 1} = i، X_ {n} = j) \ ،.

سمت چپ و راست این معادله آخر یکسان است بجز معکوس کردن شاخص های زمانی n و  n  + 1.

معیار Kolmogorov شرط لازم و کافی را برای برگشت پذیری زنجیره مارکوف از احتمالات ماتریس انتقال فراهم می کند. این معیار مستلزم آن است که محصولات احتمالات در اطراف هر حلقه بسته از هر دو جهت در اطراف حلقه یکسان باشد.

زنجیره های معکوس مارکوف در رویکردهای زنجیره مارکوف مونت کارلو (MCMC) متداول است زیرا معادله تعادل مفصل برای توزیع مطلوب π ضرورتاً حاکی از این است که زنجیره مارکوف به گونه ای ساخته شده است که π یک توزیع حالت پایدار است. حتی با زنجیره های مارکوف هم زمان ناهمگن ، که در آن از ماتریس انتقال چندگانه استفاده می شود ، اگر هر یک از این ماتریس انتقال تعادل مفصلی با توزیع π مطلوب نشان دهد ، این لزوماً حاکی از آن است که π یک توزیع حالت پایدار از زنجیره مارکوف است.