ریاضیات

وارونگی زمان [ ویرایش ]

برای یک CTMC X t ، روند معکوس زمان تعریف شده است. توسط لیم کلی این روند دارای توزیع ثابت همانند فرآیند رو به جلو است.

گفته می شود زنجیره ای برگشت پذیر است اگر روند معکوس همان روند رو به جلو باشد. معیار کولموگورف اظهار داشت که شرط لازم و کافی برای برگشت پذیری یک فرآیند این است که محصول نرخ انتقال در اطراف یک حلقه بسته باید از هر دو جهت یکسان باشد.

زنجیر مارکوف جاسازی شده [ ویرایش ]

یک روش برای پیدا کردن توزیع احتمال ثابت ، π ، از زنجیره مارکوف با زمان مداوم ارگودیک ، Q ، با اولین بار یافتن زنجیره مارکوف تعبیه شده (EMC) است . به طور دقیق ، EMC یک زنجیره مارکف با زمان گسسته است که گاهی اوقات به عنوان یک فرآیند پرش نیز شناخته می شود . هر عنصر از ماتریس احتمال انتقال یک مرحله ای EMC ، S ، توسط s ij نشان داده می شود ، و بیانگر احتمال شرطی انتقال از حالت i به حالت j است . این احتمالات شرطی ممکن است توسط

از این ، S ممکن است به صورت نوشته شود

که در آن من است ماتریس و تشخیص ( س ) است ماتریس قطری تشکیل با انتخاب قطر اصلی از ماتریس Q و تنظیم تمام عناصر دیگر به صفر است.

برای یافتن وکتور توزیع احتمال ثابت ، باید در مرحله بعدی پیدا کنیم  به طوری که

با  وکتور ردیف بودن ، به گونه ای که همه عناصر موجود در آن هستند  بیشتر از 0 و = 1. از این ، π ممکن است یافت شود

( S ممکن است دوره ای باشد ، حتی اگر Q نباشد. پس از یافتن π ، باید به یک بردار واحد عادی شود .)

یکی دیگر از فرآیندهای زمان گسسته که ممکن است از زنجیره مارکوف به طور مداوم حاصل شود ، یک اسکلت δ (زنجیره مارکف-زمان گسسته) است که با مشاهده X ( T ) در فواصل واحدهای δ زمان ایجاد می شود. متغیرهای تصادفی X (0) ،  X (δ) ،  X (2δ) ، ... دنباله ای از حالتهای بازدید شده توسط δ-اسکلت را نشان می دهد.

انواع ویژه زنجیرهای مارکوف [ ویرایش ]

مدل مارکوف [ ویرایش ]

مقاله اصلی: مدل مارکوف

از مدلهای مارکوف برای مدل سازی سیستمهای تغییر استفاده می شود. 4 نوع اصلی از مدل وجود دارد که زنجیره های مارکوف را بسته به اینکه هر حالت متوالی قابل مشاهده است یا خیر ، تعمیم می دهد و اینکه آیا این سیستم بر اساس مشاهدات انجام شده قابل تنظیم است:

طرح برنولی [ ویرایش ]

مقاله اصلی: طرح برنولی

یک طرح برنولی یک مورد خاص از یک زنجیره مارکوف است که در آن ماتریس احتمال انتقال ردیف های یکسان دارد ، به این معنی که حالت بعدی حتی مستقل از حالت فعلی است (علاوه بر این مستقل از ایالات گذشته). یک طرح برنولی که تنها دو کشور ممکن دارد به عنوان یک فرآیند برنولی شناخته می شود .

برنامه ها [ ویرایش ]

تحقیقات کاربرد و سودمندی زنجیره های مارکوف را در طیف گسترده ای از موضوعات مانند فیزیک ، شیمی ، زیست شناسی ، پزشکی ، موسیقی ، تئوری بازی و ورزش گزارش داده است.

فیزیک [ ویرایش ]

سیستمهای مارکوویا در ترمودینامیک و مکانیک آماری بطور گسترده ظاهر می شوند ، هرگاه از احتمالات برای نشان دادن جزئیات ناشناخته یا غیرمستقیم سیستم استفاده شود ، اگر می توان فرض کرد که دینامیک زمان متغیر است و دیگر نیازی به تاریخ مربوطه در نظر گرفته نشده است که قبلاً شامل نشده باشد. در توضیحات دولت [61] [62] برای مثال ، یک حالت ترمودینامیکی تحت توزیع احتمال عمل می کند که دستیابی به آن دشوار یا گران است. بنابراین ، می توان از روش مارکوف زنجیره ای مونت کارلو برای کشیدن نمونه به طور تصادفی از یک جعبه سیاه استفاده کرد تا توزیع احتمالی صفات در طیف وسیعی از اشیاء تقریب شود. [62]

مسیرها ، در فرمول انتگرال مسیر مکانیک کوانتومی ، زنجیره های مارکوف هستند. [63]

زنجیره های مارکوف در شبیه سازی های شبکه QCD استفاده می شود. [64]

شیمی [ ویرایش ]

سینتیک مایکلیس - منتن . آنزیم (E) بستر (S) را به هم متصل می کند و محصولی (P) تولید می کند. هر واکنش یک انتقال حالت در یک زنجیره مارکوف است.

شبکه واکنش یک سیستم شیمیایی است که شامل واکنش های متعدد و گونه های شیمیایی است. ساده ترین مدلهای تصادفی چنین شبکه ای ، سیستم را به عنوان زنجیره ای مستمر مارکوف با دولت تعداد تعداد مولکولهای هر گونه و با واکنشهای مدل شده به عنوان انتقالهای ممکن از زنجیره ، درمان می کنند. [65] زنجیرهای مارکوف و فرآیندهای مارکوف با زمان مداوم در شیمی مفید هستند وقتی سیستمهای فیزیکی خاصیت مارکوف را از نزدیک نزدیک می کنند. به عنوان مثال ، تعداد زیادی n را تصور کنیدمولکولهای موجود در محلول در حالت A ، که هر یک می توانند تحت یک واکنش شیمیایی به حالت B با سرعت متوسط ​​خاصی قرار گیرند. شاید مولکول آنزیمی باشد ، و حالتها به نحوه چین خوردگی آن اشاره می کنند. وضعیت هر آنزیم واحد از زنجیره مارکوف پیروی می کند ، و از آنجا که مولکولها اساساً از یکدیگر مستقل هستند ، تعداد مولکولهای موجود در حالت A یا B در یک زمان n برابر احتمال یک مولکول معین در آن حالت است.

مدل کلاسیک فعالیت آنزیم ، سینتیک مایکلیز- منتن ، می تواند به عنوان یک زنجیره مارکوف مشاهده شود ، جایی که در هر مرحله زمان واکنش از جهتی پیش می رود. در حالی که مایکلیز- منتن نسبتاً سر راست است ، شبکه های واکنشی پیچیده تر نیز می توانند با زنجیرهای مارکوف مدل شوند. [66]

یک الگوریتم مبتنی بر زنجیره مارکوف نیز برای تمرکز رشد مبتنی بر قطعه از مواد شیمیایی موجود در سیلیکو به سمت یک کلاس مورد نظر از ترکیبات مانند داروها یا محصولات طبیعی مورد استفاده قرار گرفت. [67] با رشد یک مولکول ، قطعه ای از مولکول نوپا به عنوان حالت "جریان" انتخاب می شود. از گذشته خود آگاه نیست (یعنی از آنچه قبلاً با آن پیوند خورده است آگاهی ندارد). سپس وقتی قطعه ای به آن متصل شد ، به حالت بعدی انتقال می یابد. احتمال انتقال بر روی بانکهای اطلاعاتی کلاسهای معتبر ترکیبات آموزش داده می شود. [68]

همچنین ، رشد (و ترکیب) کوپلیمرها ممکن است با استفاده از زنجیرهای مارکوف مدل شود. بر اساس نسبت واکنش پذیری مونومرهایی که زنجیره پلیمری رو به رشد را تشکیل می دهند ، ممکن است ترکیب این زنجیره محاسبه شود (برای مثال ، آیا مونومرها تمایل دارند به صورت متناوب اضافه شوند یا در طولانی مدت همان مونومر). به دلیل اثرات استریلی ، اثرات مارکوف مرتبه دوم نیز ممکن است در رشد برخی زنجیره های پلیمری نقش داشته باشند.

به طور مشابه ، پیشنهاد شده است که تبلور و رشد برخی از مواد اکسید superlattice epitaxial را می توان با دقت توسط زنجیره های مارکوف توصیف کرد. [69]

زیست شناسی [ ویرایش ]

زنجیر مارکوف در زمینه های مختلف زیست شناسی استفاده می شود. نمونه های قابل توجه عبارتند از:

• فیلوژنتیک و بیوانفورماتیک ، که در آن اکثر مدلهای تکامل DNA از زنجیره های مارکوف به صورت مداوم استفاده می کنند تا نوکلئوتید موجود در یک سایت معین را در ژنوم توصیف کنند .
• دینامیک جمعیت ، که در آن زنجیره مارکوف به طور خاص یک ابزار اصلی در مطالعه نظری مدل های جمعیت ماتریس است .
• عصب شناسی ، جایی که زنجیرهای مارکوف استفاده شده است ، به عنوان مثال ، برای شبیه سازی نئوکورتکس پستانداران. [70]
• زیست شناسی سیستم ، به عنوان مثال با مدل سازی عفونت ویروسی سلولهای منفرد. [71]