تاریخچه [ ویرایش ]

هسته PD ، همانطور که در (1.1) تعریف شده است ، برای اولین بار در سال 1909 در مقاله ای در مورد معادلات انتگرالی توسط جیمز مرسر پدید آمده است. [2] چند نویسنده دیگر در دو دهه بعد از این مفهوم استفاده کردند ، اما هیچ یک از آنها به صراحت از هسته استفاده نکردند\ نمایشگر K (x ، y) = f (xy)توابع iepd (در واقع M. Mathias و S. Bochner از مطالعه هسته هسته آگاه نبودند). کار مرسر از مقاله هیلبرت در سال 1904 [3] در معادلات انتگرالی فردولم از نوع دوم ناشی شد:

\ displaystyle f (s) = \ phi (s) - \ lambda \ int _ {a} ^ {b} K (s، t) \ phi (t) dt. \ qquad \ qquad (1.2)

به ویژه ، هیلبرت آن را نشان داده بود

\ displaystyle \ int _ {a} ^ {b} \ int _ {a} ^ {b} K (s، t) x (s) x (t) dsdt = \ sum \ frac {1} {\ lambda _ {n}} left \ left [\ int _ {a} ^ {b} \ psi _ {n} (s) x (s) ds \ Right] ^ {2}، \ qquad \ qquad (1.3)

جایی که ک یک هسته متقارن واقعی مداوم است ، ایکس مداوم است ،\ {\ psi _ {n} \} یک سیستم کامل از عملکردهای ارتودنسی معمولی است ، و\ lambda _ {nرا متناظر هستند مقادیر ویژه از (1.2). هیلبرت یک هسته "قطعی" را به عنوان یکی برای انتگرال دوگانه تعریف کرد

\ displaystyle J (x) = \ int _ {a} ^ {b} \ int _ {a} ^ {b} K (s، t) x (s) x (t) dsdt}

ارضا می کند\ نمایشگر J (x)> 0 بجز {\ نمایشگر x (t) = 0. هدف اصلی مقاله مرسر مشخص کردن هسته هایی است که به معنای هیلبرت قطعی هستند ، اما به زودی مرکر دریافت که کلاس چنین عملکردهایی برای توصیف از نظر عوامل تعیین کننده بسیار محدود کننده است. بنابراین او یک هسته متقارن واقعی مداوم را تعریف کرد{\ نمایشگر K (ها ، ت) اگر از نوع مثبتی باشد (مثلاً مثبت- مشخص) \ نمایشگر J (x) \ geq 0 برای همه عملکردهای مداوم واقعی ایکس بر[a، b]و او ثابت كرد كه (1.1) شرط لازم و كافي براي داشتن هسته از نوع مثبت است. مرسر سپس ثابت كرد كه برای هر هسته پیوسته پیوسته گسترش دارد

\ displaystyle K (s، t) = \ sum \ frac {\ psi _ {n} (s) \ psi _ {n} (t)} {\ lambda _ {n}}}}

کاملا و یکنواخت نگه می دارد.

در همان زمان WH Young ، [4] با طرح سوال دیگری در تئوری معادلات انتگرال انگیزه ، نشان داد كه برای هسته مداوم شرایط (1.1) معادل است\ نمایشگر J (x) \ geq 0 برای همه\ displaystyle x \ in L ^ {1} [a، b].

EH مور [5] [6] تحقیق در مورد نوع بسیار کلی هسته pd را آغاز کرد. اگره او یک مجموعه انتزاعی است ، او توابع را می نامد K (x ، y) تعریف شده در {\ نمایشگر E \ بار E E "ماتریس های مثبت هرمیتی" اگر همه را راضی کنند (1.1) E \ displaystyle x_ {i} \ در E. مور به تعمیم معادلات انتگرالی علاقه مند بود و به هر یک از اینها نشان دادک یک فضای هیلبرت وجود دارد ح از توابع به گونه ای است که برای هر کدام \ displaystyle f \ in H ، f (y) = (f، K (\ cdot، y)) _ {H}. این خاصیت به عنوان خاصیت تولید مثل هسته نامیده می شود و به نظر می رسد که در حل مشکلات مقدار مرز برای معادلات دیفرانسیل جزئی بیضوی اهمیت دارد و دلیل اصلی موفقیت روشهای هسته در یادگیری ماشین است. جزئیات بیشتر در این باره در بخش زیر ارائه خواهد شد.

یکی دیگر از مسیرهای توسعه که هسته های pd نقش بزرگی را ایفا می کردند تئوری هارمونیک در فضاهای همگن است که توسط E. Cartan در سال 1929 آغاز شد و توسط H. Weyl و S. Ito ادامه یافت. جامع ترین نظریه هسته های pd در فضاهای همگن ، نظریه M. Kerin است [7] که شامل موارد خاص کار در مورد توابع pd و بازنمایی واحدهای غیرقابل تخریب گروه های محلی جمع و جور است.

در تئوری احتمال هسته های pd به عنوان هسته های کواریانس از فرآیندهای تصادفی بوجود می آیند. [8]

اتصال با تکثیر فضاهای هسته هیلبرت و نقشه های ویژگی [ ویرایش ]

اطلاعات بیشتر: بازتولید فضای هسته هیلبرت

هسته های مثبت مثبت چارچوبی را ارائه می دهند که شامل برخی از سازه های اساسی فضای هیلبرت است. در ادامه ما رابطه تنگاتنگی بین هسته های مثبت و دو موضوع ریاضی ، یعنی بازتولید فضاهای هیلبرت و نقشه های ویژگی ارائه می دهیم.

اجازه دهیدایکس یک مجموعه باشید ، ح فضای توابع هیلبرت\ displaystyle f: X \ to \ mathbb {R}و\ displaystyle (\ cdot ، \ cdot) _ {H}: H \ برابر H \ to \ mathbb {R} محصول داخلی مربوطه درح. برای هرچیx \ in X عملکردی ارزیابی\ displaystyle e_ {x}: H \ to \ mathbb {R} تعریف شده توسط\ displaystyle f \ mapsto e_ {x} (f) = f (x). ما ابتدا فضای هسته تولید مثل هیلبرت (RKHS) را تعریف می کنیم:

تعریف : فضا{\ نمایشگر H}ح اگر عملکردهای ارزیابی مداوم باشند ، به فضای هسته تولید مثل هیلبرت گفته می شود.

هر RKHS عملکرد خاصی دارد که مربوط به آن است ، یعنی هسته تولید مثل:

تعریف : تکثیر هسته یک عملکرد است\ displaystyle K: X \ برابر X \ تا \ mathbb {R} به طوری که

1) {\ displaystyle K_ {x} (\ cdot) \ in H ، \ forall x \ in Xو

2){\ displaystyle (f، K_ {x}) = f (x)، برای همه{\ نمایشگر f \ در H و x \ in X.

خاصیت دوم به عنوان خاصیت تولید مثل گفته می شود.

نتیجه زیر معادل سازی بین RKHS و هسته های تولید مثل را نشان می دهد:

قضیه : هر هسته تولید مثل ک RKHS منحصر به فرد را القا می کند ، و هر RKHS یک هسته تکثیر کننده منحصر به فرد دارد.

اکنون ارتباط بین هسته های pd و RKHS توسط قضیه زیر داده شده است

قضیه : هر هسته تولید مثل مثبت است و هر هسته pd یک RKHS منحصر به فرد را تعریف می کند که از آن هسته های تولید مثل بی نظیری است.

بنابراین ، با توجه به یک هسته مثبت مثبت ک، ساخت RKHS مرتبط با آن امکان پذیر است ک به عنوان یک هسته تولید مثل

همانطور که قبلاً گفته شد ، هسته های pd از محصولات داخلی ساخته می شوند. این واقعیت را می توان مورد استفاده قرار داد تا هسته های pd را با یک چیز جالب دیگر که در برنامه های یادگیری ماشین ایجاد می شود ، یعنی نقشه ویژگی مورد استفاده قرار گیرد. اجازه دهیدف یک فضای هیلبرت باشد ، و {\ displaystyle (\ cdot ، \ cdot) _ {F}}محصول داخلی مربوطه هر نقشه ای{\ displaystyle \ Phi: X \ to Fبه نقشه ویژگی گفته می شود. در این حالت ما تماس می گیریمففضای ویژگی. به راحتی قابل مشاهده است [9] که هر نقشه از ویژگی ها یک هسته pd منحصر به فرد را توسط آن تعریف می کند

{\ displaystyle K (x، y) = (\ Phi (x)، \ Phi (y)) _ {F}.

در واقع ، قطعیت مثبت ازکاز ویژگی pd محصول داخلی پیروی می کند. از طرف دیگر ، هر هسته pd ، و RKHS مربوطه آن ، دارای نقشه های بسیاری از ویژگی های مرتبط هستند. به عنوان مثال: بگذارید{\ نمایشگر F = Hو\ displaystyle \ Phi (x) = K_ {x} برای همه x \ in X. سپس\ displaystyle (\ Phi (x) ، \ Phi (y)) _ {F} = (K_ {x} ، K_ {y}) _ {H} = K (x، y)با خاصیت تولید مثل این نشان می دهد که نگاه جدیدی به هسته های pd به عنوان محصولات داخلی در فضاهای مناسب هیلبرت یا به عبارت دیگر هسته های pd می توانند به عنوان نقشه های تشابه مشاهده شوند که به طور مؤثر چگونه دو نقطه مشابه هستندایکس وی از طریق ارزش هستند K (x ، y). علاوه بر این ، از طریق هم ارزی هسته های pd و RKHS مربوطه ، از هر نقشه ویژگی می توان برای ساخت RKHS استفاده کرد.

هسته و مسافت [ ویرایش ]

روشهای هسته که کاربردهای بسیار رایج در زمینه یادگیری ماشین از هسته pd را دارند ، اغلب با روشهای مبتنی بر مسافت مانند نزدیکترین همسایگان مقایسه می شوند . در این بخش به تشابه اختلاف بین دو ماده مربوطه آنها یعنی هسته می پردازیمک و مسافت ها د.

در اینجا با یک تابع فاصله بین هر جفت از عناصر برخی از مجموعه ها ایکسمنظور ما یک متریک است که در آن مجموعه تعریف شده است ، یعنی هر عملکرد غیرارزشید بر \ displaystyle {\ mathcal {X}} \ بار {\ mathcal X}}} که ارضا می شود

  • \ displaystyle d (x، y) \ geq 0و {\ نمایشگر d (x ، y) = 0 اگر و تنها اگر x = y،
  • \ displaystyle d (x، y) = d (y، x)،
  • \ displaystyle d (x، z) \ leq d (x، y) + d (y، z).

یکی از پیوندها بین هسته ها و هسته های pd توسط یک نوع خاص از هسته به نام هسته قطعی منفی داده می شود و به شرح زیر تعریف می شود.

تعریف : یک عملکرد متقارن\ displaystyle \ psi: {\ mathcal {X}} \ بار {\ mathcal {X}} \ to \ mathbb {R} هسته قطعی منفی (دوم) نامیده می شود {\ ریاضی {X}} اگر

\1.4)\ displaystyle \ sum _ {i، j = 1} ^ {n} c_ {i} c_ {j} \ psi (x_ {i}، x_ {j}) \ leq 0 \ quad \ quad \ quad \ quad ( 1.4)

برای هر،{\ displaystyle n \ in \ mathbb {N}، x_ {1}، \ dots، x_ {n} \ in {\ mathcal {X}}، و\ displaystyle c_ {1} ، \ dots ، c_ {n} \ in \ mathbb {R} به طوری که \ displaystyle \ sum _ {i = 1} ^ {n} c_ {i} = 0.

موازی بین هسته های دوم و مسافت به شرح زیر است: هرگاه هسته دوم بر روی مجموعه از بین برود \ displaystyle \ {(x، x): x \ in {\ mathcal {X}} \}}، و فقط در این مجموعه صفر است ، پس از آن ریشه مربع آن مسافتی است {\ ریاضی {X}}. [10] در همان زمان ، هر فاصله لزوماً با هسته دوم مطابقت ندارد. این فقط در مورد مسافتهای هیلبرتیان صحیح استد اگر کسی بتواند فضای متریک را جاسازی کند ، هیلبرتیان نامیده می شود{\ displaystyle ({\ mathcal {X}} ، d) ایزومتریک به برخی از فضای هیلبرت.

از سوی دیگر ، هسته دوم را می توان با یک زیرخانواده از هسته های pd که به عنوان هسته های بی نهایت تقسیم پذیر شناخته می شوند ، شناسایی کرد. یک هسته بدون ارزشک گفته می شود اگر برای هر کس بی نهایت قابل تقسیم استn \ in \ mathbb {N  هسته مثبت وجود دارد K_ {n به طوری که\ displaystyle K = (K_ {n}) ^ {n}}.

پیوند دیگر این است که یک هسته pd باعث ایجاد یک شبه سنجی می شود ، جایی که اولین محدودیت در عملکرد فاصله از بین می رود تا اجازه دهد{\ نمایشگر d (x ، y) = 0 برای  x \ neq y . با توجه به یک هسته مثبت مثبتکما می توانیم یک تابع مسافت را به صورت زیر تعریف کنیم:

\ displaystyle d (x، y) = {\ sqrt {K (x، x) -2K (x، y) + K (y، y)}}

برخی از برنامه ها [ ویرایش ]

هسته در یادگیری ماشین [ ویرایش ]

اطلاعات بیشتر: روش هسته

هسته های مثبت مثبت ، از طریق هم ارزی بودن آنها با تولید مثل هسته های هیلبرت ، در زمینه نظریه یادگیری آماری از اهمیت ویژه ای برخوردار هستند زیرا قضیه نماینده مشهور است که می گوید هر عملکرد مینیمایزر در یک RKHS را می توان به عنوان ترکیبی خطی از عملکرد هسته نوشت. در نقاط آموزش ارزیابی شد. این یک نتیجه عملی بسیار مفید است زیرا به طور موثر مسئله به حداقل رساندن ریسک تجربی را از یک ابعاد نامتناهی به یک مسئله بهینه سازی بعدی محدود ساده می کند.

هسته در مدل های احتمالی [ ویرایش ]

چندین روش مختلف وجود دارد که در آن هسته ها در تئوری احتمال بوجود می آیند.

  • مشکلات بازیابی غیرمتدرینی: فرض کنید می خواهیم پاسخی پیدا کنیم f (x) عملکرد مدل ناشناختهf در یک نقطه جدید ایکس از یک مجموعه{\ ریاضی {X}}مشروط بر اینکه نمونه ای از جفت های ورودی-پاسخ داشته باشیم {\ displaystyle (x_ {i} ، f_ {i}) = (x_ {i} ، f (x_ {i}))}داده شده توسط مشاهده یا آزمایش. پاسخf_ {من درx_ {من یک تابع ثابت نیست x_ {من بلکه تحقق یک متغیر تصادفی با ارزش واقعی است {\ displaystyle Z (x_ {i})}. هدف این است که اطلاعات مربوط به عملکرد را بدست آورید{\ displaystyle E [Z (x_ {i})]} که جایگزین می شود fدر تنظیم قطعی برای دو عنصر\ displaystyle x ، y \ in {\ mathcal X}} متغیرهای تصادفی Z (x) و {\ نمایشگر Z (y) بدون همبستگی نخواهد بود ، زیرا اگرایکس خیلی نزدیک استی آزمایش های تصادفی شرح داده شده توسط Z (x) و {\ نمایشگر Z (y)اغلب رفتار مشابهی نشان می دهند این توسط یک هسته کوواریانس توضیح داده شده است\ displaystyle K (x، y) = E [Z (x) \ cd Z (y)]. چنین هسته ای با فرضیات ضعیف اضافی ضعیف وجود دارد و مثبت است. اکنون یک تخمین خوب برایZ (x) می توان با استفاده از درون یابی هسته با هسته کوواریانس به دست آمد ، بدون در نظر گرفتن پیشینه احتمالی به طور کامل.

اکنون فرض کنید که یک متغیر نویز است\ epsilon (x)، با میانگین و واریانس صفر \ sigma ^ {2، به آن اضافه شده است ایکس، به طوری که سر و صدا برای افراد مختلف مستقل است ایکس و مستقل از ز در آنجا ، مشکل پیدا کردن یک تخمین خوب برای f با مورد فوق یکسان است ، اما با یک هسته اصلاح شده توسط داده شده \ displaystyle K (x، y) = E [Z (x) \ cdot Z (y)] + \ sigma ^ {2 \ delta _ {xy}.

  • تخمین تراکم توسط هسته ها: مشکل بازیابی تراکم است f توزیع چند متغیره در یک دامنه{\ ریاضی {X}}، از یک نمونه بزرگ {\ displaystyle x_ {1} ، \ dots ، x_ {n} \ in {\ mathcal {X}}}از جمله تکرارها در جایی که نقاط نمونه‌گیری متراکم است ، عملکرد چگالی واقعی باید مقادیر زیادی را به خود اختصاص دهد. تخمین چگالی ساده با شمارش تعداد نمونه ها در هر سلول از یک شبکه ، و ترسیم هیستوگرام حاصل ، که یک تخمین چگالی ثابت چند قطبی را می دهد ، امکان پذیر است. تخمین بهتری را می توان با استفاده از یک هسته ثابت ترجمه غیر منفی به دست آوردک، با انتگرال کامل برابر با یک ، و تعریف کنید

\ displaystyle f (x) = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} K \ left ({\ frac {x-x_ {i}} h}}} \ درست)}

به عنوان یک برآورد صاف

حل عددی معادلات دیفرانسیل جزئی [ ویرایش ]

اطلاعات بیشتر: روشهای مشفری

یکی از بزرگترین زمینه های کاربردی به اصطلاح روش های مشبک ، در محلول عددی PDE ها است . برخی از روش های محبوب meshfree از نزدیک با هسته های مثبت مثبت (مانند پتروف گالرکین محلی بدون سیم (MLPG) ، تکثیر روش ذرات هسته (RKPM) و هیدرودینامیک ذرات نرم (SPH) ) ارتباط نزدیکی دارند . این روشها از هسته پایه شعاعی برای جابجایی استفاده می کنند [11]

قضیه اتساع Stinespring [ ویرایش ]

اطلاعات بیشتر: قضیه اتساع Stinespring

برنامه های دیگر [ ویرایش ]

در ادبیات مربوط به آزمایش های رایانه ای [12] و سایر آزمایش های مهندسی ، به طور فزاینده ای با مدل هایی بر اساس هسته های pd ، RBF یا kriging مواجه می شوید . یکی از این موضوعات مدل سازی سطح پاسخ است . انواع دیگر برنامه های کاربردی که برای جابجایی داده ها جوش می خورند نمونه سازی سریع و گرافیک رایانه ای هستند . در اینجا اغلب از مدل های سطح ضمنی برای تقریب یا درون یابی داده های ابر نقطه استفاده می شود.

کاربردهای هسته pd در شاخه های مختلف دیگر ریاضیات در ادغام چند متغیره ، بهینه سازی چند متغیره و در تجزیه و تحلیل عددی و محاسبات علمی است ، جایی که فرد الگوریتم های سریع ، دقیق و تطبیقی ​​را به صورت ایده آل در محیط های محاسباتی با عملکرد بالا اجرا می کند. [13]