احتمال، likelihood و Bayes؛ پایه تصمیم‌گیری زیر عدم‌قطعیت

از احتمال شرطی تا likelihood و قضیه Bayes؛ مفاهیمی که در آمار و یادگیری ماشین مدام به آن‌ها برمی‌گردیم.

ریاضیات برای هوش مصنوعیمتوسط

مشاهده آموزش‌های دیگر

هدف یادگیری

تفاوت probability و likelihood را بفهمید، یک likelihood ساده بنویسید و Bayes را برای یک مثال عددی تفسیر کنید.

پیش‌نیازها

احتمال مقدماتی
جبر مقدماتی
تابع نمایی

احتمال شرطی

وقتی وقوع B را می‌دانیم، احتمال A را با probability شرطی بیان می‌کنیم.

احتمال شرطی

P(A\mid B)=\frac{P(A\cap B)}{P(B)}

Bayes

قضیه Bayes

P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}

Bayes راهی برای به‌روزرسانی یک باور اولیه با استفاده از شواهد فراهم می‌کند.

Likelihood با probability چه فرقی دارد؟

در likelihood، داده مشاهده‌شده ثابت است و پارامتر مدل تغییر می‌کند. بنابراین likelihood احتمال یک پارامتر نیست؛ معیاری برای مقایسه این است که پارامترهای مختلف داده را چقدر خوب توضیح می‌دهند.

Likelihood

L(\theta\mid x)=p(x\mid\theta)

Maximum likelihood

\hat\theta=\arg\max_\theta L(\theta\mid x)

مثال Bernoulli

Likelihood سکه

L(p)=p^k(1-p)^{n-k}

MLE برای Bernoulli

\hat p=\frac{k}{n}

اگر سکه را n بار پرتاب کنیم و k بار شیر بیاید، برآورد maximum likelihood برای p برابر نسبت k به n است.

ارتباط با Machine Learning

Probability و likelihood در classification، estimation و lossهای آماری ظاهر می‌شوند. فهم این دو مفهوم کمک می‌کند خروجی مدل و فرض‌های آماری پشت آن را دقیق‌تر بخوانیم.

تمرین

برای k=7 و n=10، MLE پارامتر Bernoulli را حساب کنید.
تفاوت P(A|B) و P(B|A) را توضیح دهید.
یک مثال برای استفاده از Bayes در تشخیص یا تصمیم‌گیری بنویسید.

پروژه مرتبط

HowDeepLearningWorks

مفاهیم یادگیری و optimization در یک مسیر آموزشی فنی دنبال می‌شوند.

باز کردن منبع

راهکارهای مرتبط

هوش مصنوعی و یادگیری ماشین مدل‌سازی، الگوریتم و بهینه‌سازی

برای یک مسئله AI با عدم‌قطعیت روبه‌رو هستید؟

می‌توان مسئله را از داده و فرض‌های آماری شروع کرد و تا مدل و implementation ادامه داد.

گفت‌وگو درباره مسئله