micrograd؛ فهم backpropagation با یک پیاده‌سازی کوچک

وقتی automatic differentiation در یک framework بزرگ پنهان است، سازوکار آن می‌تواند انتزاعی به نظر برسد. یک پیاده‌سازی کوچک data structure، مشتق‌های محلی و ترتیب propagation گرادیان را آشکار می‌کند.

هر مقدار اسکالر می‌تواند مقادیری را که آن را ساخته‌اند و عملیاتی که روی آن انجام شده نگه دارد. forward pass یک گراف جهت‌دار بدون دور می‌سازد که بعداً می‌توان آن را در جهت معکوس پیمود.

هر عملیات یک مشتق محلی دارد. backpropagation نیازی به ساخت یک مشتق نمادین جدید برای کل شبکه ندارد؛ همین قوانین محلی با قاعده زنجیره ترکیب می‌شوند.

از خروجی اسکالر شروع می‌کنیم و تغییر خروجی نسبت به مقادیر میانی را به عقب منتقل می‌کنیم. اگر چند مسیر به یک مقدار برسند، سهم گرادیان‌ها با هم جمع می‌شود.

بعد می‌توان یک لایه ساده شبکه عصبی را از همین مقادیر اسکالر ساخت. نورون یک مجموع وزن‌دار به‌علاوه bias و سپس یک activation محاسبه می‌کند و موتور autograd گرادیان پارامترها را فراهم می‌کند.

• Backpropagation در اصل اجرای مکرر قاعده زنجیره روی یک گراف محاسباتی است.
• پشت automatic differentiation نیز مشتق‌های محلی صریح وجود دارند.
• پیاده‌سازی کوچک برای فهم مفید است، اما جایگزین tensor libraryهای بهینه برای کار مقیاس‌بالا نیست.
• فهم سازوکار اسکالر کمک می‌کند علت نیاز به batch، memory management و ملاحظات عددی در پیاده‌سازی‌های ماتریسی و tensor را بهتر بفهمیم.

این توضیح بین درس‌های ریاضی درباره گرادیان و مباحث بزرگ‌تر Transformer قرار می‌گیرد. عادت مشترک این است: از عملیات ریاضی شروع کنیم، data flow را روشن کنیم و بعد ببینیم نرم‌افزار چه چیزی به آن اضافه می‌کند.