Attention از نگاه ریاضی؛ چرا Q، K و V لازم‌اند؟

از projection و ضرب ماتریسی تا softmax؛ attention را با معادلات اصلی و تفسیر آن‌ها یاد می‌گیریم.

ریاضیات برای هوش مصنوعیمتوسط

هدف یادگیری

Q، K، V، score، softmax و weighted aggregation را بفهمید و بتوانید زنجیره محاسبات attention را توضیح دهید.

ورودی X با سه ماتریس پارامتر به سه نمایش تبدیل می‌شود. Q و K برای ساخت score و V برای حمل اطلاعاتی است که در خروجی ترکیب می‌شوند.

Projectionهای attention

Q = X W_{Q}, K = X W_{K}, V = X W_{V}

ضرب Query و Key

S = Q K^{T}

عضو (i,j) نشان می‌دهد query مربوط به token i با key مربوط به token j چقدر سازگار است.

Scaled dot-product

S = \frac{Q K^{T}}{\sqrt{d_{k}}}

تقسیم بر √d_k اندازه scoreها را کنترل می‌کند تا softmax با افزایش بعد بردارها بیش از حد تند نشود.

Attention weights

A = softmax (\frac{Q K^{T}}{\sqrt{d_{k}}})

Attention output

Z = A V

هر سطر A وزن‌هایی با مجموع ۱ می‌سازد. سپس Z ترکیب وزن‌دار Valueهاست.

HowAttentionWorks

توضیح و پیاده‌سازی سازوکار attention.

HowTransformersWork

ادامه ریاضیات attention تا Transformer.

HowLLMsWork

ارتباط این مفاهیم با مدل‌های زبانی.

می‌توان یک مفهوم را از فرمول تا implementation دنبال کرد.