ضرب داخلی و cosine similarity؛ هندسه‌ای که به relevance می‌رسد

از زاویه بین دو بردار تا شباهت embeddingها؛ یک مفهوم ساده جبر خطی را در search و AI دنبال می‌کنیم.

ریاضیات برای هوش مصنوعیمتوسط

مشاهده آموزش‌های دیگر مشاهده پروژه مرتبط

هدف یادگیری

بتوانید dot product و cosine similarity را محاسبه کنید و تفاوت اندازه و جهت بردار را در یک مسئله search توضیح دهید.

پیش‌نیازها

بردارها و ماتریس‌ها
جبر مقدماتی
هندسه پایه

ضرب داخلی

ضرب داخلی دو بردار اندازه و جهت آن‌ها را با هم ترکیب می‌کند.

Dot product

x\cdot y=\sum_i x_i y_i

تفسیر هندسی

رابطه هندسی

x\cdot y=\|x\|\,\|y\|\cos\theta

θ زاویه بین دو بردار است. بنابراین dot product فقط درباره زاویه نیست و اندازه بردارها نیز روی مقدار آن اثر دارد.

Cosine similarity

\cos(x,y)=\frac{x\cdot y}{\|x\|_2\|y\|_2}

با تقسیم بر normها، اثر اندازه حذف می‌شود و تمرکز روی جهت نسبی دو بردار قرار می‌گیرد.

مثال عددی

دو بردار

x=\begin{bmatrix}1\\0\end{bmatrix},\quad y=\begin{bmatrix}0.8\\0.6\end{bmatrix}

محاسبه

x\cdot y=0.8,\qquad \|x\|_2=\|y\|_2=1

در نتیجه cosine similarity برابر 0.8 و زاویه تقریباً 36.9 درجه است.

ارتباط با search و embedding

در retrieval، یک query و یک document می‌توانند به بردار تبدیل شوند و یک معیار similarity برای مقایسه آن‌ها به کار رود. اما انتخاب similarity و ساخت embedding باید با داده واقعی اعتبارسنجی شود.

ارتباط با پروژه Elasticsearch

پروژه Elasticsearch Search Platform روی relevance، تحلیل متن، filtering و explainability تمرکز دارد. این درس یکی از پایه‌های ریاضی لازم برای فهم retrieval برداری است، نه جایگزین کل مدل relevance.

تمرین

cosine similarity دو بردار (1,1) و (1,0) را حساب کنید.
مثالی بسازید که dot product بزرگ باشد ولی cosine similarity پایین‌تر باشد.
توضیح دهید چرا normalization برای مقایسه جهت مفید است.

پروژه‌های مرتبط

Elasticsearch Search Platform

Relevance و search behavior در یک پلتفرم قابل بررسی پیاده‌سازی شده‌اند.

باز کردن منبع

HowAttentionWorks

Dot product به‌طور مستقیم در محاسبات attention ظاهر می‌شود.

باز کردن منبع

راهکارهای مرتبط

توسعه و مهندسی نرم‌افزار هوش مصنوعی و یادگیری ماشین

مسئله‌ای در search یا representation دارید؟

می‌توان similarity و retrieval را متناسب با داده و نیاز واقعی بررسی کرد.

گفت‌وگو درباره مسئله