ترنسفورمر چگونه زبان هوش مصنوعی را عوض کرد؟

مسئلهٔ قبل از ترنسفورمر چه بود؟

مدل‌های زبانی قدیمی‌تر معمولاً متن را به‌ترتیب کلمه‌به‌کلمه پردازش می‌کردند. این روش برای حفظ توالی طبیعی بود، اما دو محدودیت داشت: آموزش آن سخت‌تر موازی می‌شد و ارتباط میان واژه‌های دور از هم باید از زنجیره‌ای طولانی عبور می‌کرد.

پژوهشگران مقالهٔ ۲۰۱۷ پیشنهاد کردند بخش اصلی پردازش توالی را بر «توجه» بنا کنند؛ یعنی مدل هنگام ساخت نمایش هر واژه، مستقیماً بررسی کند کدام بخش‌های دیگر متن برای آن مهم‌ترند.

خودتوجهی با یک مثال ساده

جملهٔ «رها کتاب را برداشت چون آن را لازم داشت» را در نظر بگیر. برای فهم «آن»، مدل باید بداند این واژه به «کتاب» اشاره دارد. خودتوجهی اجازه می‌دهد هر موقعیت متن به موقعیت‌های دیگر نگاه کند و برای ارتباط‌های مهم وزن بیشتری بسازد.

برای هر قطعهٔ متن سه نمایش ساخته می‌شود:

• پرس‌وجو یا Q: این موقعیت دنبال چه نوع اطلاعاتی است؟
• کلید یا K: این موقعیت چه نشانه‌ای برای تطبیق دارد؟
• مقدار یا V: اگر این موقعیت مهم بود، چه اطلاعاتی باید منتقل شود؟

شباهت پرس‌وجو و کلید، وزن توجه را تعیین می‌کند و خروجی ترکیبی وزن‌دار از مقدارهاست. فرمول فشردهٔ مقاله چنین نوشته می‌شود:

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V

هدف فرمول حفظ‌کردن نمادها نیست؛ نکته این است که مدل ارتباط‌ها را برای هر موقعیت و هر متن دوباره محاسبه می‌کند.

چرا چند «سرِ توجه» وجود دارد؟

یک رابطه برای فهم زبان کافی نیست. ممکن است یک بخش مدل به ارجاع ضمیر، بخشی به فاصلهٔ زمانی، بخشی به ساختار جمله و بخشی به شباهت معنایی حساس شود. توجه چندسری چند فضای متفاوت از رابطه را هم‌زمان بررسی می‌کند و سپس نتیجه‌ها را کنار هم می‌گذارد.

نباید تصور کرد هر سر همیشه معنایی کاملاً انسانی و ثابت دارد. این‌ها نمایش‌های آموخته‌شده‌اند و تفسیرشان همیشه ساده نیست.

اگر همه‌چیز هم‌زمان دیده می‌شود، ترتیب کلمات چه می‌شود؟

خودتوجهی به‌تنهایی ترتیب را نمی‌شناسد. مقاله برای حل این مسئله «رمزگذاری موقعیت» را به نمایش ورودی اضافه کرد تا مدل بداند هر قطعه در کجای توالی قرار دارد. نسخهٔ اصلی از الگوهای سینوسی استفاده کرد؛ مدل‌های بعدی روش‌های موقعیتی دیگری ساختند.

چرا این معماری نقطهٔ عطف شد؟

• آموزش موازی‌تر: بسیاری از موقعیت‌ها می‌توانند هم‌زمان پردازش شوند.
• مسیر کوتاه‌تر میان واژه‌ها: ارتباط دور لازم نیست حتماً از تمام موقعیت‌های میانی عبور کند.
• قابلیت گسترش: همان ایده در متن، تصویر، صدا، ویدئو و ترکیب آن‌ها به‌کار رفت.
• ساختار ماژولار: لایه‌های توجه و شبکهٔ پیش‌خور را می‌توان تکرار و بزرگ‌تر کرد.

مقالهٔ اصلی این معماری را روی ترجمهٔ ماشینی آزمود و هم کیفیت رقابتی و هم آموزش موازی‌تر را نشان داد. مدل‌های زبانی امروزی دقیقاً همان نمونهٔ ۲۰۱۷ نیستند، اما خانوادهٔ معماری آن‌ها عمیقاً از ترنسفورمر آمده است.

ترنسفورمر چه چیزی را تضمین نمی‌کند؟

توجه به یک بخش متن به معنای «فهم انسانی» یا «درست‌بودن» آن نیست. مدل می‌تواند رابطه‌های زبانی قوی بسازد و در عین حال واقعیتی نادرست تولید کند. پنجرهٔ متنی بزرگ‌تر نیز حافظهٔ بی‌نقص ایجاد نمی‌کند؛ اطلاعات ممکن است کم‌اهمیت وزن بگیرد یا در میان متن گم شود.

همچنین واژهٔ «توجه» در این معماری یک عملیات ریاضی است، نه تمرکز آگاهانه یا قصد ذهنی.

این موضوع برای کاربر عادی چه فایده‌ای دارد؟

ویژگی معماری	نتیجهٔ کاربردی
رابطهٔ بخش‌های متن محاسبه می‌شود	ساختار روشن، تیترها و ارجاع دقیق به مدل کمک می‌کند.
ترتیب و موقعیت مهم‌اند	اطلاعات حیاتی را نزدیک دستور و با برچسب روشن قرار بده.
متن طولانی وزن یکسان نمی‌گیرد	زمینهٔ اضافی را حذف و نکات کلیدی را خلاصه کن.
روانی، تضمین حقیقت نیست	عدد، نام، نقل‌قول و ادعای مهم را از منبع بررسی کن.

جمع‌بندی

نوآوری ترنسفورمر فقط یک فرمول نبود؛ تغییر زاویهٔ نگاه به توالی بود. به‌جای عبور اجباری از مسیر کلمه‌به‌کلمه، مدل می‌تواند رابطه‌های مهم را مستقیماً وزن‌دهی کند. همین ایده بستری ساخت که با داده و محاسبهٔ بیشتر، مدل‌های زبانی بزرگ و سامانه‌های چندرسانه‌ای امروز روی آن رشد کردند.