برای مقابله با چالش‌های محاسباتی ناشی از مدل بزرگ‌تر، «توت‌فرنگی» ممکن است از مکانیزم‌های توجه پراکنده (Sparse Attention) استفاده کند. این مکانیزم‌ها به مدل اجازه می‌دهند که بدون قربانی عملکرد، فقط بر بخش‌های مرتبط و مهم داده‌های ورودی تمرکز کند و با این کار بار محاسباتی را کاهش دهد.

یکی از ویژگی‌های برجسته‌ی مدل «توت‌فرنگی» توانایی‌های پیشرفته‌ی آن در استدلال و حل مسئله به‌شمار می‌آید که مستلزم تغییرات عمیقی در نحوه‌ی پردازش اطلاعات توسط مدل است. توسعه‌ی مدل «توت‌فرنگی» شامل فرایندی است که به‌عنوان روش ستاره (Self-Taught Reasoner یا به‌طور خلاصه STaR) شناخته می‌شود.

این روش در ایجاد یک رویکرد ساختاریافته برای حل مسئله کمک می‌کند تا مشکلات پیچیده را به شکل‌های جدیدی درک کند و به آن‌ها پاسخ دهد، مانند یادگیری مبتنی بر سناریو، خودکارسازی وظایف یا چارچوب‌های استدلالی. این روش ممکن است در غلبه بر محدودیت‌های مدل‌های قبلی هوش مصنوعی نقش کلیدی داشته باشد.

عکاس: Eric Zelikman et al / arxiv.org/pdf/2203.14465v2

در طی این فرایند ابتدا چند مثال حل‌شده به مدل ارائه شده و سپس از مدل خواسته می‌شود که مسائل مشابه را این‌بار خودش حل کند. این روش در اصطلاح «بوت‌استرپینگ» (Bootstrapping) نامیده می‌شود که در اینجا به معنای ارتقای توانایی‌های مدل با تکیه بر خود است.

این فرایند از توانایی‌های استدلالی موجود در مدل زبان استفاده می‌کند و آن‌ها را از طریق تکرار بهبود می‌بخشد. فرایند به این صورت است:

• تولید دلیل‌ها: روش ستاره با یک مجموعه‌ی کوچک از مثال‌ها که گام‌به‌گام استدلال را نشان می‌دهند، شروع به آموزش مدل زبانی بزرگ می‌کند و پس از آموزش، مدل را به تولید دلایل برای مجموعه داده‌ای بزرگ‌تر از سؤالاتی جدید، ترغیب می‌کند.
• فیلتر کردن: مدل بررسی می‌کند که آیا دلایل تولیدشده به پاسخ درست منجر شده‌اند یا نه. تنها دلیل‌هایی که به پاسخ صحیح می‌رسند، حفظ می‌شوند.
• بهبود و آموزش مجدد: مدل با استفاده از این مجموعه‌ی فیلترشده از سؤالات و دلایل موفقیت‌آمیز تولیدشده، آموزش مجدد می‌بیند. این فرایند باعث تقویت توانایی مدل در تولید دلایل مناسب می‌شود.
• ‌تکرار فرایند: فرایند آموزش و تست مرتب تکرار می‌شود. مدل بهبودیافته از مرحله‌ی قبلی دوباره برای تولید دلایل برای همان مجموعه‌ی بزرگ‌تر از سؤالات استفاده می‌کند. این فرایند تکراری به مدل این امکان را می‌دهد که از استدلال‌های تولیدشده توسط خود بیاموزد و عملکردش به مرور زمان بهبود یابد.
• توجیه (اختیاری): برای برطرف کردن محدودیت یادگیری تنها از دلایل موفق اولیه، یک «توجیه» معرفی می‌کند. برای سؤالاتی که مدل به اشتباه پاسخ داده است، پاسخ درست به‌عنوان یک راهنما ارائه می‌شود و از مدل خواسته می‌شود که دلیلی تولید کند که این پاسخ را توجیه کند. این کار به مدل کمک می‌کند از اشتباهاتش بیاموزد و استدلال خود را در مواجهه با مسائل پیچیده‌تر بهبود بخشد.

این روش‌های استدلالی از فرایندهای شناختی انسان الهام گرفته‌اند و به مدل اجازه می‌دهند که در حل مسائل به شیوه‌ای ساختاریافته‌تر و شبیه‌تر به انسان عمل کند. در مدل‌های پیشین بیشتر بر تخصص‌های ویژه در وظایف خاص تأکید می‌شد، اما روش ستاره می‌تواند به توسعه‌ی استدلال عمومی‌تری منجر شود. با استفاده از این روش، OpenAI قصد دارد مدلی بسازد که بتواند طیف گسترده‌تری از وظایف را به شکل مؤثرتری حل کند.

به عنوان مثال:

یا

یکی از پیشرفت‌های فنی کلیدی در مدل «توت‌فرنگی» توانایی حفظ حافظه‌ی بلندمدت و درک زمینه‌ای در مکالمات یا تعاملات طولانی به شمار می‌آید. این قابلیت برای بهبود تجربه‌ی کاربری بسیار حیاتی است و اهمیت آن به‌ویژه در مکالمات چندمرحله‌ای (برای حفظ موضوع در طول جلسات طولانی) پررنگ‌تر می‌شود.

• ظرفیت حافظه‌ی گسترده: مدل‌های قبلی توانایی حفظ زمینه در مکالمات کوتاه‌تر را داشتند، اما زمانی که مکالمه به چندین تبادل یا موضوعات مختلف گسترش می‌یافت، معمولاً دچار مشکل فراموشی می‌شدند. مدل «توت‌فرنگی» به گونه‌ای طراحی شده است که بتواند به‌طور مؤثرتری تعاملات قبلی را به خاطر بیاورد و ادغام کند، به‌طوری‌که کاربران نیازی به تکرار اطلاعات نداشته باشند و مکالمات به‌طور طبیعی و روان ادامه پیدا کند.

• مکانیزم حافظه‌ی سلسله‌مراتبی: «توت‌فرنگی» ممکن است از یک سیستم حافظه‌ی سلسله‌مراتبی استفاده کند که به آن امکان می‌دهد مهم‌ترین بخش‌های اطلاعات را در طول زمان اولویت‌بندی و حفظ کند. این مکانیزم به مدل این امکان را می‌دهد که جزئیات کلیدی از یک مکالمه را به‌طور انتخابی ذخیره کند و در صورت نیاز به خاطر بیاورد، بدون آنکه در داده‌های کم‌اهمیت‌تر، سردرگم شود.

مشابه مدل‌های پیشین، «توت‌فرنگی» روی یک مجموعه‌ی عظیم و متنوع از داده‌ها و احتمالاً با یک مجموعه‌‌داده‌ی گسترده‌تر و جدیدتر آموزش می‌بیند. این آموزش گسترده به مدل امکان می‌دهد تا از دانش وسیعی بهره ببرد و اطمینان حاصل کند که پاسخ‌های آن دقیق و به‌روز باقی می‌ماند.

مدل جدید «توت‌فرنگی» از شرکت اوپن‌ای‌آی، درهای جدیدی را به روی طیف وسیعی از کاربردهای هیجان‌انگیز در صنایع مختلف باز می‌کند. با قابلیت‌های پیشرفته‌ی استدلال و پردازش چندگانه، این مدل می‌تواند وظایف پیچیده‌تری را با دقت بیشتری انجام دهد و به این ترتیب، انقلابی در نحوه‌ی استفاده از هوش مصنوعی در بخش‌هایی مانند بهداشت و درمان، آموزش، کسب‌وکار، صنایع خلاق و حتی بخش‌های دیگر ایجاد کند.

اگرچه بسیاری از این کاربردها هنوز در مراحل ابتدایی و نظری هستند، بهبودهای «توت‌فرنگی» نشان می‌دهد که این مدل تأثیرات گسترده‌ای بر فناوری‌های فعلی و نوظهور خواهد داشت. در ادامه، به برخی از کاربردهای بالقوه و پیش‌بینی‌هایی درباره‌ی مدل «توت‌فرنگی» خواهیم پرداخت.

یکی از کاربردهای امیدوارکننده‌ی مدل «توت‌فرنگی» در حوزه‌ی بهداشت و درمان و تحقیقات پزشکی است. توانایی‌های پیشرفته‌ی استدلال و پردازش چندگانه‌ی مدل «توت‌فرنگی» آن را به گزینه‌ای ایدئال برای کمک به تشخیص بیماری‌ها، تجزیه‌‌وتحلیل تصاویر پزشکی و طراحی برنامه‌های درمان شخصی‌سازی‌شده تبدیل می‌کند.

• تشخیص پزشکی: مدل «توت‌فرنگی» می‌تواند به متخصصان بهداشت و درمان در تشخیص دقیق‌تر بیماری‌ها با تجزیه‌وتحلیل مجموعه‌‌داده‌های بزرگ شامل سوابق پزشکی، نتایج آزمایشگاهی و تاریخچه‌ی بیماران کمک کند. قابلیت‌های استدلالی پیشرفته‌ی آن این امکان را می‌دهد که الگوهایی را که ممکن است توسط روش‌های تشخیصی سنتی یا حتی مدل‌های هوش مصنوعی قدیمی‌تر نادیده گرفته شوند، شناسایی کند. برای مثال، این مدل می‌تواند علائم اولیه‌ی بیماری‌هایی مانند سرطان یا مشکلات قلبی‌عروقی را بر اساس داده‌های پیچیده شناسایی کند.