كما هو الحال مع الدماغ البشري ، تظل الهندسة المعمارية الأساسية للتعلم الآلي الذكاء الاصطناعي (AI) لغزًا غير مفسر إلى حد كبير. ومع ذلك ، حدد فريق من الباحثين الآن نقطة مفتاح التعلم لنماذج محولات الذكاء الاصطناعى. أبلغت المجموعة ، من إيطاليا سيسا ميديالاب ، عن نتائجها في مجلة الميكانيكا الإحصائية: النظرية والتجربة ، بالتفصيل الأعمال الداخلية المعقدة للشبكات العصبية الاصطناعية.
وكتب المؤلف الأول هوغو كوي ، باحث ما بعد الدكتوراه في مركز العلوم والتطبيقات ، “العديد من الدراسات التجريبية قدمت أدلة على ظهور آليات خوارزمية (القدرات) في تعلم نماذج اللغة ، والتي تؤدي إلى تحسينات نوعية في القدرات النموذجية”. Zdeborová في EPFL (école polytechnique fédérale de lausanne). “ومع ذلك ، فإن التوصيف النظري لكيفية ظهور مثل هذه الآليات لا يزال بعيد المنال.”
يهدف الفريق في SISSA إلى فهم كيفية قدرة LLMs على فهم اللغة. كما سيشير أي مدرس في المدرسة الابتدائية بسهولة ، هناك فرق كبير بين كلمات قراءة الطفل والفهم ، وفهم ما كتب. هناك لحظة محورية يتم فيها تشغيل المصباح الكهربائي للتفاهم لنماذج اللغة الكبيرة (LLMS). اكتشف الباحثون تلك اللحظة التي تبدأ فيها الذكاء الاصطناعي في فهم ما تمت قراءته مقابل الاعتماد على موضع الكلمات في جملة.
من المهم فهم الأعمال الداخلية لـ AI (GENAI) ، بالنظر إلى التبني السريع لمنظمة العفو الدولية في العمل والمنزل. يستخدم AI AI التعلم العميق لإنشاء الصور والصوت والفيديو والنص. تشمل أمثلة نماذج GENAI أجهزة الترميز التلقائي (VAES) ، وشبكات الخصومة التوليدية (GANS) ، ونماذج الانتشار ، والمحولات. وفقًا لتقرير فبراير 2025 الصادر عن المكتب الوطني للبحوث الاقتصادية (NBER) ، يتم استخدام الذكاء الاصطناعى التوليدي من قبل 39 ٪ من المستجيبين للمسح للعمل أو خارج العمل ، والأكثر استخدامًا هو chatgpt بواسطة Openai (28 ٪) ، Gemini بواسطة Google (17 ٪) ، و Microsoft Copilot المستندة إلى GPT (14 ٪).
نماذج لغة محولات الذكاء الاصطناعي هي تقنية تمكين لنماذج اللغة الكبيرة (LLMs) مثل ChatGPT و Gemini و Claude by Anthropic و Llama by Meta. تم تقديم هندسة Transformer لأول مرة في عام 2017 مع ورقة البحث التاريخي “الانتباه كل ما تحتاجه” لفريق من علماء Google و Ashish Vaswani و Noam Shazer و Niki Parmar و Jakob Uszkoreit و Llion Jones و Aidan Gomez و łukasz Kaiser و Illia Polosukhin.
ما يميز نماذج محولات الذكاء الاصطناعى عن نماذج التعلم العميق الأخرى هو آلية الاهتمام الذاتي ، والتي تمكنها من إيلاء اهتمام إضافي للبيانات الأكثر صلة بالتدريب الأسرع ودقة الأداء.
وكتب الباحثون: “في عملنا ، نستلهم من الفيزياء ، حيث تم طرح سؤال نظري مماثل حول طبيعة التحولات الطور قبل قرن لنماذج من الجزيئات المتفاعلة ، مثل نموذج ISING الشهير الذي يصف المغناطيسية المغناطيسية”.
يعد نموذج ISING نموذجًا رياضيًا لوصف المغناطيسية في الفيزياء النظرية والميكانيكا الإحصائية (المعروفة أيضًا باسم الديناميكا الحرارية الإحصائية) التي تم تقديمها في عام 1920 من قبل الفيزيائي الألماني فيلهلم لينز ، الأستاذ بجامعة هامبورغ التي اختار طالبها إرنست النموذج في عام 1925 للحصول على أشرطة الدكتوراه.
المغناطيسية المغناطيسية هي واحدة من خمسة أنواع من المغناطيسية وهي أقوى شكل من أشكال المغناطيسية. تأتي كلمة “Ferro” من اللاتينية للحديد ، والمواد المغناطيسية – الحديد ، والنيكل ، والكوبالت ، وبعض العناصر الأرضية النادرة – من المغنطيسية التلقائية ولا تتطلب أن يكون مجالًا خارجيًا مغناطيسيًا.
اقرأ أيضًا...
تستمد الميكانيكا الإحصائية قوانين النظم الديناميكية الحرارية باستخدام معادلات الحركة للذرات والجزيئات. في نموذج ISING ، يحدث انتقال الطور عندما يكون هناك انتقال من حالة منظمة إلى حالة غير منظمة. على سبيل المثال ، إذا تعرض مغناطيس الحديد لدرجة حرارة الحديد ، فسوف ينهار المغناطيسية.
“على الرغم من أنه من الناحية الرياضية ، يجب مراعاة حد كبير الحجم لتأكيد وجود انتقالات طور حادة ، فإن هذه النظرية المقاربة عادة ما تطابق عمليات المحاكاة بشكل وثيق ، حتى بالنسبة لأحجام محدودة معتدلة نسبيًا” ، كتب العلماء.
مثلما توجد نقطة تحول بين المغنطيسية وغير المغناطيسية ، اكتشف باحثو SISSA أن LLMs لها انتقال مرحلة بين الاعتماد على موضع الكلمة في الجمل والمعنى. لتحديد كيفية تحقيق LLMS بالضبط ، أنشأ العلماء ودرسوا نماذج مبسطة لآليات الاهتمام الذاتي.
ومن المثير للاهتمام ، اكتشف العلماء أن انتقال المرحلة في LLMs من استخدام وضع الكلمات في جملة إلى المعنى يتم تحديده بشكل صارخ ، وليس تدريجيًا. أسفل نقطة التحول ، تعتمد الشبكة العصبية الاصطناعية على مواقف الكلمات ، في حين أن فوق نقطة التحول تتبدل على الفور حتى تعتمد على الفهم بناءً على المعنى.
يشبه الفوري من المفتاح تقليب مفتاح لإلقاء الضوء على المصباح الكهربائي. إنه يردد عالم الرياضيات اليوناني القديم Archimedes 'Eureka (Greak for “I Found It”) في اكتشاف كيفية قياس الحجم.
تشير نتائج الدراسة إلى أنه من أجل تحقيق LLMS ، يجب أن تخضع لانتقال مرحلة متميز وعبور نقطة التحول من الاعتماد على موضع الكلمة إلى المعنى. قد يكون للاكتشاف آثار مهمة في السعي لتحقيق AI يمكن تفسيره وأكثر قوة في المستقبل.
حقوق الطبع والنشر © 2025 كامي روسو جميع الحقوق محفوظة.
المصدر :- Psychology Today: The Latest
