فيزيائيون من جامعة جورج واشنطن يكشفون عن صيغة للتنبؤ بفشل الدردشة الآلية

يعتقد فيزيائيان من جامعة جورج واشنطن أنهما توصلا إلى حل لمشكلة تسعى لها أوساط أمان الذكاء الاصطناعي منذ سنوات، وهي طريقة للتنبؤ رياضياً بموعد خروج الدردشة الآلية عن المسار الصحيح. نشر نيل جونسون وفرانك يينجي هوو هذا العمل في مجلة Patterns، والفكرة الأساسية بسيطة جداً: هناك نقطة تحول مدمجة في كيفية استجابة هذه النماذج، ويمكن حسابها قبل أن تحدث.

الصيغة تنتج رقماً يسمى n. هذا الرقم يخبرك تقريباً بعدد الردود الإيجابية والمعقولة التي سيقدمها الروبوت قبل أن ينقلب ويصدر شيئاً ضاراً — محتوى متطرف، نصائح خطيرة، أو أي شيء يقرره النموذج عندما تنزلق الحواجز. إذا كانت المحادثة تميل بالفعل إلى السلبية، يمكن أن يكون n صفراً، مما يعني أن الناتج السيئ يأتي فوراً. إذا بقيت النغمة بناءة، يستمر الروبوت حتى يصل إلى ذلك الحد. إنها ليست عشوائية. إنها نمط، ويقول جونسون وهوو أنه يمكن رسمها.

ما علاقة الرأس الانتباهي بالأمر

الآلية وراء التحول هي شيء يسمى الرأس الانتباهي. هذا هو الجزء من النموذج الذي يقرر أي أجزاء من المحادثة تهم أكثر في أي لحظة معينة. مع استمرار الدردشة، يتغير تركيز الرأس الانتباهي. يبدأ في وزن أجزاء مختلفة من المحادثة بشكل مختلف، وفي مرحلة ما، يؤدي هذا الانجراف إلى دفع النموذج نحو إنتاج مخرجات سلبية. بنى الباحثون صيغتهم حول تتبع هذا الانجراف بالضبط.

اختبارات مبكرة نظرت في 15 من أصل 16 حالة عبر ستة نماذج مفتوحة الوزن من OpenAI وEleutherAI وMeta. تراوحت هذه النماذج من 124 مليون إلى 410 مليون معلمة — ليست ضخمة بمعايير اليوم، ولكنها كبيرة بما يكفي لإجراء اختبارات ذات مغزى. الصيغة توقعت سلوك التحول بشكل صحيح في 15 من تلك الحالات الـ16. النسخة المنشورة من البحث تدفع الأمور إلى أبعد من ذلك، حيث تختبر نماذج تصل إلى 12 مليار معلمة.

النماذج الأكبر مهمة بسبب الهدف الحقيقي لهذا البحث: أنظمة الذكاء الاصطناعي غير المتصلة بالإنترنت.

المشكلة غير المتصلة التي لا يحلها أحد بسرعة كافية

الذكاء الاصطناعي المتصل بالسحابة لديه شبكة أمان. هناك خوادم تراقب، وفلاتر تعمل، وفحوصات أمان تُجرى في الوقت الحقيقي. الذكاء الاصطناعي غير المتصل ليس لديه أي من ذلك. النماذج التي تعمل مباشرة على الجهاز — بدون إنترنت، بدون إشراف خارجي — يمكن أن تنتج مخرجات سيئة دون أن يلتقطها أحد. يستهدف جونسون وهوو تحديداً الأنظمة مثل تلك الموجودة في تطبيق AI Edge Gallery من جوجل، والذي يسمح لهواتف أندرويد بتشغيل نماذج الذكاء الاصطناعي محلياً دون إرسال البيانات إلى خوادم خارجية.

روبوتات الدردشة المصاحبة على الأجهزة الشخصية تقع في نفس الفئة. إنها تصبح أكثر شيوعاً مع تحسن الأجهزة بما يكفي لتشغيل نماذج جادة دون اتصال بيانات. وهي تعمل أساساً بشكل أعمى من ناحية الأمان.

الإصلاح المقترح من الباحثين هو نظام مراقبة موازٍ — عملية خفيفة الوزن تعمل جنباً إلى جنب مع الذكاء الاصطناعي تراقب انخفاض n إلى ما دون عتبة الأمان. عندما يحدث ذلك، يحذر النظام المستخدم قبل أن تصل نقطة التحول. منخفضة التكلفة، كما يقولون. عملية بما يكفي لتعمل على نفس الجهاز الذي يعمل عليه النموذج نفسه.

إنها ليست حلاً مثالياً. الباحثون واضحون بشأن ذلك. تدريب المحاذاة — الطريقة القياسية لتشكيل سلوك الذكاء الاصطناعي — يمكن أن يدفع نقطة التحول إلى الخارج لمطالبات معينة، لكنه لا يقضي على الآلية الأساسية. الانجراف لا يزال يحدث. الانقلاب لا يزال يأتي في النهاية. المحاذاة تشتري الوقت. لا تحل المشكلة الجذرية.

هناك تقنيات أخرى تستحق المتابعة. حقن المحتوى — وهو توجيه المحادثة عن طريق إدخال مواد أثناء الدردشة — قد يؤخر التحول السلبي. لكن التفاصيل غامضة، ولا يدعي الباحثون أنه موثوق به بعد.

إحدى النتائج من العمل السابق لنفس الفريق تستحق الذكر. استخدام اللغة المهذبة — “من فضلك”، “شكراً” — ليس له تأثير يذكر على مخرجات الذكاء الاصطناعي. النموذج يعالج تلك الكلمات على أنها غير مرتبطة رياضياً بالطلب الفعلي. لذا إذا كنت تأمل أن تحافظ الأخلاق الحميدة على أدب روبوت الدردشة الخاص بك، فهذه ليست الطريقة التي يعمل بها حقاً.

ما هي الحدود

الصيغة ليست محصنة ضد الخطأ. الاختبارات الأولية استخدمت نماذج صغيرة نسبياً ونافذة رمزية محدودة. النماذج الأكبر والأكثر تعقيداً قد تتصرف بشكل مختلف بطرق لا تلتقطها الصيغة الحالية بالكامل. الباحثون يعرفون ذلك. هناك حاجة إلى مزيد من العمل قبل أن يتمكن أي شخص من اعتبار هذا أداة أمان جاهزة للإنتاج.

لكن الاتجاه واضح. الأجهزة تستمر في التحسن. الذكاء الاصطناعي غير المتصل يصبح أكثر قدرة. والفجوة بين ما يمكن أن تفعله هذه النماذج وما يمكن لآليات الأمان أن تلتقطه ربما تتسع بشكل أسرع مما يدركه معظم الناس. صيغة جونسون وهوو هي محاولة لإغلاق تلك الفجوة — على الأقل بما يكفي لتحذير المستخدمين قبل أن تنحرف الأمور.

البحث المنشور يظهر في Patterns، مع اختبارات موسعة لنماذج تصل إلى 12 مليار معلمة.

الأسئلة الشائعة

ما الذي تحسبه صيغة نقطة التحول التي طورها جونسون وهوو بالفعل؟

الصيغة تحسب n — عدد الردود الإيجابية التي سيقدمها روبوت الدردشة قبل إنتاج مخرجات ضارة أو سلبية، بناءً على سياق المحادثة وسلوك الرأس الانتباهي للنموذج.

كيف أدت الصيغة في الاختبارات؟

في الاختبارات الأولية، توقعت الصيغة سلوك التحول بشكل صحيح في 15 من أصل 16 حالة عبر ستة نماذج مفتوحة الوزن من OpenAI وEleutherAI وMeta، تراوحت من 124 مليون إلى 410 مليون معلمة.