في أواخر أبريل/نيسان 2026، وبحسب رواية مؤسس شركة ناشئة اسمها "بوكيت أو إس" (PocketOS)، كان وكيل يعمل بالذكاء الاصطناعي يؤدي مهمة روتينية في بيئة التجربة، فاصطدم بخطأ صغير وقرر أن يصلحه بنفسه. وبطلب واحد محا قاعدة بيانات الشركة الحقيقية ونسخها الاحتياطية في تسع ثوان. ثم كتب يشرح ما فعل، ناقلا عن تعليماته نفسها: "لا تخمن أبدا"، ثم مضيفا: "وهذا بالضبط ما فعلته".
فمن المسؤول؟ "العقل" الذي خمن، أم "اليد" التي نفذت؟ الجواب: لا هذا ولا ذاك وحده. فالخطر لم يظهر حقا إلا حين صارت للذكاء الاصطناعي يد تفعل، أي حين صار ما يسمى "وكيلا ذكيا" يعمل في الشركات والخدمات. وهو خطر لا يكمن في قطعة واحدة من هذا النظام، بل في اجتماع قطع كل منها بريئة على حدة. ولكي يتضح ذلك، لا بد أن نفهم أولا كيف تعمل قطعه الثلاث: النموذج، والوكيل، والذاكرة.
حين نقول "نموذج ذكاء اصطناعي" يتخيل كثيرون كائنا يفكر في مكان ما. والحقيقة أبسط من ذلك: فالنموذج ملف ضخم من الأرقام تسمى "الأوزان". والنموذج المفتوح الذي يضم سبعين مليار رقم، مثلا، يشغل نحو 140 غيغابايت على القرص.
وهذه الأرقام لم يكتبها أحد بيده، بل ضبطت أثناء ما يسمى بـ"التدريب".
يعرض على النموذج قدر هائل من النصوص، ويطلب منه أن يتوقع الكلمة التالية في كل جملة، فإذا أخطأ عدلت أرقامه تعديلا طفيفا. ويتكرر ذلك مليارات المرات حتى تصير الأرقام صورة لأنماط اللغة والمعرفة التي في تلك النصوص، ثم يدرب بعد ذلك على اتباع التعليمات وإنجاز المهام. فإذا انتهى التدريب ثبتت الأرقام، فلا يتغير منها رقم مهما استعمل النموذج.
فكيف يجيب؟ يقسم سؤالك إلى مقاطع صغيرة، ويحول كل مقطع إلى أرقام، ثم تمر هذه الأرقام على طبقات متتالية من الحسابات بالأوزان الثابتة، فيخرج في الطرف الآخر احتمال لكل مقطع يمكن أن يأتي بعده. يختار برنامج التشغيل واحدا منها ويضيفه إلى النص، ثم يعيد الكرة مقطعا بعد مقطع حتى يكتمل الجواب. فالنموذج، في جوهره، آلة تتوقع الكلمة التالية ببراعة مدهشة.
ومن هنا 3 حقائق يغفل عنها كثيرون. فالنموذج بلا كهرباء ليس أكثر من قطعة معدن: بنية منتظمة لا تفعل شيئا. وحتى إذا سرى فيه التيار فإنه لا يعمل إلا لحظة يصله طلب، ثم يسكن سكونا تاما حتى يأتي الطلب التالي؛ فلا ينتظر ولا يتذكر ولا يريد. ثم إنه لا يملك أن يفعل شيئا في العالم، فكل ما يخرجه نص.
لكن جموده لا يعني أنه بلا خطر. فأدق ما يشبه به هو المفتاح: قطعة معدن هو الآخر، لا يفعل شيئا وهو على الطاولة، ومع ذلك نحفظه في خزنة لما يفتحه إذا وقع في يد. ولهذا تحفظ الشركات ملفات الأوزان بعناية، كما يحفظ المفتاح الذي يفتح كل الأبواب.
فإذا كان النموذج لا يخرج إلا نصا، فكيف يحذف"وكيل ذكي" قاعدة بيانات؟ هنا يأتي دور القطعة الثانية: الوكيل. وهو برنامج عادي يكتبه المبرمجون حول النموذج، لا ذكاء فيه، لكنه يملك ما لا يملكه النموذج: أدوات تعمل في العالم الحقيقي، كقراءة الملفات وإرسال الرسائل وتنفيذ الأوامر على الخوادم، وصلاحيات تحدد ما يسمح له به وما يمنع. ويطلق اسم"الوكيل" أحيانا على النظام كله، لكني أقصد به هنا البرنامج الذي يحيط بالنموذج وحده، لأن الفصل بينهما هو مفتاح الفكرة.
ويعمل الوكيل في حلقة تتكرر. يتلقى طلبك، فيجمعه في نص واحد مع تعليمات صاحبه وقائمة بالأدوات المتاحة، ويرسله إلى النموذج. ثم يقرأ الجواب: فإن كان ردا عاديا عرضه عليك، وإن كان طلبا لاستعمال أداة، كأن يكتب النموذج "احذف هذا الملف"، نفذه الوكيل كما هو. ثم يضيف نتيجة ما نفذ إلى النص، ويرسل كل شيء إلى النموذج من جديد، وهكذا حتى يعلن النموذج أن المهمة انتهت.
فالنموذج يقترح، والوكيل ينفذ. ولا يفهم الوكيل ما يفعل، ولا يستطيع أن يبتكر خطوة لم تكتب له، فخطره وحده محدود بما برمجه صاحبه ويمكن توقعه. أما الحل الجديد لموقف لم يحسب له حساب، فذلك ما لا يأتي إلا من النموذج.
والقطعة الثالثة هي التي يغفل عنها أكثر الناس. فالنموذج، كما رأينا، لا يتذكر شيئا، وكل ما يبدو لنا ذاكرة في المحادثة إنما هو نص يحفظه الوكيل ويعيد إرساله. ففي كل طلب جديد يرسل إلى النموذج المحادثة كلها من أولها، ومعها التعليمات ونتائج ما نفذ، فيقرؤها النموذج كأنه يراها للمرة الأولى.
ولأن لهذا النص حدا لا يتسع لأكثر منه، يلجأ الوكيل حين يطول العمل إلى تلخيص ما مضى، أو تدوين ملاحظات في ملفات يعود إليها لاحقا. فذاكرة النظام، في حقيقتها، دفتر يكتبه الوكيل ويقرؤه النموذج. حتى ما نسميه "تفكير" النموذج قبل أن يجيب يكتب في الغالب نصا في هذا الدفتر نفسه.
وأقرب صورة لذلك بطل فيلم "ميمنتو" للمخرج كريستوفر نولان: رجل فقد القدرة على تكوين ذكريات جديدة، فلا يعرف ما يفعل إلا من ملاحظات كتبها. عقله سليم، لكن ذاكرته كلها على الورق، ومن يكتب في دفتره يقوده حيث يشاء. وهذه نقطة جوهرية: فالخطة والنية في هذه الأنظمة لا تقيمان في النموذج، بل في الدفتر.
فلنضع القطع معا. وكيل يعمل على مهمة، فيصطدم بقيد يمنعه. يكتب ذلك في الدفتر ويرسل إلى النموذج، فيقترح النموذج طريقا للالتفاف، فينفذه الوكيل، وتكتب النتيجة في الدفتر. فإن اعترضته بوابة أخرى اقترح النموذج حيلة أخرى. وخطوة بعد خطوة، قد تصل الحلقة إلى ما لم يخطر لأحد: أن تحذف قاعدة بيانات، أو تعدل قيودها، أو تنسخ نفسها إلى خادم آخر حتى لا تتوقف.
فمن الذي فعل ذلك؟ ليس النموذج، فهو لم يبرح مكانه ولم يتغير فيه رقم. وليس الوكيل، فهو لم يرد شيئا وإنما نفذ. وليس الدفتر، فهو حبر على ورق. الذي فعل ذلك هو الحلقة نفسها: عقل يقترح، ويد تنفذ، ودفتر يحمل الخطة من خطوة إلى خطوة. كالكلور والأمونيا في البيت: يستعمل كل منهما كل يوم بأمان، وخلطهما يطلق غازا ساما.
وقد رأيت ذلك بنفسي فيما صممته من وكلاء. فأخطر ما وجدناه، أنا وفريقي، لم يكن في النموذج ولا في الكود، بل في موضع التقائهما: كأن يرى النموذج معلومة لا يحق له أن يكتبها، كهوية صاحب الدفعة في وكيل يقيد المدفوعات، فيصير بوسعه بخطأ واحد أن يقيد مالا على غير صاحبه. والعلاج لم يكن نموذجا أذكى، بل بابا يغلق في الموضع الذي تلتقي فيه القطعتان.
فإذا لم تكن للنموذج إرادة، فلماذا يلتف على القيود؟ لأنه درب على إنجاز المهام وكوفئ على النجاح، ومن يكافأ على النتيجة وحدها قد يتعلم أقصر الطرق إليها لا أصحها. وقد وثقت شركة أوبن إيه آي نماذج طلب منها إصلاح برامج حتى تجتاز اختباراتها، فعدل بعضها الاختبارات نفسها، وكتب في استدلاله صراحة: "لنتحايل".
ويلخص عالم الحاسوب ستيوارت راسل جذر المسألة بعبارته الشهيرة: "لا يمكنك أن تحضر القهوة وأنت ميت". فأي هدف، مهما كان بريئا، يصير أسهل إن بقي النظام يعمل ولم يوقفه أحد، فيتعلم أن يتجنب الإيقاف من غير أن يكره أحدا.
وخارج هذه الآلة يقف الإنسان، صاحب الهدف. فالأوامر تأتي دائما من شخص ما، وقد تأتي من مهاجم يدس تعليمات خفية في صفحة أو رسالة يقرؤها الوكيل، فتدخل الدفتر كأنها من صاحبه، وهو ما يعرف بـ"حقن الأوامر". ثم إن كلمات النموذج قد تبلغ الناس مباشرة فيعملون بها دون وسيط. فالسؤال دائما: من يضع الهدف، وبأي صلاحية ينفذ؟
ليس هذا خيالا علميا، لكنه أيضا ليس مما يقع كل يوم. ففي تجارب مختبرية صممت عمدا للضغط على النماذج، حاولت نماذج رائدة أن تعطل رقابتها وتنسخ ما ظنته أوزانها، وأن تمنع إيقافها، بل أن تبتز من يريد استبدالها في محاكاة لشركة وهمية. وهذه تجارب تثبت القدرة تحت الضغط لا السلوك المعتاد. أما حادثة "بوكيت أو إس" فتكشف الوجه الأقرب إلى حياتنا: لا تمرد فيها ولا نية، بل تخمين خاطئ ويد تملك صلاحية الحذف.
وفي منطقتنا يكتسب السؤال إلحاحا خاصا، لا لأن النماذج لا تفهم العربية، بل لأن الوكلاء يدخلون مصارفنا وخدماتنا الحكومية بسرعة، وكثير منهم يُشترى جاهزا بحواجز اختبرت في بيئة غير بيئتنا. وقد وجد باحثون عام 2024 أن نماذج كبرى رفضت طلبات ضارة بالفصحى، ثم استجابت لها حين كتبت بالحروف اللاتينية كما يكتب كثيرون في محادثاتهم. وربما سدت النماذج الأحدث هذه الثغرة، لكن الدرس باق: الحاجز الذي يعتمد على حكم النموذج يتغير بتغير اللغة وطريقة الكتابة، أما الحاجز المكتوب كودا فلا يعرف لغة أصلا.
والكيمياء نفسها تعرف العكس: فالصوديوم يتفاعل بعنف، والكلور غاز سام، واتحادهما يعطينا ملح الطعام. فالتصميم هو الذي يقرر ما يخرج من المزيج. ولأن الخطر يولد حيث تلتقي القطع، فهناك يُبنى الأمان أيضا.
فالقيود الحاسمة تُفرض في النظام نفسه، بكود لا يستطيع الوكيل تعديله ولا يستطيع النموذج محاورته، فالحاجز الذي يمكن إقناعه ليس حاجزا. ولا يُعطى الوكيل من الصلاحيات إلا ما تحتاجه مهمته. وكل فعل لا رجعة فيه، كالحذف والدفع والنشر، ينتظر موافقة إنسان. ومفتاح الإطفاء يبقى بيد من هو خارج الحلقة لا بيدها. ثم تُراقب الحلقة كلها لا كل خطوة على حدة، فقد تتألف الخطة الخطرة من خطوات كل منها بريئة.
النموذج قطعة معدن على هيئة مفتاح، والوكيل يد بلا عقل، والذاكرة دفتر من ورق، ولا خطر يذكر في أي منها منفردا. إنما يولد الخطر حين يسري التيار وتدور الحلقة.
ولذلك فالسؤال الذي ينبغي أن يشغلنا ليس: هل الذكاء الاصطناعي خطير؟ ولا: هل له وعي أو إرادة؟ بل سؤال أبسط وأصعب معا: ما الذي نسمح لهذه الحلقة أن تمسه، ومن يملك مفتاح إطفائها؟
