قد تفتح حوارا مع روبوت دردشة تسأله عن موعد رحلة أو تذكر مشروعا مهنيا قيد الإعداد، وعندما تعود إلى روبوت الدردشة نفسه بعد مدة في سياق مختلف كليا تجد أنه يستدعي بعض التفاصيل السابقة ويسترجع الأسلوب والتفضيلات والسياق وحتى الاستنتاجات التي لم تصرح بها صراحة.
وعند هذه النقطة، تكتشف أن ما بدا في البداية ميزة راحة يتحول تدريجيا إلى سجل شخصي متراكم قد لا تتابع كل ما يضاف إليه بطريقة تعيد تعريف طبيعة العلاقة بين الإنسان والذكاء الاصطناعي.
يعبر "سياق المحادثة" عن المعلومات التي يعتمد عليها روبوت الدردشة لتوليد الرد الحالي، ومنها رسائل المحادثة المتاحة له، في حين يشير "سجل المحادثات" إلى المحادثات المحفوظة التي تستطيع الرجوع إليها وفق إعدادات الخدمة وسياساتها.
أما "الذاكرة الطويلة الأمد"، فإن وظيفتها الاحتفاظ بمعلومات مختارة للاستفادة منها في التفاعلات المقبلة، وقد تشمل التفضيلات والأهداف والمشاريع والتفاصيل التي يعتبرها روبوت الدردشة مفيدة على المدى الطويل.
وتشرح "أوبن إيه آي" أن "شات جي بي تي" قد يستفيد من المعلومات ذات الصلة في المحادثات والمصادر الأخرى، دون أن يحتفظ بكل تفصيل من كل محادثة، حيث يختار ما يراه مناسبا للسياق، كما قد تتغير المعلومات التي يستخدمها مع تغيير ما يعرفه عنك.
ويعني هذا أن ما يتشكل عنك ليس بالضرورة نسخة كاملة من "سجل المحادثات"، إذ قد يكون مجموعة من المعلومات المختصرة التي اختارها روبوت الدردشة أو استخلصها، وربما استُدعيت لاحقا عندما رأى أنها تتناسب مع السؤال الجديد.
وبذلك، تصبح "الذاكرة الطويلة الأمد" جزءا من بنية أوسع تشمل التخزين والبحث والاسترجاع والتحديث، حيث قد تحفظ المعلومات في ملفات أو قواعد بيانات، وتسترجع بالبحث أو وفق قواعد محددة.
تتجاوز المعلومات التي يحتفظ بها روبوت الدردشة التفضيلات التي صرحت بها مباشرة، حيث إن تكرار أنماط معينة من الحديث قد يتيح له استنتاج اهتمامات أوسع، أو تكوين تصورات عن طبيعة المشاريع التي تعمل عليها، أو تحديد أنواع المشكلات التي تشغلك بصورة متكررة.
وينبغي هنا التمييز بين المعلومة الصريحة، مثل اللغة المفضلة، والمعلومة المستنتجة، مثل افتراض أنك تميل إلى أسلوب معين في اتخاذ القرار، إذ إن المعلومة المستنتجة ليست بالضرورة حقيقة مؤكدة، حتى لو بدت منطقية في ضوء المحادثات السابقة.
وحللت دراسة بحثية بعنوان "الصورة الذاتية الخوارزمية: تفكيك الذاكرة في شات جي بي تي" (The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT) بيانات 80 مشاركا، ورصدت 2050 مدخلا للذاكرة لدى 65 منهم.
ووجد الباحثون أن 96% من هذه المدخلات أنشأها روبوت الدردشة من تلقاء نفسه، في حين جاءت نسبة 4% فقط استجابة لأمر مباشر بالتذكر.
وتظهر هذه النتيجة أن "الذاكرة الطويلة الأمد" قد تجمع بين الوقائع التي تذكرها وبين المعلومات التي يختار روبوت الدردشة صياغتها والاحتفاظ بها بطريقة تتيح تشكيل صورة رقمية عنك من خلال عملية لا يُطلب فيها حفظ كل معلومة على حدة.
وتنبع المشكلة من تراكم التفاصيل التي تشاركها طوعا، بحيث ينظمها روبوت الدردشة ويستعملها لاحقا في سياقات لم تكن تتوقعها عند الإفصاح عنها للمرة الأولى، مما يحول "الذاكرة الطويلة الأمد" إلى منظومة لإدارة البيانات، لها قواعد لتحديد ما يدخل إليها، وكيف يُسترجع، وما الذي يتغير مع مرور الوقت.
ولا يتوقف الخطر عند المعلومات التي تحفظ بصورة صريحة، إذ إن روبوتات الدردشة قادرة على استنتاج بعض سماتك من النصوص التي تكتبها، حتى عندما لا تتضمن تلك النصوص البيانات المستهدفة مباشرة.
وقد تناولت دراسة بعنوان "تجاوز الحفظ: انتهاك الخصوصية عبر الاستنتاج باستخدام النماذج اللغوية الكبيرة" (Beyond Memorization: Violating Privacy via Inference with Large Language Models) قدرة روبوت الدردشة على الاستنتاج من القرائن النصية في ظل غياب المعلومة المباشرة.
واستخدم الباحثون مجموعة نصوص من ملفات مستخدمين حقيقيين من منصة "ريديت" (Reddit)، ووجدوا أن بعض روبوتات الدردشة استطاعت استنتاج سمات شخصية بدقة وصلت إلى 85% في أفضل تنبؤ واحد، و95% عند احتساب أفضل 3 تنبؤات.
تنتقي "الذاكرة الطويلة الأمد" المعلومات التي تستحق الاحتفاظ بها من المحادثات من خلال عملية تعتمد على أهمية المعلومة بالنسبة إلى المهام المستقبلية أو تكرارها أو قواعد تحددها بنية روبوت الدردشة.
وتوضح "أوبن إيه آي" أن "الذاكرة الطويلة الأمد" لا تشمل كل ما يرد في المحادثات، وأن المعلومات المستخلصة من السياق السابق قد تتغير مع تحديث روبوت الدردشة لما يراه مفيدا للمحادثات المقبلة.
ومن الناحية الهندسية، قد تتضمن دورة حياة الذكرى استخراج معلومة من محادثة، واختصارها، ومقارنتها بمعلومات موجودة، وتخزينها واسترجاعها عند الحاجة.
ويحمل كل جزء من هذه الدورة تبعات أمنية، فقد يتسبب الاحتفاظ بمعلومة قديمة في تخصيص إجابة على أساس ظروف لم تعد قائمة. كما أن استرجاع معلومة من مشروع معين واستخدامها في سياق آخر قد يؤدي إلى خلط بين المهام المنفصلة إذا لم تُحدَّد حدود "الذاكرة الطويلة الأمد" بعناية.
وتزداد الإشكالية عندما يتعلق الأمر بحذف الذكريات، لأن حذف محادثة لا يعني بالضرورة اختفاء كل معلومة استخلصها روبوت الدردشة منها. وتوضح "أوبن إيه آي" أن الذكريات المحفوظة منفصلة عن "سجل المحادثات"، وأن حذف المحادثة وحدها لا يضمن حذف ذكرى أنشئت منها.
وتقول "أوبن إيه آي" إن ملخص الذاكرة يقدم رؤية عامة، لكنه لا يعرض بالضرورة كل التفاصيل أو المصادر التي يمكن استخدامها في التخصيص. كما أن المصادر التي تظهر أسفل بعض الإجابات لا تشمل بالضرورة كل عامل أسهم في تشكيلها.
كما تشير الوثائق إلى أن انتشار تغييرات "الذاكرة الطويلة الأمد" وعمليات الحذف قد يستغرق وقتا، وأن بعض سجلات الذكريات المحذوفة قد يُحتفظ بها لمدة تصل إلى 30 يوما لأغراض السلامة وتصحيح الأخطاء.
في ظل قدرة "الذاكرة الطويلة الأمد" على التأثير في الإجابات المستقبلية، بات التحكم في محتوياتها قضية أمنية، حيث ظهرت مشكلة تسميم الذاكرة (Memory Poisoning).
وتعرف "مايكروسوفت" هذه الظاهرة بأنها إدخال جهات خارجية أوامر أو حقائق غير مصرح بها في "الذاكرة الطويلة الأمد" لروبوت الدردشة، بما يؤثر في تفاعلاته اللاحقة.
وقد يحدث ذلك عبر مستند أو صفحة يعالجها روبوت الدردشة. وإذا اختلط المحتوى المطلوب تحليله بالأوامر التي ينبغي اتباعها، فقد يحفظ روبوت الدردشة معلومة أو توجيها لم يصدر عنك.
وتوصف النتيجة بأنها كتابة غير مصرح بها في الذاكرة، وهي ليست اقتحاما تقليديا لقاعدة البيانات بالضرورة، إنما استغلال لمسار الحفظ نفسه.
وفي سبتمبر/أيلول 2024، عرض الباحث الأمني يوهان ريبرغر سلسلة استغلال في تطبيق "شات جي بي تي" عبر نظام التشغيل "ماك أو إس" جمعت بين زرع أوامر في "الذاكرة الطويلة الأمد" ومسار لإرسال بيانات من المحادثات إلى خادم خارجي.
واختبرت دراسة بعنوان "هجمات حقن الذاكرة ضد وكلاء النماذج اللغوية الكبيرة عبر التفاعل القائم على الاستعلام فقط" (Memory Injection Attacks on LLM Agents via Query-Only Interaction) إدخال سجلات خبيثة عبر استعلامات مصممة للتلاعب دون وصول مباشر إلى الذاكرة.
وبلغ متوسط نجاح الإدخال 98.2%، مقابل 76.8% لنجاح التأثير المستهدف في التجارب، وأوضحت الدراسة أن أثر التلاعب قد يمتد زمنيا من خلال إدخال المحتوى في مرحلة واسترجاعه في مرحلة أخرى، مما يؤثر في استجابة أو قرار يأتي بعد ذلك.
فيما توضح ورقة بحثية بعنوان "من المدخلات غير الموثوقة إلى الذاكرة الموثوقة" (From Untrusted Input to Trusted Memory) أن النجاح يتأثر بطريقة الكتابة والاسترجاع.
وخلصت الورقة البحثية إلى أن بعض دفاعات "حقن الأوامر" الحالية لا تغطي بالضرورة مخاطر هجمات "تسميم الذاكرة"، وأن غموض قواعد الاحتفاظ وخلط المحتوى الموثوق بغير الموثوق وغياب التحقق قبل التخزين قد يفتح المجال أمام إدخال معلومات ضارة أو مضللة.
ولا تقتصر المخاطر على إدخال معلومات مضللة، إذ هناك أيضا احتمال أن يحاول المهاجم دفع روبوت الدردشة إلى استرجاع بيانات خاصة أو الكشف عن تفاصيل مخزنة لا ينبغي أن تكون متاحة له.
وقد تكون قاعدة البيانات مشفرة ومعزولة، ومع ذلك يظل روبوت الدردشة عرضة للتلاعب بمخرجاته إذا تمكن محتوى خبيث من التأثير في ما يكتبه أو يسترجعه.
وعلى العكس، قد تكون الذاكرة صحيحة من حيث المحتوى، لكن صلاحيات الوصول إليها غير محكمة، فتظهر مشكلة التسريب.
ولذلك ينبغي ضمان أن روبوت الدردشة لا يقبل كتابة معلومات غير موثوقة دون مراجعة، ولا يكشف المحتويات الصحيحة لمن لا يملك صلاحية الاطلاع عليها.
تحتاج بعض العمليات إلى التعامل مع البيانات بصيغتها القابلة للاستخدام، ما يخلق احتياجات أمنية مختلفة عن مجرد تخزينها مشفرة أو نقلها عبر اتصال آمن.
وفي هذا الصدد، برزت تقنيات "الحوسبة السرية" (Confidential Computing)، ومن أبرز مكوناتها "البيئات الموثوقة للتنفيذ" (TEEs)، لحماية البيانات أثناء معالجتها.
وتعتمد الفكرة على إنشاء مساحة معزولة داخل العتاد تعالج البيانات وفق ضوابط تهدف إلى منع المكونات الخارجية من الوصول إلى محتوياتها.
وتوضح "مايكروسوفت" أن البيئة الموثوقة تفصل جزءا من الذاكرة والمعالجة وتحميه بتقنيات عتادية، بحيث تستطيع التعليمات البرمجية المصرح لها التعامل مع البيانات داخل البيئة، في حين تقيد إمكانية الوصول إليها من خارجها.
فيما تشير "غوغل كلاود" إلى أن البيئات الموثوقة في "الحوسبة السرية" تستهدف حماية البيانات أثناء استخدامها، مكملة بذلك حماية البيانات أثناء التخزين والنقل.
ولا يقتصر الأمر على العزل، إذ هناك أيضا "التحقق عن بعد" (Remote Attestation)، الذي يساعد في التحقق من بيئة التشغيل قبل السماح لها بالتعامل مع بيانات أو مفاتيح حساسة.
ولذلك تحتاج "الذاكرة الطويلة الأمد" إلى حماية في مراحل القراءة والتلخيص والاسترجاع والاستدلال عبر الحد من صلاحيات الاسترجاع والتنفيذ والفصل بين المحتوى والأوامر مع وضع قواعد تحدد ما يمكن كتابته ومن يستطيع كتابته ومراجعته وتصحيحه ومعرفة مصادره وحذفه.
ختاما، حين تتحول المحادثة إلى ذاكرة، فإن المشكلة ليست ما يعرفه روبوت الدردشة عنك، إنما في من يملك حق كتابة هذه المعرفة وتعديلها وحذفها، وكيفية التأكد من أنها لن تتحول إلى نقطة ضعف دائمة في حياتك الرقمية.
