تسميم الخوارزميات

يمكن القول إن جهاز الكمبيوتر يعمل بشكل عام بثلاث خطوات، هي: المدخلات والمعالجة والمخرجات، وهذه المراحل الثلاث التي تمر بها البيانات تعد الأساس، الذي تبنى عليه كثير من العمليات الحاسوبية، خصوصًا التي تعنى بتحليل البيانات للحصول على معلومات يمكن أن تستخدم في دعم اتخاذ القرار.
المراحل الثلاث لعمل الكمبيوتر، تنطبق بشكل أو بآخر، على مجال الذكاء الاصطناعي، فيمكن القول إن الخوارزميات يكون لها مدخلات، ومن ثم تقوم الخوارزمية بالمعالجة، وبعد ذلك تتكون المخرجات، وهذه المخرجات يمكن أن تكون في صورة تحليل أو تنبؤ بالمستقبل.
يقوم الباحثون حول العالم بالعمل على تحسين جودة كل مرحلة من مراحل الذكاء الاصطناعي، فيمكن أن يكون التطوير في مرحلة المدخلات بحيث يتم رفع دقة البيانات المدخلة للخوارزمية، أو في مرحلة المعالجة، فيتم ضبط متغيرات الخوارزمية، أو في مرحلة المخرجات، بحيث تكون المخرجات أيسر على المستخدم في تفسيرها، ليس ذلك فحسب، بل يمكن تطوير أحد المراحل الثلاث، بشكل يؤثر في المراحل الأخرى، فيمكن معايرة مرحلة المعالجة بحيث تكون أقل صرامة فيما يتعلق بالمدخلات، لتقبل كمدخلات بيانات ليست ذات دقة عالية.
الأثر الذي يتركه تطوير أحد المراحل على الأخرى أثار انتباه الدكتور جراهام نيوبيج (Graham Neubig) وفريقه البحثي بجامعة كارنجي ميلون الأمريكية (Carnegie Mellon University)، حيث درس الباحثون إمكانية هندسة البيانات التي تستخدم أثناء التدريب، بطريقة تسمح بالتحكم في عمل الخوارزمية في المستقبل.
وجد الباحثون أنه بالإمكان أن يتم تدريب الخوارزمية على بيانات خاصة، تبدو في ظاهرها أنها سليمة، ولكنها تؤثر على الخوارزمية، بشكل غير ملحوظ للعموم، ونتيجة عملية التدريب هذه، أصبح بالإمكان التحكم في مخرجات الخوارزمية، حيث وجد الباحثون أنه وبإعطاء الخوارزمية مدخلات مخصصة، يمكن أن يحدد مسبقًا ما ستكون عليه المخرجات، وبعبارة أخرى، فقد أصبح بالإمكان «تسميم» الخوارزمية كما وصف الباحثون هذه العملية.
يذكر أن طريقة تسميم الخوارزمية التي وجدها الباحثون، قد لا يظهر نتائج أو مخرجات تدعو للريبة، أثناء تجريب واختبار الخوارزمية على بيانات جديدة، بل إن الخوارزمية تعمل بشكل جيد، وتقدم نتائج دقيقة، غير أنه نتيجة لعملية التسميم، فإن الخوارزمية لا تستجيب لمحاولة التأثير على المخرجات، إلا ببيانات مخصصة معينة، يتم دسها بين بيانات المدخلات، وهذه البيانات المخصصة، لا يمكن تمييزها من بين مجمل البيانات المدخلة، وذلك لصغر حجمها، ولاندماجها مع بقية عناصر المدخلات بشكل لا يسهل اكتشافه.