نموذج يتخذ قرارات داخل بنك قرب طريق الملك فهد يحتاج شخصاً مسؤولاً عندما يكون خاطئاً، وهو نفس المتطلب الذي تواجهه شركة تقنية مالية في مركز الملك عبدالله المالي.
للمنشآت السعودية يصبح هذا ملموساً وليس نظرياً. نشرت الهيئة السعودية للبيانات والذكاء الاصطناعي مبادئ أخلاقية للذكاء الاصطناعي، ونظام حماية البيانات الشخصية يحكم كيفية معالجة البيانات الشخصية، والجهات التنظيمية القطاعية تسأل بشكل متزايد كيف تُضبط القرارات الآلية. الحوكمة المبنية إلى جانب استراتيجية الذكاء الاصطناعي أرخص بكثير من حوكمة مُضافة بعد النشر.
المساءلة والإشراف البشري
القاعدة التأسيسية أن النموذج لا يملك قراراً، الشخص يملكه. تُحدد الحوكمة أي القرارات يجوز أتمتتها بالكامل، وأيها يتطلب مراجعة بشرية قبل التنفيذ، وأيها يجوز فقط أن يُوجّهه نموذج وليس يُحدده. في الوظائف المالية يهم هذا التمييز أكثر لأي شيء يمس المدفوعات وقرارات الائتمان والتقارير المالية.
حماية البيانات ونظام البيانات الشخصية
حيث تُعالج النماذج بيانات شخصية، تنطبق التزامات نظام حماية البيانات الشخصية: الأساس النظامي وتحديد الغرض وتقليل البيانات وحقوق أصحاب البيانات. تدريب نموذج على بيانات عملاء أو موظفين له آثار لم تُقيّمها كثير من المنشآت. نرسم خريطة أي بيانات شخصية تتدفق لكل نموذج ونُؤكد أن للمعالجة أساساً قابلاً للدفاع عنه، وهو ما يتصل مباشرة بـحوكمة البيانات.
توثيق النماذج وقابلية التفسير
كل نموذج في الإنتاج يحتاج سجلاً بما يفعله، وعلى أي بيانات دُرّب، وما قيوده المعروفة، ومن يملكه، ومتى تم التحقق منه آخر مرة. للقرارات المؤثرة على العملاء أو الموظفين، القدرة على شرح أساس نتيجة توقع تنظيمي وضرورة عملية معاً عندما يتحدى شخص ما نتيجة.
مراقبة الانحراف والتدهور
النماذج تتدهور مع تغير العالم. نموذج تنبؤ مُدرّب على أنماط ما قبل التضخم، أو نموذج تصنيف مُدرّب قبل تحول في مزيج المنتجات، يصبح أقل دقة بهدوء دون فشل ظاهر. تتطلب الحوكمة إعادة تحقق دورية مقابل النتائج الفعلية، بعتبات محددة تُطلق إعادة التدريب أو السحب.
سيناريو سعودي شائع
شركة في جدة تنشر نموذج تقييم ائتماني لشروط دفع العملاء. يعمل جيداً في البداية. بعد ثمانية عشر شهراً تجد مراجعة أنه دُرّب على فترة كانت فيها قاعدة العملاء مُركزة في قطاع واحد، وأنه يُسعّر المخاطرة بشكل خاطئ منهجياً للعملاء الأحدث في قطاع آخر. لم يلاحظ أحد لأنه لم يُكلّف أحد بالفحص. الحوكمة بالضبط هي الانضباط الذي كان سيكتشفه، وتقع ضمن إدارة المخاطر المؤسسية الأوسع.
البدء بتناسب
أطر الحوكمة تفشل عندما تكون أثقل من المخاطرة التي تعالجها. نبدأ بجرد ما هي النماذج أو القرارات الآلية الموجودة فعلياً، ونُصنفها حسب نتيجة كونها خاطئة، ونُطبق ضوابط متناسبة مع ذلك. مُطابق تسوية قائم على القواعد يحتاج جزءاً من الإشراف الذي يحتاجه نموذج يؤثر على شروط ائتمان، ومعاملتهما بشكل متطابق تُنتج إطاراً يلتف حوله الناس. يقع هذا إلى جانب تصميم الرقابة الداخلية ويعتمد على حوكمة البيانات للضوابط الأساسية للبيانات.
مراجعة الإطار مع تطور التقنية
قدرات الذكاء الاصطناعي والتوقعات التنظيمية تتحرك أسرع من معظم أطر الحوكمة. نُحدد مراجعة سنوية للإطار مقابل ما تغير: نماذج جديدة دخلت الإنتاج، وإرشادات جديدة من الجهات التنظيمية، وحوادث أو ملاحظات داخلية. إطار كُتب قبل ثلاث سنوات ولم يُراجع منذها يحمي من مخاطر الأمس وليس اليوم.
منشآت الخدمات المالية والرعاية الصحية في المملكة تواجه أوضح توقعات تنظيمية حول صنع القرار الآلي، بينما القطاعات الأخرى محكومة أساساً بنظام حماية البيانات الشخصية ومبادئ الهيئة العامة.