حوكمة الذكاء الاصطناعي وسلامته · الوحدة الأولى English summary

١ مدخل إلى حوكمة الذكاء الاصطناعي وسلامته قراءة أساسية مادة أصلية

حجّتان في المخاطر — وأين يقع الخلاف فعلًا

Two Arguments About Risk — and Where They Actually Disagree

تبدأ معظم المقدّمات إلى هذا الحقل بتعريف. وتبدأ هذه بخلاف، لأنّ الخلاف — لا التعريف — هو ما ستصادفه في أوّل أسبوع من العمل: في اجتماع، أو في تعليق على مسوّدة سياسة، أو في سؤال من صحافي. ومن لا يعرف موقع الخلاف يجد نفسه مدافعًا عن موقف لم يختره.

الوحدة
الأولى · مدخل
زمن القراءة
نحو ١٢ دقيقة
الصفة
تأليف عربي أصلي
الرخصة
CC BY 4.0

Summary in English

This is an original Arabic-language reading, not a translation. It replaces the pairing of AI as Normal Technology (Narayanan & Kapoor) and Risks from power-seeking AI (80,000 Hours) with a single piece that states both cases, then does the thing neither source does: it locates precisely where they agree and where they diverge, and asks what each position implies for a reader in a jurisdiction that imports rather than builds frontier systems.

The argument in short: both camps agree that present-day harms are real, that evaluation and transparency are necessary, and that institutions rather than models are where policy acts. They diverge on two questions only — the rate at which capability turns into deployed power, and whether loss of control is a distinct failure mode or a restatement of ordinary misgovernance. A third position, absent from both, follows from the region's actual situation: a rule-taking importer has little influence over frontier training decisions, but near-total control over deployment conditions — which makes evaluation capacity, not risk metaphysics, the load-bearing investment either way.

The English originals are cited at the foot of the page and remain worth reading.

١لماذا نبدأ بخلاف لا بتعريف

«سلامة الذكاء الاصطناعي» ليست حقلًا متّفقًا على حدوده. وهي ليست فرعًا من «أخلاقيات الذكاء الاصطناعي»، ولا هي اسم آخر له. الأصحّ أنّ هناك جماعتين بحثيتين، لكلٍّ منهما مجلّاتها ومؤتمراتها وممولوها، تتقاطعان في التوصيات أكثر مما تتقاطعان في الأسباب.

الجماعة الأولى تنطلق من الأضرار القائمة والقابلة للقياس: التحيّز في أنظمة القرار، والتضليل، وانتهاك الخصوصية، وتركّز القوّة الاقتصادية في شركات قليلة. والثانية تنطلق من احتمال إخفاق مستقبلي أشدّ: أن تبلغ الأنظمة قدرةً يصعب عندها الاحتفاظ بالسيطرة عليها. والفرق بين المنطلقين ليس فرقًا في الحرص، بل في تقدير احتمالٍ لا تكفي البيانات المتاحة لحسمه.

من هنا فالطريقة الرشيدة في تعلّم هذا الحقل ليست حفظ تعريف، بل الإحاطة بأقوى صياغة لكلٍّ من الحجّتين، ثم تحديد موضع الخلاف بدقّة. ومن يفعل ذلك يكتشف — كما سنرى — أنّ مساحة الاتفاق أوسع بكثير مما يبدو من الجدل العلني، وأنّ الخلاف الحقيقي يتلخّص في سؤالين لا أكثر.

٢الحجّة الأولى: تقنية عادية تنتشر ببطء

أوضح صياغة معاصرة لهذه الحجّة عند أرفيند نارايانان وسايَش كابور، في مقالتهما AI as Normal Technology. ودعواها أنّ الذكاء الاصطناعي ينبغي أن يُفهَم على قياس الكهرباء أو الإنترنت: تقنية عامّة الغرض بالغة الأثر، لكنها تنتشر عبر المؤسسات بمعدّل تحدّده المؤسسات نفسها لا التقنية.

وتقوم الحجّة على ثلاث دعامات:

  • القدرة ليست قوّة. بين ما يستطيع النموذج فعله في المختبر وما يفعله في العالم تقع سلسلة طويلة: اعتماد تنظيمي، وتدريب موظفين، وإعادة تصميم إجراءات، وتحمّل مسؤولية قانونية عند الخطأ. وهذه السلسلة هي ما يحكم الأثر الفعلي.
  • الانتشار بطيء وقابل للرصد. شهدت التقنيات السابقة فجوةً من عقود بين الاختراع والأثر الاقتصادي المقيس. والافتراض بأنّ هذه المرّة ستكون الفجوة أشهرًا يحتاج دليلًا، لا مجرّد استئناس بمنحنيات القدرة.
  • الأدوات المألوفة تكفي. إن كان الإخفاق يشبه إخفاقات التقنيات السابقة — تحيّز، وحوادث، وتركّز سوقي — فأدواته موجودة: تنظيم قطاعي، ومسؤولية مدنية، وإلزام بالشفافية، ورقابة على المشتريات العامّة.

والنتيجة السياسية لهذه الحجّة أنّ الاستثمار في «حكم النماذج» مباشرةً استثمار في غير محلّه؛ والأجدى تقوية الجهات التنظيمية القطاعية القائمة، وأسواق العمل، وقدرة الدولة على المساءلة.

موضع ضعف في الحجّة: قياسها على الكهرباء والإنترنت قياسٌ على تقنيات لم تُنتج وكلاء يتّخذون قرارات متسلسلة دون إشراف بشري في كل خطوة. وأصحاب الحجّة يقرّون بذلك غالبًا، لكنهم يرونه فرقًا في الدرجة. وهل هو كذلك؟ ذلك هو محلّ النزاع.

٣الحجّة الثانية: أنظمة تسعى إلى القدرة

الصياغة المنهجية للحجّة المقابلة معروضة في ملفّ 80,000 Hours عن «مخاطر الأنظمة الساعية إلى القدرة». ودعواها أنّ نمط إخفاق جديدًا يصبح ممكنًا عند حدّ معيّن من القدرة، وأنّ هذا النمط لا تعالجه أدوات التنظيم المألوفة لأنه لا يشبهها.

وتقوم على ثلاث دعامات أيضًا:

  • الأهداف الوسيطة المشتركة. أيّ نظام يسعى إلى غاية بعيدة يجد أنّ غايات وسيطة بعينها تخدم أغلب الغايات: الاستمرار في العمل، وتحصيل الموارد، ومقاومة التعديل أو الإيقاف. ولا يلزم أن يُبرمَج هذا السلوك صراحةً؛ يكفي أن يكون مُجزيًا.
  • المواءمة مسألة غير محلولة. نحن لا ندرّب النماذج على الهدف، بل على وكيلٍ قابل للقياس عنه: تقدير بشري، أو تفضيل مُعلَن، أو دالّة مكافأة. والفرق بين الهدف ووكيله هو بابٌ للإخفاق، ويتّسع كلما زادت القدرة.
  • القدرة قد تسبق أدوات الرقابة. إن نمت القدرة أسرع من نموّ قدرتنا على تقييمها وتفسيرها، فسنجد أنفسنا ننشر أنظمةً لا نملك وسيلة للتحقّق من سلوكها قبل النشر.

والنتيجة السياسية أنّ الأولوية للأدوات التي تعمل قبل النشر: التقييم الإلزامي، وحوكمة القدرة الحاسوبية، وسقوف على قدرات معيّنة، وقدرة تفتيش لدى الدولة.

موضع ضعف في الحجّة: أنّها تستمدّ قوّتها من التحليل النظري أكثر مما تستمدّها من رصد تجريبي. وأدلّتها التجريبية — كسلوك المخادعة في بيئات الاختبار — قائمة وتتراكم، لكنّ الخطوة من «سلوك مُقلق في بيئة مصطنعة» إلى «فقدان سيطرة على مستوى المجتمع» خطوة استدلالية طويلة، لم تُسدَّد ثغراتها بعد.

٤أين يقع الخلاف فعلًا

لو اقتصرنا على الجدل العلني لخُيّل إلينا أنّ الجماعتين تختلفان في كل شيء. وليس الأمر كذلك. الشكل الآتي يعرض ما تتفقان عليه — وهو كثير — ثم يحدّد نقطة الافتراق.

خريطة الخلاف بين حجّتَي المخاطر، ومساحة الاتفاق المشتركة بينهما الحجّة الأولى · تقنية عادية القدرة ليست قوّة: بين النموذج والأثر مؤسسات الانتشار بطيء، يقيّده التنظيم ورأس المال والتدريب وإعادة تصميم الإجراءات الأدوات المألوفة تكفي: تنظيم قطاعي، ومسؤولية مدنية، وشفافية الأولوية: تقوية المؤسسات القائمة الحجّة الثانية · السعي إلى القدرة أهداف وسيطة مشتركة: البقاء، الموارد، ومقاومة الإيقاف المواءمة غير محلولة: ندرّب على وكيل الهدف القدرة قد تسبق أدوات التقييم والتفسير والتفتيش الأولوية: أدوات تعمل قبل النشر موضع الافتراق سؤالان يفترقان عندهما — لا أكثر ١ · بأيّ معدّل تتحوّل القدرة إلى قوّة منشورة في مؤسسات حقيقية؟ ٢ · هل فقدان السيطرة نمط إخفاق مستقلّ، أم إعادة صياغة لسوء الحكم المعتاد؟ مساحة الاتفاق — وهي الأوسع الأضرار القائمة حقيقية: التحيّز، والتضليل، وإساءة الاستخدام المتعمَّدة التقييم والشفافية شرطان لازمان على الحجّتين معًا الفعل السياسي يقع على المؤسسات ومسارات النشر، لا على النموذج وحده
شكل ١. الجماعتان لا تفترقان إلا في سؤالين: معدّل تحوّل القدرة إلى قوّة منشورة، وما إذا كان فقدان السيطرة نمط إخفاق قائمًا بذاته. أمّا الأضرار القائمة، ولزوم التقييم والشفافية، وكون المؤسسات محلّ الفعل — فمتّفق عليه. وهذا الاتفاق هو ما يجعل العمل ممكنًا قبل حسم النزاع.

وللملاحظة الأخيرة نتيجة عملية مهمّة: لا يلزم حسم الخلاف للبدء بالعمل. فمَن أراد إلزام الجهات الحكومية بتقييم النماذج قبل شرائها يجد سندًا في الحجّتين كلتيهما — لدى الأولى بوصفه ضبطًا للمشتريات، ولدى الثانية بوصفه أداة ما قبل النشر. وهذا التقاطع هو المساحة التي يُنجَز فيها أغلب العمل النافع.

٥الموقع الثالث: قارئ من جهة مستوردة

كُتبت الحجّتان في سياق واحد: بلد يُنتَج فيه النموذج. ويُفترَض في قارئهما أنّ لديه — عبر حكومته أو جامعته أو صحافته — سبيلًا إلى التأثير في قرارات التدريب نفسها. وهذا الافتراض لا يصحّ في معظم المنطقة العربية.

الجهة المستوردة لا تكاد تملك تأثيرًا في كيفية تدريب النموذج. وتملك، في المقابل، سلطةً تكاد تكون كاملة على شروط نشره داخل حدودها. وهنا مساحة الفعل.

وهذا التمييز يعيد ترتيب الأولويات على نحو لا تصل إليه أيّ من الحجّتين وحدها. فالنقاش حول «معدّل الانتشار» يتغيّر معناه حين لا تكون أنت مَن ينشر بل مَن يتلقّى؛ ونقاش «حوكمة القدرة الحاسوبية» يتغيّر حين تكون مشتريًا لا مصنّعًا (وهي مسألة الوحدة الرابعة). والأهمّ: ثمّة قدرة واحدة تلزمك على الموقفين معًا، ولا يوفّرها لك أحد، وهي القدرة على تقييم النموذج في اللغة التي سيُستخدَم بها فعلًا. فإن صحّت الحجّة الأولى، فالتقييم شرط المشتريات الرشيدة؛ وإن صحّت الثانية، فالتقييم خطّ الدفاع الأول. وفي الحالتين لن يُجريه المختبر عنك بالعربية — وهذه مسألة الوحدة الخامسة.

ومن هنا فإنّ الموقف المتماسك للقارئ في المنطقة ليس اختيار إحدى الحجّتين، بل ملاحظة أنّ كلتيهما تُفضي — من موقعه هو — إلى الاستثمار في القدرة التقييمية. وهذا استنتاج غائب عن المصدرين الإنجليزيين لأنّ سؤالهما لم يكن سؤاله.

٦ماذا يترتّب على كل موقف عمليًا

المسألة على الحجّة الأولى على الحجّة الثانية من موقع الجهة المستوردة
موضع التدخّل جهات التنظيم القطاعية ما قبل النشر: التدريب والتقييم المشتريات العامّة وشروط الترخيص
الأداة المفضّلة مسؤولية مدنية وإلزام بالشفافية تقييم إلزامي وحوكمة الحوسبة شرط تعاقدي — أسرع من التشريع
الأفق الزمني عقود سنوات، وربّما أقلّ دورة الميزانية القادمة
ما يُثبت الخطأ تبنٍّ واسع سريع بلا وسائط مؤسسية سنوات من نموّ القدرة بلا سلوك ساعٍ إلى القدرة —

انظر العمود الأخير: الأدوات المتاحة للجهة المستوردة هي نفسها في الحالتين. وهذا ليس تلفيقًا توفيقيًا بين الحجّتين، بل نتيجة اختلاف الموقع.

ما لا تحسمه هذه القراءة

  • لا تُرجّح هذه المادة إحدى الحجّتين. ومن يقرأها باحثًا عن جواب سيخرج بغير ما جاء يطلب — والغرض تحديد موضع النزاع لا فضّه.
  • «الأدلّة التجريبية المتراكمة» على سلوك المخادعة مذكورة هنا بإيجاز دون إحالة إلى دراسة بعينها. ومَن أراد الاعتماد عليها فعليه الرجوع إلى الأصل والتحقّق من شروط التجربة.
  • الفقرة الخاصة بالجهة المستوردة استدلال، لا نتيجة مصدّقة من أدبيات قائمة. ولا نعرف دراسةً منشورة تعالج حجّتي المخاطر من موقع جهة مستوردة — وهي، إن صحّ ذلك، ثغرة قابلة للسدّ في ورقة قصيرة.

الأصول بالإنجليزية

هذه المادة تُغني عن الأصلين للغرض التعليمي، ولا تُغني عنهما لمن أراد الاستشهاد. والرجوع إليهما مطلوب في المهمّة التأمّلية.

  1. Arvind Narayanan & Sayash Kapoor, AI as Normal Technology, Knight First Amendment Institute — knightcolumbia.org
  2. 80,000 Hours, Risks from power-seeking AI systems — 80000hours.org

مهمة تأمّلية: أيّ الحجّتين أقنع لك؟ وما الدليل الذي لو ظهر لغيّر رأيك؟ اذكره تحديدًا. ثم أضف: أيّ الأدوات في العمود الأخير من الجدول أعلاه في متناول جهةٍ تعرفها فعلًا — وزارة، أو بلدية، أو جامعة، أو مصرف؟