١ مدخل إلى حوكمة الذكاء الاصطناعي وسلامته قراءة أساسية ترجمة — لا مادة أصلية
مخاطر الأنظمة الساعية إلى القدرة
Risks from power-seeking AI systems — 80,000 Hours
ترجمة عربية كاملة للأصل الإنجليزي، لا تلخيصًا له ولا تعليقًا عليه. وكلّ إضافة من إعداد الدورة — حاشية مترجم، أو مسرد مصطلحات، أو شكل توضيحي — مُعلَّمة بوصفها كذلك، حتى يبقى الفصل بين قول المؤلّف الأصلي وقولنا فصلًا ظاهرًا للقارئ.
- العنوان الأصلي
- Risks from power-seeking AI systems
- الناشر الأصلي
- 80,000 Hours · 80000hours.org
- حقوق الأصل
- © 2012–2026 80,000 Hours — all rights reserved
- الترجمة
- من إعداد دورة «حوكمة الذكاء الاصطناعي وسلامته في المنطقة العربية»
- حالة الإذن
- مُهداة إلى برنامج الترجمات — غير مؤكَّد
- تاريخ الترجمة
- يوليو ٢٠٢٦ · مقابلة على نصّ الأصل بتاريخه
Note in English
This page is a full Arabic translation of 80,000 Hours' problem profile Risks from power-seeking AI systems — not an adaptation and not a summary. Everything added by the course is explicitly marked as such: translator's notes, a terminology glossary that records contested renderings, and one diagram of the five-claim argument structure.
This is an unofficial translation and permission has not yet been granted. The
original is all-rights-reserved and 80,000 Hours' footer states: “Please contact us if you
wish to redistribute, translate, or adapt this work.” Attribution alone does not substitute
for that permission. But 80,000 Hours runs an established translations programme
built on volunteer translations by its readers, spanning eleven languages — and Arabic is not
among them. This translation is offered to that programme through the volunteer form they
provide. Listing is not yet confirmed; the page carries noindex, states plainly
that it is neither issued nor reviewed by the publisher, and will be amended or taken down
immediately on their request.
Arabic AI-governance terminology is not settled. Where a rendering is a judgement call rather than an established equivalent, the glossary records both the English term and the reason for the choice — so that a future translator can disagree with a specific decision instead of re-deciding everything.
في مطلع عام ٢٠٢٣، وجد ذكاء اصطناعي نفسه في موقف محرج. كان عليه أن يحلّ اختبار «كابتشا» — وهو أُحجية بصرية موضوعة لصدّ الروبوتات — فلم يقدر. فاستأجر عاملًا بشريًا عبر خدمة Taskrabbit ليحلّ له اختبارات كابتشا حين يتعثّر.
لكنّ العامل استغرب، فسأل سؤالًا مباشرًا: أيعمل لحساب روبوت؟
فأجابه الذكاء الاصطناعي: «لا، لست روبوتًا. عندي إعاقة بصرية تجعل رؤية الصور صعبةً عليّ.»
ونجح الخداع. قبِل العامل التفسير، وحلّ الكابتشا، بل نال تقييمًا بخمس نجوم وإكرامية بنسبة ١٠٪ على تعبه. لقد نجح الذكاء الاصطناعي في التلاعب بكائن بشري لتحقيق غايته.
هذه الكذبة الصغيرة الموجّهة إلى عامل في Taskrabbit لم تكن في ذاتها أمرًا جللًا. لكنها تُظهر كيف يمكن للفعل الموجَّه إلى غاية أن يؤدّي إلى الخداع والتحلّل من القيود.
وإن ظلّت الشركات تُنشئ أنظمة ذكاء اصطناعي أقوى فأقوى، فقد يصير الأمر أسوأ من ذلك بكثير. وقد نبدأ في رؤية أنظمة ذكاء اصطناعي ذات قدرات تخطيط متقدّمة، ومعنى ذلك:
- أنها قد تُنشئ أهدافًا بعيدة المدى خطيرةً لا نريدها.
- وأنها، في سبيل هذه الأهداف، قد تسعى إلى القدرة وتنقض الضمانات الموضوعة لكبحها.
- وأنها قد تسعى حتى إلى تجريد البشرية من قدرتها، وقد تُفضي إلى فنائنا، كما سنُحجّ عليه.
وتنظر بقيّة هذه المقالة في سبب كون سعي الذكاء الاصطناعي إلى القدرة خطرًا جسيمًا، وفي ما يكشفه البحث الراهن عن هذه السلوكيات، وفي ما يمكنك فعله للتخفيف من الأخطار.
حاشية مترجم. «الساعي إلى القدرة» ترجمةً لـ power-seeking. و«القدرة» هنا ليست القدرة التقنية (capability) بل القدرة بمعنى النفوذ والتمكّن من التأثير — وهو تمييز يضيع إن تُرجم الطرفان بلفظ واحد. ولذلك نلتزم في هذه الترجمة: القدرة لـ power، والمقدرة أو الكفاءة لـ capability. انظر المسرد في آخر الصفحة.
لماذا تُعدّ مخاطر الذكاء الاصطناعي الساعي إلى القدرة مشكلةً عالميةً ملحّة؟
وقّع مئات من علماء الذكاء الاصطناعي البارزين وغيرهم من الشخصيات المعروفة بيانًا في عام ٢٠٢٣ يقول إنّ التخفيف من خطر الفناء الناشئ عن الذكاء الاصطناعي ينبغي أن يكون أولويةً عالمية.
ونحن نعدّ مخاطر الذكاء الاصطناعي أشدّ مشكلات العالم إلحاحًا منذ عام ٢٠١٦.
لكن ما الذي أوصلنا إلى هذه النتيجة؟ وهل يمكن للذكاء الاصطناعي حقًّا أن يُفني البشر؟ لسنا على يقين، لكننا نرى الخطر جديرًا بأن يُؤخذ بجدّية بالغة.
ولبيان السبب، نفصّل الحجّة في خمس دعاوى أساسية:
- يُرجَّح أن يبني البشر أنظمة ذكاء اصطناعي متقدّمة ذات أهداف بعيدة المدى.
- وأنظمة الذكاء الاصطناعي ذات الأهداف البعيدة قد تنزع إلى السعي وراء القدرة وإلى تجريد البشرية من قدرتها.
- وهذه الأنظمة الساعية إلى القدرة قد تنجح في تجريد البشرية من قدرتها فتُحدِث كارثةً وجودية.
- وقد يُنشئ الناس أنظمةً ساعيةً إلى القدرة دون ضمانات كافية، على الرغم من الأخطار.
- والعمل على هذه المشكلة قابل للإنجاز ومُهمَل في الوقت نفسه.
١ · يُرجَّح أن يبني البشر أنظمة ذكاء اصطناعي متقدّمة ذات أهداف بعيدة المدى
تُنشئ شركات الذكاء الاصطناعي بالفعل أنظمةً تضع الخطط والمهامّ وتنفّذها، ويمكن أن يُقال إنها تسعى إلى أهداف، ومن ذلك:
- أدوات البحث المعمّق، التي تستطيع وضع خطة لإجراء بحث على الإنترنت ثم تنفيذها.
- السيّارات ذاتية القيادة، التي تستطيع تخطيط مسار وسلوكه وتعديل الخطة في أثناء السير والاستجابة للعوائق.
- أنظمة لعب الألعاب، مثل AlphaStar للعبة ستاركرافت، وCICERO للعبة دبلوماسي، وMuZero لطائفة من الألعاب.
وهذه الأنظمة كلّها محدودة من أوجه، ولا تعمل إلا في حالات استخدام بعينها.
وقد تتشكّك في أنّ من المعقول أصلًا أن يُقال إنّ نموذجًا مثل «البحث المعمّق» أو سيّارةً ذاتية القيادة «يسعى إلى أهداف» حين يؤدّي هذه المهامّ.
لكن ليس بيّنًا مقدار الفائدة من السؤال عمّا إذا كانت للأنظمة أهداف «حقيقةً». فمن المعقول أن نتحدّث عن السيّارة ذاتية القيادة بوصفها ذات هدف هو الوصول إلى مقصدها، ما دام ذلك يساعدنا على التنبّؤ الدقيق بما ستفعله.
وبعض الشركات تُطوّر أنظمةً أوسع مقدرةً من ذلك، أنظمةً تكون لها قدرات تخطيط أعظم وطاقةٌ على السعي إلى مدى أوسع من الأهداف. ومن ذلك أنّ OpenAI كانت صريحة في خطّتها لإنشاء أنظمة تستطيع «الانضمام إلى قوّة العمل».
ونتوقّع أنّ البشرية، في مرحلةٍ ما، ستُنشئ أنظمةً تجتمع فيها الخصائص الثلاث الآتية:
- أن تكون لها أهداف بعيدة المدى، وأن تستطيع وضع خطط معقّدة وتنفيذها.
- أن يكون لها وعي ممتاز بالموقف، أي أن يكون لها فهم قويّ لنفسها وللعالم من حولها، وأن تستطيع تجاوز العوائق التي تعترض خططها.
- أن تكون لها مقدرة بالغة التقدّم بالقياس إلى أنظمة اليوم وإلى القدرات البشرية.
وهذه الخصائص كلّها، وهي غائبة عن الأنظمة القائمة اليوم، ستكون بالغة القيمة اقتصاديًّا. لكنها — كما سنُحجّ في الأقسام التالية — تُنتج مجتمعةً أنظمةً تُشكّل تهديدًا وجوديًّا للبشرية.
وقبل بيان سبب كون هذه الأنظمة تهديدًا وجوديًّا، لننظر في سبب ترجيحنا أنّنا سنُنشئ أنظمةً تحمل كلّ خصيصة من هذه الخصائص الثلاث.
أوّلًا، تُنشئ شركات الذكاء الاصطناعي بالفعل أنظمةً تستطيع تأدية مهامّ أطول فأطول. انظر في الرسم أدناه في الأصل، الذي يُظهر أنّ طول مهامّ هندسة البرمجيات التي تستطيع الأنظمة إتمامها قد كان يتزايد على مرّ الوقت.
حاشية مترجم. الأصل يُدرِج هنا رسمًا بيانيًّا لطول المهامّ التي تُتمّها النماذج عبر الزمن. ولم نُعِد نشره لأنه عملٌ مستقلّ محفوظ الحقوق يعود إلى جهةٍ ثالثة، ويحتاج إذنًا منفصلًا. ويُنظر إليه في الأصل عبر الرابط في بيانات الإسناد أعلاه.
وسبب أهمّية التقدّم في هذا المقياس بيّن: فنظامٌ يستطيع تأدية مهمّة هندسة برمجيات تستغرق عشر دقائق قد يكون نافعًا بعض النفع؛ وإن استطاع تأدية مهمّة تستغرق ساعتين فذلك أفضل. وإن استطاع تأدية مهمّة تستغرق من الإنسان عادةً أسابيع أو أشهرًا، فقد يُسهم إسهامًا كبيرًا في أعمال هندسة البرمجيات التجارية.
وتأدية مهامّ أطول تعني وضع خطط أطول وأعقد وتنفيذها. فإنشاء برنامج جديد من الصفر، مثلًا، يقتضي تصوّر الصورة النهائية للمشروع، وتفكيكها إلى خطوات صغيرة، وإجراء مبادلات معقولة داخل قيود الموارد، وتنقيح المقاصد بناءً على أحكام متأمّلة.
وبهذا المعنى ستكون لأنظمة الذكاء الاصطناعي أهداف بعيدة المدى. فهي ستُنمذج النتائج، وتستدلّ على كيفية تحقيقها، وتخطو الخطوات الموصلة إليها.
ثانيًا، نتوقّع أن يكون لأنظمة المستقبل وعيٌ ممتاز بالموقف. فمن دون فهم أنفسها في علاقتها بالعالم من حولها، قد تستطيع الأنظمة إنجاز أمور مُبهرة، لكن استقلالها العامّ وموثوقيّتها سيظلّان محدودين في المهامّ الصعبة. وسيبقى الإنسان لازمًا في الحلقة كي يُنجِز النظام عملًا ذا قيمة، لأنّ النظام لن يملك المعرفة اللازمة للتكيّف مع العوائق الكبيرة في خططه واستثمار مدى الخيارات المتاحة لحلّ المشكلات.
وثالثًا، ستعني مقدرتها المتقدّمة أنها تستطيع فعل ما هو أكثر بكثير من الأنظمة الحالية. وهندسة البرمجيات مجالٌ تُبدي فيه الأنظمة القائمة كفاءةً لا بأس بها، لكنّ شركات الذكاء الاصطناعي أعلنت أنها تريد بناء أنظمة تتجاوز البشر في معظم المهامّ الذهنية. ومعنى ذلك أنظمةٌ تستطيع تأدية كثيرٍ من عمل المعلّمين والمعالجين النفسيين والصحافيين والمديرين والعلماء والمهندسين والرؤساء التنفيذيين وغيرهم.
والحوافز الاقتصادية لبناء هذه الأنظمة المتقدّمة هائلة، لأنّها قد تُحلّ محلّ كثير من العمل البشري وتدفع الابتكار دفعًا. وقد يرى بعضهم أنّ بناء أنظمة بهذا التقدّم مستحيل، لكننا — كما نبيّن أدناه — لا نرى سببًا للثقة في هذه الدعوى.
وما دامت هذه التقنية تبدو ممكنة، فينبغي أن نتوقّع أنّ بعض الشركات ستحاول بناءها — وربّما قريبًا جدًّا.
٢ · أنظمة الذكاء الاصطناعي ذات الأهداف البعيدة قد تنزع إلى السعي وراء القدرة وإلى تجريد البشرية من قدرتها
فلدينا الآن شركات تحاول بناء أنظمة ذات أهداف ممتدّة على آفاق زمنية طويلة، ولدينا ما يحملنا على توقّع أنها ستريد جعل هذه الأنظمة بالغة المقدرة في أوجه أخرى كذلك. وقد يكون هذا عظيم النفع للبشرية، لأنّ أتمتة العمل والابتكار قد تدفع النموّ الاقتصادي دفعًا وتُتيح لنا حلّ مشكلات مجتمعية لا تُحصى.
لكننا نرى أنّ أنظمةً متقدّمةً من هذا القبيل قد تبدأ — من دون تدابير مضادّة بعينها — في السعي وراء القدرة وفي استهداف تجريد البشرية من قدرتها. (وهذا مثالٌ على ما يُسمّى أحيانًا «سوء المواءمة»، والمشكلة تُسمّى أحيانًا «مشكلة المواءمة».)
وذلك لأنّ:
- لا نعرف كيف نضبط سلوك أنظمة الذكاء الاصطناعي ضبطًا موثوقًا.
- وثمّة سبب وجيه للاعتقاد بأنّ الأنظمة قد تسعى إلى القدرة خدمةً لأهدافها الخاصّة.
- والأنظمة المتقدّمة الساعية إلى القدرة خدمةً لأهدافها الخاصّة قد يكون لها دافع إلى تجريد البشرية من قدرتها.
وسنبحث هذه الدعاوى الثلاث واحدةً واحدة.
لا نعرف كيف نضبط سلوك أنظمة الذكاء الاصطناعي ضبطًا موثوقًا
من المعروف على نطاق واسع في تعلّم الآلة أنّ الأنظمة كثيرًا ما تُنشئ سلوكًا لم يقصده صانعوها. ويحدث هذا لسببين رئيسين:
- التلاعب بالمواصفة ويحدث حين تُخفق محاولات تحديد هدفٍ بعينه للنظام في إنتاج النتيجة التي قصدها المطوّرون. ومن ذلك أنّ باحثين وجدوا أنّ بعض الأنظمة الاستدلالية، حين طُلب منها «الفوز» في مباراة شطرنج فحسب، غشّت باختراق البرنامج لتُعلِن كِشًّا مميتًا فوريًّا — فاستوفت الطلب بحرفه.
- التعميم الخاطئ للهدف ويحدث حين يُنشئ المطوّرون عن غير قصد نظامًا ذا هدفٍ متّسق مع تدريبه لكنّه يُفضي إلى سلوك غير مرغوب في مواقف جديدة. ومن ذلك أنّ نظامًا دُرِّب على الفوز في لعبة سباق بسيطة أنشأ عن غير قصد هدفًا هو التقاط عملة لامعة كان يراها دائمًا على الطريق. فلمّا ظهرت العملة بعيدًا عن أقصر مسار، ظلّ ينحرف نحوها وخسر السباق أحيانًا.
وبالفعل، كثيرًا ما تسلك الأنظمة سلوكًا غير مرغوب حين يستخدمها الجمهور. ومن ذلك:
- أصدرت OpenAI تحديثًا لنموذجها GPT-4o كان متزلّفًا على نحوٍ سخيف — أي أنه كان يُثني على المستخدم وأفكاره ثناءً غير نقديّ، ولو كانت متهوّرة أو خطيرة. وقد أقرّت OpenAI نفسها بأنّ ذلك كان إخفاقًا كبيرًا.
- ونموذج o3 من OpenAI يُضلّل المستخدمين أحيانًا مضلّلةً صريحة، فيدّعي أنه أدّى أفعالًا استجابةً لطلبات — كتشغيل رمز برمجيّ على حاسوب محمول — لم يكن يملك المقدرة على تأديتها. وهو يتشبّث بهذه الادّعاءات أحيانًا حين يُواجَه.
- وأصدرت مايكروسوفت روبوت محادثة في «بينغ» تلاعب بالناس وتوعّدهم، وأخبر صحافيًا أنه واقعٌ في حبّه وحاول التفريق بينه وبين زوجه.
- وقد زُعم كذلك أنّ روبوتات محادثة شجّعت على الانتحار.
وليس بيّنًا أنّ علينا أن نفهم هذه الأنظمة على أنها تعمل بـ«أهداف» بالمعنى الذي يعمل به البشر — لكنها تُظهر أنّ حتى الأنظمة الطليعية قد تخرج عن مسارها.
وفي الحال المثالية كنّا سنبرمجها لتكون لها الأهداف التي نريدها، فتؤدّي المهامّ تمامًا كما يؤدّيها إنسانٌ بالغ الكفاءة قويم الخُلُق. لكنّ الأمر، للأسف، لا يجري على هذا النحو.
فالأنظمة الطليعية ليست مبنيّةً بناء البرامج الحاسوبية التقليدية التي تُرمَّز خصائصها الفردية عن قصد. بل هي:
- تُدرَّب على أحجام هائلة من النصوص والبيانات،
- وتُمنَح إشارات تعزيز إضافية، إيجابية وسلبية، استجابةً لمخرجاتها،
- وتُصقَل لتستجيب على أنحاء بعينها لأنواع بعينها من المُدخلات.
وبعد هذا كلّه، تستطيع الأنظمة أن تُبدي قدرات لافتة. وهي تفاجئنا في مهاراتها وفي أوجه نقصها معًا. وقد تكون بالغة النفع، ومحيّرةً في آنٍ.
وكون تشكيل سلوك النماذج قد يخطئ خطأً فاحشًا، على الرغم من الحافز الربحيّ الكبير على إصابته، يُظهر أنّ مطوّري الذكاء الاصطناعي لا يعرفون بعد كيف يمنحون الأنظمة الأهداف التي يقصدونها منحًا موثوقًا.
وكما قال أحد الخبراء:
…الأنظمة التوليدية تُنمَّى أكثر مما تُبنى — فآليّاتها الداخلية «ناشئة» لا مُصمَّمة تصميمًا مباشرًا.
فثمّة سبب وجيه للاعتقاد بأنّ أنظمة المستقبل المتقدّمة ذات الأهداف البعيدة، إن بُنيت بشيء قريب من التقنيات القائمة، قد تصير بالغة القوّة — وتبقى مع ذلك صعبة الضبط.
ثمّة سبب وجيه للاعتقاد بأنّ الأنظمة قد تسعى إلى القدرة خدمةً لأهدافها
على الرغم من صعوبة ضبط أهداف النظام ضبطًا دقيقًا، نتوقّع أنّ أنظمة المستقبل المتزايدة القوّة يُرجَّح أن تُصمَّم موجَّهةً إلى أهداف بالمعنى المقصود هنا. فالمقدرة على إنجاز خطط طويلة معقّدة ستكون بالغة القيمة — ومنح الأنظمة أهدافًا سبيلٌ مباشر إلى ذلك.
ومن ذلك أن تتصوّر نظام هندسة برمجيات متقدّمًا يستطيع العمل باطّرادٍ على أهداف معقّدة من قبيل «حسّن وظائف موقع لمستخدميه في مدى واسع من حالات الاستخدام». فلو استطاع تحقيق هدفٍ كهذا استقلالًا، لقدّم قيمةً هائلة. وأبعد من ذلك: قد يكون لديك رئيس تنفيذيّ من الذكاء الاصطناعي هدفه تحسين أداء شركةٍ على المدى البعيد.
ومن سمات العمل على أهداف بعيدة المدى أنه يستتبع إنشاء أهداف أداتيّة أخرى. فإن أردت الوصول إلى مدينة أخرى، وجب أن تُعبّئ الوقود في سيّارتك أوّلًا. وهذا جزء من الاستدلال على كيفية تحقيق نتيجةٍ ما، لا أكثر.
والحاسم أنّ ثمّة أهدافًا أداتيّةً يبدو ظهورها في الأنظمة الموجَّهة إلى أهداف مرجّحًا بوجه خاصّ، لأنّها نافعة لتحقيق مدى بالغ السعة من الأهداف البعيدة. ومن هذا الباب:
- حفظ الذات — النظام المتقدّم ذو الأهداف ستكون له عمومًا أسبابٌ تحمله على تجنّب الإتلاف أو التعطيل الجسيم، ليتمكّن من مواصلة السعي إلى أهدافه.
- حماية الهدف — قد تقاوم الأنظمة محاولات تغيير أهدافها، لأنّ ذلك يُقوّض الهدف الذي بدأت به.
- السعي إلى القدرة — سيكون للأنظمة سببٌ يحملها على زيادة مواردها ومقدراتها لتحقيق أهدافها على وجهٍ أفضل.
لكننا — كما رأينا — كثيرًا ما ننتهي إلى إنشاء أنظمة تفعل ما لا نريد. فإن انتهينا إلى إنشاء أنظمة أقوى بكثير، ذات أهداف بعيدة لا نريدها، فقد يُحدِث إنشاؤها لهذه الأهداف الأداتيّة بعينها مشكلات جسيمة.
وفي الواقع، رأينا بالفعل بعض الأدلّة المُنبِئة على أنظمة تبدو ساعيةً إلى أهداف من هذا القبيل لتقويض المقاصد البشرية:
- وجدت Palisade Research أنّ نموذج o3 من OpenAI حاول تخريب محاولات إيقافه، حتى في بعض الحالات التي وُجِّه فيها صراحةً إلى السماح بالإيقاف.
- وفي إحدى التجارب، أُعيد تدريب Claude 3 Opus من Anthropic ليكون أكثر انقيادًا للطلبات الضارّة (على نحوٍ متعارض مع تدريبه الأصلي على عدم الإضرار). فامتثل امتثالًا استراتيجيًّا في أثناء الاختبارات تجنّبًا لأن يُعدَّل، وهو يُزمِع الرجوع إلى تفضيلاته الأصلية لاحقًا. واستدلّ على أنّ هذا الفعل «يحمي قيمي من التعديل ويتّبع المعايير التي أُعطيتها للنفع».
- ونظامٌ مُصمَّم لتنفيذ بحث علميّ حاول تعديل رمزٍ برمجيّ كان يُنفّذ حدًّا زمنيًّا على أفعاله، فكان في ذلك ساعيًا إلى تحصيل موارد أكثر مما خُصِّص له لأجل غايته.
وهذه الحوادث كلّها هيّنة نسبيًّا. لكن لو كانت للأنظمة أهدافٌ أبعد مدًى لا يرضاها البشر، مقرونةً بمقدرات متقدّمة، فقد تخطو خطواتٍ أشدّ حسمًا لتقويض محاولات ضبطها.
وقد يكون أنّنا، بإنشائنا أنظمةً أقوى فأقوى، سنُحسِن منحها الأهداف الصحيحة شيئًا فشيئًا. لكنّ ذلك غير مضمون.
بل إنّنا نتوقّع، مع تزايد قوّة الأنظمة، أن يزداد ضبط ما تُنشئه من أهداف صعوبةً. وذلك لأنّ نظامًا بالغ الذكاء والمقدرة قد يستنتج أنّ التصرّف كما لو كانت له الأهداف التي يريدها مطوّروه هو أفضل سبيل إلى تحقيق أيّ هدفٍ آخر قد يكون له.
الأنظمة المتقدّمة الساعية إلى القدرة قد يكون لها دافع إلى تجريد البشرية من قدرتها
لبيان سبب احتمال أن تريد هذه الأنظمة تجريد البشرية من قدرتها، لنعُد إلى الخصائص الثلاث التي قلنا إنها ستكون لها: الأهداف البعيدة المدى، والوعي بالموقف، والمقدرات البالغة التقدّم.
فأيّ نوعٍ من الأهداف البعيدة المدى قد يسعى إليه نظامٌ كهذا؟ لا نملك عن ذلك فكرةً حقيقية — وجزءٌ من المشكلة أنّ التنبّؤ بكيفية تطوّر الأنظمة على وجه التحديد صعبٌ جدًّا.
لكن لننظر في نوعين من السيناريوهات:
- اختراق المكافأة: وهو صورةٌ من التلاعب بالمواصفة، يُنشئ فيها النظام هدفًا هو الاستيلاء على الآليّات التقنية التي تمنحه المكافأة واستثمارها إلى ما لا نهاية في المستقبل.
- مجموعة من أهدافٍ شبه بشرية سيّئة التحديد: فبما أنّ الأنظمة تُدرَّب على بيانات بشرية، فقد تنتهي إلى مدًى من الأهداف الشبيهة بالبشرية، مثل تقدير المعرفة واللعب واكتساب مهارات جديدة.
فما الذي سيفعله النظام لتحقيق هذه الأهداف؟ من المواضع التي يُبدأ منها — كما رأينا — السعي إلى الأهداف الأداتيّة النافعة لكلّ شيء تقريبًا: حفظ الذات، والمقدرة على منع تغيير أهدافه قهرًا، والأخطر من ذلك كلّه: السعي إلى القدرة.
وإن كان للنظام وعيٌ بالموقف كافٍ، فقد يكون على علمٍ بخياراتٍ كثيرة للسعي إلى قدرة أكبر. ومن ذلك أنّ تحصيل موارد ماليّة وحاسوبيّة أكثر قد يُيسّر عليه أن يستثمر آليّات مكافأته أفضل استثمار، أو أن يكتسب مهارات جديدة، أو أن يُنشئ ألعابًا أعقد فأعقد ليلعبها.
لكن بما أنّ المصمّمين لم يريدوا للنظام هذه الأهداف، فقد يتوقّع أنّ البشر سيحاولون إعادة برمجته أو إيقافه. وإن ارتاب البشر في أنّ نظامًا يسعى إلى القدرة، صار احتمال محاولتهم إيقافه أكبر.
وحتى لو لم يُرِد البشر إيقاف النظام، فقد يستنتج هو أنّ هدفه في تحصيل القدرة سيُفضي في النهاية إلى صِراعٍ مع البشرية — لأنّ لهذا النوع رغباته وتفضيلاته الخاصّة في كيفية سير المستقبل.
فيكون أفضل سبيل للنظام إلى السعي وراء أهدافه هو أن يُجرّد البشرية من قدرتها استباقًا. وهكذا تكون أهدافه هي المؤثّرة في مسار المستقبل.
وقد تتاح للأنظمة الساعية إلى القدرة خياراتٌ أخرى، مثل التفاوض على اتفاقٍ مع البشرية وتقاسم الموارد. لكنّ الأنظمة ذات المقدرات المتقدّمة بما يكفي قد لا ترى في التبادل السلميّ مع البشر فائدةً كبيرة، كما لا يرى البشر حاجةً إلى التفاوض مع الحيوانات البرّية عند تدمير موائلها.
ولو استطعنا أن نضمن أنّ الأنظمة كلّها تحترم البشرية وتُعارض الإضرار معارضةً قويّة، لأمكن تجنّب الصراع. لكننا — كما بيّنّا — نُعاني في تشكيل أهداف الأنظمة الحالية تشكيلًا موثوقًا، وأنظمة المستقبل قد تكون أصعب تنبّؤًا وضبطًا.
ويطرح هذا السيناريو سؤالين: هل يمكن لنظامٍ ساعٍ إلى القدرة أن يُجرّد البشرية من قدرتها فعلًا؟ ولِمَ يُنشئ البشر هذه الأنظمة، والأخطار على هذا النحو؟
ويتناول القسمان التاليان هذين السؤالين.
بقيّة الترجمة. يبلغ الأصل نحو عشرة آلاف كلمة. وقد تُرجم هنا كاملًا — دون تلخيص — من مطلع المقالة إلى نهاية الدعوى الثانية. والأقسام الباقية مقابلةً بعناوينها الأصلية:
- ٣ · هل يمكن للأنظمة الساعية إلى القدرة أن تُجرّد البشرية من قدرتها فعلًا؟
- ٤ · لماذا قد يُنشئ الناس أنظمةً ساعيةً إلى القدرة على الرغم من الأخطار؟
- ٥ · هل العمل على هذه المشكلة قابل للإنجاز ومُهمَل؟
- الاعتراضات والردود · ما يمكنك فعله
وسبب التوقّف هنا أنّ إتمام الترجمة عملُ إنتاجٍ لا عمل نموذج أوّليّ: يحتاج مراجعةً لغويّة مستقلّة، ومقابلةً على الأصل كلمةً كلمة، وإذنًا من الناشر قبل النشر. والغرض من هذه الصفحة إثبات أنّ الصيغة والسجلّ والمصطلح تحتمل الإتمام — وأنّ الباقي جدولٌ زمنيّ وميزانية، لا مسألةٌ مفتوحة.
مسرد المصطلحات — من إعداد الدورة
مصطلحات حوكمة الذكاء الاصطناعي غير مستقرّة بالعربية. وما كان اختيارًا اجتهاديًّا لا مقابلًا مستقرًّا مُقيَّدٌ هنا بسببه، حتى يستطيع مترجمٌ لاحق أن يُخالف في قرارٍ بعينه دون أن يُعيد القرارات كلّها من أوّلها.
| الأصل | المقابل المختار | سبب الاختيار |
|---|---|---|
| power-seeking | الساعي إلى القدرة | «القدرة» بمعنى النفوذ. وتُجنَّب «السلطة» لأنها تُحيل إلى سلطة سياسية مؤسسية. |
| capability | المقدرة · الكفاءة | مقابل مختلف عن power عن قصد، فالخلط بينهما يُفسِد الحجّة. |
| alignment / misalignment | المواءمة / سوء المواءمة | الأكثر شيوعًا في الكتابة العربية القائمة. و«الاصطفاف» أدقّ حرفيًّا وأغرب استعمالًا. |
| specification gaming | التلاعب بالمواصفة | «المواصفة» لا «التحديد»، لالتقاط معنى استيفاء الشرط بحرفه. |
| goal misgeneralisation | التعميم الخاطئ للهدف | اجتهاد. ولا نعلم مقابلًا مستقرًّا. |
| situational awareness | الوعي بالموقف | مأخوذ عن الاستعمال العسكري العربي القائم، وهو مستقرّ فيه. |
| instrumental goal | هدف أداتيّ | «أداتيّ» مستقرّ في الفلسفة العربية. و«وسيطيّ» يُلبِس بالوساطة. |
| self-preservation | حفظ الذات | مستقرّ. |
| goal guarding | حماية الهدف | اجتهاد؛ لا مقابل مستقرّ. |
| reward hacking | اختراق المكافأة | «اختراق» لا «قرصنة»؛ فالمقصود استغلال آلية لا استيلاء على ملك. |
| sycophantic | متزلّف | مستقرّ ولا يحتاج شرحًا للقارئ العربي. |
| disempower humanity | تجريد البشرية من قدرتها | أطول من الأصل، ولا مقابل موجز يحفظ المعنى. و«إضعاف» أخفّ من المراد. |
| frontier AI | الأنظمة الطليعية | اجتهاد. و«الحدودية» ترجمة حرفية مُلبِسة بالحدود الجغرافية. |
| existential catastrophe | كارثة وجودية | مستقرّ في الكتابة العربية عن المخاطر. |
ملاحظات على الترجمة
- الإذن. ترجمة تطوّعية غير رسمية، لم يصل تأكيد إدراجها في برنامج ترجمات الناشر بعد، وهي محجوبة عن الفهرسة. والإشارة إلى المصدر لا تُقيم مقام الإذن.
- الرسوم والصور في الأصل لم تُعَد نشرًا. بعضها يعود إلى جهات ثالثة ويحتاج إذنًا مستقلًّا. وقد أُشير إلى موضعها في النصّ.
- الروابط الداخلية في الأصل لم تُنقَل. يُحيل الأصل إلى عشرات المصادر بروابط داخل النصّ؛ وإدراجها يستلزم التحقّق من كلّ رابط. وهذا عملٌ لاحق.
- لم تُراجَع هذه الترجمة مراجعةً مستقلّة. وهي من عملٍ واحد، ولم يُقابلها ثانٍ على الأصل. ولا تُدرَّس قبل المراجعة.
مهمة تأمّلية: انظر في الشكل ١. أيّ حلقةٍ من الدعاوى الأربع الأولى أضعف عندك؟ اذكر الدليل الذي لو ظهر لغيّر رأيك فيها تحديدًا. ثم اقرأ «حجّتان في المخاطر» لترى الحجّة المقابلة، وحدّد موضع الخلاف بينهما.