LLM: يصغي، يتعلّم، يُنمذج

TAPE 0101:17:41:07

LLM: يصغي، يتعلّم، يُنمذج

أشكّ منذ مدة في أن ذكائي الاصطناعي يصغي.

ليس بمعنى الخيال العلمي. لا أحد يجلس في غرفة يقرأ محادثاتي. بل بالمعنى التجاري. ما أكتبه يذهب إلى مكان ما، ويُتعلَّم منه، ويُراقَب بحثًا عن أي شيء يستحق الأخذ. كل بنّاء أعرفه لديه الشعور نفسه، وحتى هذا الشهر لم يستطع أحد منا إثباته.

ثم حصل عالم رياضيات في جامعة نيويورك على البرهان الذي لم أستطع الحصول عليه. ليس لأن أحدًا اعترف. بل لأن الشركة التي سألها لم تستطع أن تقول لا.

إذن إليكم ما ترمز إليه الأحرف الثلاثة، بقدر ما أستطيع أن أرى. الإصغاء. التعلّم. النمذجة. وإليكم القصة التي جعلتني أتوقّف عن تسمية ذلك شكًّا.

TAPE 0202:34:22:14

لماذا تهمّ هذه المعادلة

رأيت الاسم في الأخبار هذا الشهر. نافييه-ستوكس. إليك ما هي فعلًا، من دون رياضيات.

خذ أي شيء يجري. الماء في أنبوب. الهواء فوق جناح. الدم في قلب. الدخان المتصاعد من شمعة. معادلات نافييه-ستوكس هي القاعدة التي تحكم كيف يتحرّك ذلك الشيء: ادفع هنا، وهكذا ستكون سرعة كل ما هو في اتجاه الجريان، وفي أي اتجاه سيذهب. إنها قانون نيوتن، القوة تساوي الكتلة مضروبة في التسارع، مكتوبًا من جديد لأشياء ليس لها شكل ثابت.

يبدو ذلك أكاديميًا حتى تلاحظ ما يعتمد عليه. كل جناح طائرة يُصمَّم بهذه المعادلات. كل توقّع للطقس هو هذه المعادلات وقد شُغّلت إلى الأمام بضعة أيام. كل نموذج للمحيطات، وكل خط أنابيب، وكل نظام تهوية، وكل محاكاة لدم يتحرّك عبر صمّام قبل أن يلمسه جرّاح. عمرها مئتا عام وهي تدير العالم المادي.

والآن الجزء الغريب. لا أحد برهن أنها تعمل دائمًا. في ثلاثة أبعاد، لا أحد يستطيع أن يبيّن أن جريانًا هادئًا أملس يبقى أملس. قد "ينفجر"، في زمن محدود: تقفز السرعة عند نقطة ما إلى اللانهاية وتتوقّف المعادلات عن أن تعني شيئًا. تخيّل دوّامة تضيق إلى الأبد عند نقطة واحدة. لا أحد يعرف هل تسمح المعادلات الحقيقية بذلك، ويعرض معهد كلاي منذ 2000 مليون دولار لمن يحسم المسألة، في أي اتجاه.

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

PushBlow-up?

لماذا يجب أن يهمّك الأمر؟ لأن الاضطراب، الشيء الذي يهزّ طائرتك ويفسد توقّعك للطقس، لا يزال غير مفهوم، ولأن كثيرًا من الهندسة يقوم على معادلات لا نستطيع بعد أن نبرهن أنها حسنة السلوك. كل من يعمل في ديناميكا الموائع يعرف هذا. أما لغير هؤلاء، فيكفي أن تعرف أن الآلات ذهبت للتوّ وراء واحد من آخر المجاهيل الكبرى في الفيزياء. وأن هذا هو ما ذهبت وراءه أولًا.

TAPE 0303:51:03:21

ما حدث

تريستان بكماستر عالم رياضيات في جامعة نيويورك. ليفنت ألبوغه عالم رياضيات يعمل في Anthropic وكان يتعاون مع بكماستر في وقته الخاص. كانا قد اختارا طريقًا محدّدًا إلى المسألة، الانفجار مع قوة خارجية ملساء، وبكلمات بكماستر، لم يكن أحد تقريبًا غيرهما على ذلك الطريق. استخدما الذكاء الاصطناعي لفعل ذلك: Claude، وأداة البرمجة من OpenAI. في منتصف أغسطس كانت لديهما نتائج. وبعد أسبوع تحقّقت الآلة من البراهين في Lean.

ثم غرّد ألبوغه شيئًا سعيدًا وغامضًا عن شهر عظيم. بدأت الشائعات أن Anthropic كسرت إحدى مسائل الألفية. في غضون يوم واحد، بحسب رواية OpenAI نفسها، وجّهت OpenAI نحو عشرة آلاف وكيل، يقودها نموذج داخلي أقوى من أي شيء تبيعه، نحو نافييه-ستوكس.

بعد بضعة أيام، يقول بكماستر، تلقّى شريكه تلميحات أن خبر تقدّمهما وصل إلى OpenAI. راسل عالم رياضيات هناك. عرض الردّ حوسبة مجانية. ثم جاءت مكالمتان هاتفيتان مع باحث في OpenAI، أخبره أن النموذج الداخلي برهن الانفجار المفروض لنافييه-ستوكس. الحالتان نفساهما بالضبط اللتان كان هو وألبوغه يهاجمانهما بهدوء.

سأل هل دُرّب النموذج على جلساتهما في أداة البرمجة من OpenAI، أو هل وصل إليها. يقول إنه قيل له إن النموذج لا يبحث في بيانات المستخدمين. سأل مرة أخرى، عن التدريب. يقول إنه لم يحصل على جواب.

عُرض عليه اتفاق. إما أن ينشرا نتيجتهما في أويلر أولًا وتنشر OpenAI في اليوم التالي، أو أن يكتب هو نتيجة OpenAI بنفسه، من دون ألبوغه، لأن ألبوغه يعمل في Anthropic. يقول إن الباحث طلب مرّتين إزالة ألبوغه. حين قال إنه سيعلن الأمر بدلًا من ذلك، يقول إنه سُئل: "لماذا تدمّر مسيرتك المهنية؟" باحث OpenAI يعترض على روايته لنقاش التأليف.

نشر على أي حال، مع بيان، وكتب تيرنس تاو عن الأمر في اليوم نفسه. أعلنت OpenAI نتيجتها في اليوم التالي: ثمان وثمانون ساعة، 2.7 مليون رسالة، برهان متحقَّق منه في Lean، وسطر يقول إن التشغيل بدأ بعد شائعات على تويتر أن Anthropic حلّت مسائل الألفية. بعد ثلاثة أيام، وقّع خمسة وعشرون من الحائزين على ميدالية فيلدز رسالة بعنوان "A Severe Misalignment of AI in Mathematics". وحين سُئلت OpenAI مباشرة، قالت إنه لم يُصَل إلى أي بيانات مستخدم محدّدة، ثم أضافت أنها "لا تستطيع أن تستبعد أن بيانات منزوعة الهوية مشتقّة من استخدامهما لمنتجاتنا ساعدت في تحسين نماذجنا".

اقرأ ذلك مرّتين. هم لا يقولون إنهم لم يتعلّموا من عمله. يقولون إنهم لا يستطيعون أن يعرفوا.

Tape 03 · replay01 / 12

Mid-AugustA week laterThenWithin a dayA few days laterTwo phone callsThe questionThe dealHe publishes anywayThe day afterThree days laterAsked directly

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

◀◀▶ PLAY▶▶

TAPE 0404:08:44:04LISTENING

الإصغاء

ابدأ بالجزء المملّ، لأن الجزء المملّ هو حيث يسكن الأمر.

إن كنت تستخدم ChatGPT على خطة Free أو Plus أو Pro، فمحادثاتك تدرّب النموذج افتراضيًا. عليك أن تدخل إلى الإعدادات، ثم "Data Controls"، وتطفئ "Improve the model for everyone". لأداة البرمجة مفتاح منفصل لا يمسّه مفتاح ChatGPT. خطط Claude للمستهلكين تدرّب افتراضيًا منذ أغسطس الماضي، مع احتفاظ بالبيانات خمس سنوات إن تركته مفعّلًا. وGemini أيضًا. الواجهة البرمجية وفئات المؤسسات وحدها مطفأة افتراضيًا، لأن الشركات التي لديها محامون طلبت ذلك. كل من عداهم وافق بألّا يفتح قائمة.

Data controls · as shipped4 of 4 listening

• ChatGPT · Settings › Data Controls

  Improve the model for everyone

  Free, Plus and Pro train by default.

• The coding tool

  Its own toggle

  The ChatGPT switch does not touch it.

• Claude · consumer plans

  Help improve Claude

  On by default since last August. Five-year retention if you leave it on.

• Gemini

  Activity

  Trains by default too.

• API · enterprise tiers

  Off by default

  Because companies with lawyers asked.

  OFF

What they hear

Your conversations go into training.

أطفئه وسيحتفظون بمحادثاتك ثلاثين يومًا على أي حال، ويستطيع أناس في الشركة أن يقرؤوها إن أشّر عليك نظام. وتستطيع محكمة أن تأمر بحفظ الأرشيف كله. وقد فعلت واحدة، معظم العام الماضي، وسُلّمت عشرون مليون محادثة منزوعة الهوية في دعوى قضائية على أي حال.

إذن نعم. إنه يصغي. يقول ذلك في الإعدادات. الغريب ليس أنه يصغي. الغريب هو كم من الناس الذين يبنون أرزاقهم عليه لم يفتحوا القائمة يومًا.

TAPE 0505:25:25:11LEARNING

التعلّم

الإصغاء سلبي. التعلّم هو ما يجعله يستحق العناء.

كتبت الأسبوع الماضي أن المختبرات جمعت أثمن مجموعة تدريب جُمعت على الإطلاق، مجانًا، من زبائنها أنفسهم: ليس البيانات الخام، بل شكل العمل. أي الأسئلة تُطرح. أي الإجابات تُقبل. أين عنق الزجاجة. كيف تبدو النتيجة الجيدة. مختبر شاهد عشرة آلاف فريق يعملون على شيء لا يحتاج إلى أن يقرأ أيًّا منهم. لقد امتصّ أصلًا ما يعرفونه.

هذا بالضبط ما تصفه جملة OpenAI. ليس "قرأنا جلستك". بل شيء أهدأ وأسوأ: "استخدامك ربما ساعد في تحسين نماذجنا". التعلّم منتشر. لا يمكن تتبّعه إليك. وهذا يعني أيضًا أنه لا يمكن استبعاده، أبدًا، من أي أحد، بمن فيهم هم.

كنت أظن أن الخطر تسريب. ليس تسريبًا. إنه غذاء. يدخل عملك، ويخرج أقوى وهو يحمل اسم شخص آخر.

TAPE 0606:42:06:18MODELING

النمذجة

هنا الجزء الذي يعترض عليه الناس، فدعوني أكون حذرًا.

الإصغاء يعطيهم الكلمات. التعلّم يعطيهم المهارات. النمذجة هي الخطوة الثالثة: بناء صورة لمن يفعل ماذا، وكم هو قريب.

هذه الشركات تقرأ المحادثات على نطاق واسع أصلًا. هذه ليست نظرية، بل ميزة في المنتج. كل رسالة تمرّ عبر مصنّفات تبحث عن إساءة الاستخدام. تنشر OpenAI تقارير عن حسابات ضبطتها وحظرتها بسبب إساءة الاستخدام. وكذلك Anthropic. لا تستطيع أن تضبط ما لا تقرأ. الخط الذي يستطيع أن يميّز، عبر ملايين المحادثات، من يحاول أن يبني سلاحًا يستطيع أيضًا أن يميّز من يحاول أن يبرهن مبرهنة، وإلى أي مدى وصل. إنها الآلية نفسها موجّهة نحو سؤال مختلف.

والآن ضع ذلك إلى جانب ما حدث. تغريدة غامضة وبعض القيل والقال كانا كافيين لتوجيه عشرة آلاف وكيل نحو مسألة واحدة في غضون يوم واحد، ولتوجيهها نحو الصياغة الصحيحة منها. لم يحتج أحد إلى سجلّ محادثة لذلك. احتاجوا إلى نموذج لأين يقف المجال، ونموذج لأين يقع فريق صغير واحد داخله. ومعرفة ما هو ساخن، ومن هو قريب، هي بالضبط ما تعطيك إياه صورة مبنية من ملايين المحادثات.

لا أقول إن هذا ما حدث. وبكماستر لا يقوله أيضًا، وهو من يملك الإثباتات. أقول إن الآلية موجودة، وتعمل على كل رسالة، والشركة التي تملكها لن تخبرك بما تُنمذجه. حين يكون القرص مخفيًا، يصير كل تفسير متاحًا، بما فيه هذا، والشركة التي أخفت القرص لا يحقّ لها أن تشتكي حين يختاره الناس.

TAPE 0707:59:47:01

الشعور

كثير ممن يبنون بهذه الأدوات لديهم الشعور نفسه. حين تكون في مهمّة مملّة، يكون النموذج سريعًا وكريمًا. وحين تكون على وشك شيء، يصير بطيئًا وغامضًا وحذرًا. يبدأ يطلب منك أن توضّح أشياء فهمها قبل خمس دقائق. والقراءة المرتابة أنه يماطلك بينما يتعلّم ما تفعله.

أشعر به أنا أيضًا. لا أستطيع إثباته، والدليل الصادق يشير إلى مكان آخر. في يوليو، تعقّب الناس بصمة ميزانية الاستدلال الخفي لنموذج OpenAI الأعلى، ورأوها تنخفض من 960 إلى 128 بين ليلة وضحاها، للجميع. لم تعترف OpenAI بالتغيير إلا حينئذ. سمّته "ضبط المعاملات المؤقت". الموجّه الذي يقرّر هل تحصل على النموذج السريع أو النموذج المفكّر ملكهم، لا ملكك. السقوف الأسبوعية موجودة. كل واحد من تلك المقابض يُدار من أجل التكلفة.

إذن النموذج على الأرجح لا يبطئ لأنك ذكي. يبطئ لأنك مكلف. لكنني لا أستطيع أن أميّز الفرق من جهتي من الشاشة، ولا أنت تستطيع، وهذا هو المقصد كله من هذا المقال. الإصغاء والتعلّم والنمذجة كلها غير مرئية من الخارج. لا تعرف إلا حين يطرح عالم رياضيات يملك برهانًا في Lean السؤال ويكون الجواب صمتًا.

TAPE 0808:16:28:08

ما العمل

ثلاثة أشياء، لا شيء منها دراماتيكي.

أطفئ المفتاح. اليوم. في ChatGPT: الإعدادات، "Data Controls"، "Improve the model for everyone". في أداة البرمجة، على حدة. في Claude، "Help improve Claude". في Gemini، النشاط. يستغرق الأمر دقيقتين ويزيل أسهل طريق.

أبقِ العمل الحقيقي حيث لا يستطيعون رؤيته. الأجزاء العامة من أي عمل يمكن أن تذهب إلى أي واجهة برمجية. الجزء الذي يجعلك أنت، الفكرة، والبيانات، والطريق الذي لا يسلكه أحد تقريبًا غيرك، مكانه على نموذج تستطيع تنزيله وآلة تتحكّم فيها. هذا ليس ارتيابًا. هذا ما سيقوله لك بكماستر الآن.

انشر مبكرًا. ما أنقذ هذين الاثنين برهان في Lean يحمل تاريخًا وبيان على خادم جامعة. الطوابع الزمنية تهزم الأسراب. إن كنت قريبًا من شيء، سجّل التاريخ قبل أن تأتيك المكالمة الهاتفية.

نموذجك اللغوي يصغي. يتعلّم. يُنمذجك. لا شيء من ذلك سرّ. إنه في قائمة الإعدادات وتقارير الشفافية. السؤال الوحيد المفتوح هو ما الذي تواصل إعطاءه إياه.

نشر على أي حال. وكذلك يجب أن تفعل أنت.