قضايا الثقة وتحديات التحقق في الاستدلال اللامركزي

المؤلف: حسيب قريشي، شريك في Dragonfly Capital المصدر: ترجمة متوسطة: شان أوبا، Golden Finance< /p>

لنفترض أنك تريد تشغيل نموذج لغة كبير مثل Llama2–70B. يتطلب مثل هذا الطراز الكبير ما يزيد عن 140 جيجابايت من الذاكرة، مما يعني أنه لا يمكنك تشغيل النموذج الأصلي على جهاز كمبيوتر منزلي. ما هي خياراتك؟ قد تلجأ إلى موفر خدمات سحابية، ولكن قد لا تكون حريصًا جدًا على الثقة في شركة مركزية واحدة للتعامل مع عبء العمل هذا نيابةً عنك وجمع كل بيانات الاستخدام. إذن ما تحتاجه هو الاستدلال اللامركزي، والذي يسمح لك بتشغيل نماذج التعلم الآلي دون الاعتماد على أي مزود واحد.

مشكلة الثقة

في الشبكة اللامركزية، يكون مجرد تشغيل النموذج والثقة في المخرجات أمرًا ضروريًا ليس كافي. لنفترض أنني طلبت من الشبكة تحليل معضلات الإدارة باستخدام Llama2-70B. كيف أعرف أنه لا يستخدم فعليًا Llama2–13B، مما يعطيني تحليلًا أسوأ ويحصل على الفارق؟

في عالم مركزي، قد تثق في شركة مثل OpenAI للقيام بذلك بأمانة لأن سمعتها على المحك (إلى حد ما، جودة LLM ذاتية -واضح). لكن في عالم لامركزي، لا يُفترض الصدق، بل يتم التحقق منه.

هذا هو المكان الذي يلعب فيه الاستدلال القابل للاختبار. بالإضافة إلى تقديم رد على الاستعلام، يمكنك أيضًا إثبات أنه يعمل بشكل صحيح على النموذج الذي تحتاجه. ولكن كيف؟

أبسط طريقة هي تشغيل النموذج كعقد ذكي على السلسلة. وهذا من شأنه أن يضمن بالتأكيد التحقق من المخرجات، لكنه غير عملي إلى حد كبير. يمثل GPT-3 الكلمات ذات البعد المضمن البالغ 12288. إذا كنت ستجري ضرب مصفوفة بهذا المقياس على السلسلة، فسيكلف ذلك حوالي 10 مليارات دولار بأسعار الغاز الحالية - وستملأ الحسابات كل كتلة لمدة شهر تقريبًا.

لذا لا. نحن بحاجة إلى نهج مختلف.

بعد مراقبة الموقف برمته، من الواضح لي أنه قد ظهرت ثلاثة أساليب رئيسية لمعالجة الاستدلال الذي يمكن التحقق منه: إثباتات المعرفة الصفرية، وأدلة الاحتيال المتفائلة، والتشفير اقتصاديات. ولكل منها آثارها الأمنية والتكلفة الخاصة بها.

p>

1. إثبات المعرفة الصفرية (ZK ML)

تخيل أنك قادر على إثبات ذلك لقد قمت بتشغيل نماذج كبيرة، ولكن بغض النظر عن حجم النموذج، فإن الدليل هو في الواقع ذو حجم ثابت. هذا ما يعد به ZK ML من خلال سحر ZK-SNARKs.

على الرغم من أن الأمر يبدو أنيقًا من حيث المبدأ، إلا أن تجميع الشبكات العصبية العميقة في دوائر صفر المعرفة وإثباتها أمر صعب للغاية. كما أنها مكلفة للغاية - على الأقل، ربما تنظر إلى 1000 ضعف تكلفة الاستدلال و1000 ضعف زمن الوصول (الوقت الذي يستغرقه إنشاء الدليل)، ناهيك عن تجميع النموذج نفسه في دائرة قبل حدوث كل هذا. في النهاية، يجب تمرير هذه التكلفة إلى المستخدم، لذلك ينتهي الأمر بكونها باهظة الثمن بالنسبة للمستخدم النهائي.

من ناحية أخرى، هذه هي الطريقة الوحيدة لضمان الصحة من خلال التشفير. مع ZK، لا يمكن لمقدمي النماذج الغش بغض النظر عن مدى صعوبة محاولتهم. لكن تكلفة القيام بذلك باهظة، مما يجعلها غير عملية بالنسبة للنماذج الكبيرة في المستقبل المنظور.

أمثلة: EZKL، Modulus Labs، الجيزة

2. دليل متفائل ضد الاحتيال (تعلم الآلة المتفائل) )

المنهج المتفائل هو الثقة ولكن التحقق. ونفترض أن الاستدلالات صحيحة ما لم يثبت خلاف ذلك. إذا حاولت إحدى العقد الغش، فيمكن "للمراقبين" في الشبكة الإشارة إلى الغشاش وتحديه باستخدام أدلة الاحتيال. يجب على هؤلاء المراقبين دائمًا مراقبة السلسلة وإعادة تشغيل الاستدلال على نماذجهم الخاصة للتأكد من صحة الإخراج.

إثباتات الاحتيال هذه عبارة عن ألعاب تفاعلية للتحدي والاستجابة بأسلوب Truebit حيث تقوم بتقسيم مسارات تنفيذ النموذج بشكل متكرر على السلسلة حتى تجد الخطأ.

p>

إذا حدث هذا، فسيكون مكلفًا للغاية لأن هذه البرامج كبيرة جدًا ولها حالات داخلية ضخمة - تبلغ تكلفة استدلال GPT-3 الواحد حوالي 1 بيتافلوب ( 10 ^ 5 عمليات الفاصلة العائمة). لكن نظرية اللعبة تظهر أن هذا لن يحدث أبدًا تقريبًا (من الصعب جدًا ترميز أدلة الاحتيال بشكل صحيح لأن الكود لن يتم مهاجمته أبدًا أثناء الإنتاج).

تتمثل فائدة التفاؤل في أن التعلم الآلي آمن طالما أن المراقب الصادق ينتبه. أرخص من ZK ML، لكن ضع في اعتبارك أن كل مراقب في الشبكة يعيد تشغيل كل استعلام بمفرده. في حالة التوازن، هذا يعني أنه إذا كان هناك 10 مراقبين، فيجب تمرير تكلفة الأمان إلى المستخدمين، لذلك سيتعين عليهم دفع أكثر من 10 أضعاف تكلفة الاستدلال (أو بغض النظر عن عدد المراقبين الموجودين).

كما هو الحال مع التجميع المتفائل، فإن العيب هو أنه يتعين عليك الانتظار حتى تمر فترة التحدي قبل أن تتمكن من التأكد من التحقق من الاستجابة. ومع ذلك، اعتمادًا على كيفية تحديد معلمات الشبكة، قد تضطر إلى الانتظار دقائق بدلاً من أيام.

أمثلة: Ora وGensyn (على الرغم من عدم تحديدهما حاليًا)

3. اقتصاديات التشفير (اقتصاديات التشفير) ML)

هنا نتخلص من كل التقنيات الفاخرة ونقوم بشيء بسيط: التصويت المرجح للأسهم. يقرر المستخدم عدد العقد التي يجب أن تقوم بتشغيل استعلامه، وتعرض كل عقدة استجاباتها، وإذا كانت هناك اختلافات بين الاستجابات، فسيتم قطع العقدة الفردية. عناصر أوراكل القياسية - يعد هذا أسلوبًا أكثر وضوحًا يتيح للمستخدمين تحديد مستوى الأمان الذي يريدونه، مع موازنة التكلفة والثقة. إذا كانت Chainlink تقوم بالتعلم الآلي، فهذا ما ستفعله.

زمن الاستجابة هنا سريع - ما عليك سوى عرض الالتزام لكل عقدة. إذا تمت كتابة هذا إلى blockchain، فمن الممكن أن يحدث هذا من الناحية الفنية في كتلتين.

ومع ذلك، الأمان هو الأضعف. إذا كان ماكرًا بما فيه الكفاية، يمكن لأغلبية العقد أن تختار بعقلانية التواطؤ. كمستخدم، عليك أن تستنتج مدى خطورة هذه العقد وكم سيكلف الغش. ومع ذلك، باستخدام أشياء مثل إعادة ضمان Eigenlayer والأمن المنسوب، يمكن للشبكة توفير التأمين بشكل فعال في حالة الفشل الأمني.

لكن جمال هذا النظام هو أنه يمكن للمستخدمين تحديد مدى الأمان الذي يريدونه. يمكنهم اختيار تضمين 3 عقد في النصاب القانوني، أو 5 عقد، أو كل عقدة في الشبكة - أو، إذا أرادوا YOLO، يمكنهم حتى اختيار n=1. وظيفة التكلفة هنا بسيطة: يدفع المستخدمون مقابل النصاب القانوني للعقد التي يريدونها. إذا اخترت 3، فستحتاج إلى دفع 3 أضعاف تكلفة الاستدلال.

إليك سؤالًا صعبًا: هل يمكنك جعل n=1 آمنًا؟ في التنفيذ البسيط، يجب أن تغش العقدة الواحدة في كل مرة إذا لم يتحقق أحد. لكنني أظن أنه إذا قمت بتشفير الاستعلام وإجراء الدفع عن طريق النية، فقد تتمكن من إرباك العقد بأنها في الواقع الوحيدة التي تستجيب لهذه المهمة. في هذه الحالة، ربما يمكنك تحصيل أقل من ضعفي تكلفة الاستدلال على المستخدم العادي.

في نهاية المطاف، يعد نهج الاقتصاد المشفر هو الأبسط والأسهل وربما الأرخص، ولكنه الأقل جاذبية، ومن حيث المبدأ، الأقل أمانًا. ولكن كما هو الحال دائما، الشيطان يكمن في التفاصيل.

أمثلة: Ritual (على الرغم من عدم تحديدها بعد)، شبكة Atoma

لماذا يمكن التحقق من التعلم الآلي أمر صعب

ربما تتساءل لماذا لا نمتلك كل شيء حتى الآن؟ بعد كل شيء، نماذج التعلم الآلي هي في جوهرها مجرد برامج كمبيوتر كبيرة جدًا. إن إثبات تنفيذ البرنامج بشكل صحيح كان منذ فترة طويلة أساس blockchain.

وهذا هو السبب في أن طرق التحقق الثلاث هذه تعكس الطريقة التي تحمي بها blockchain مساحة الكتلة الخاصة بها - تستخدم مجموعات ZK إثباتات ZK، وتستخدم المجموعات المتفائلة أدلة الاحتيال، في حين أن معظم مجموعات blockchain L1 استخدام الاقتصاد المشفر. وليس من المستغرب أننا توصلنا إلى نفس الحل بشكل أساسي. إذن ما الذي يجعل هذا الأمر صعبًا عند تطبيقه على التعلم الآلي؟

تعتبر ML فريدة من نوعها حيث يتم تمثيل حسابات ML عادةً على شكل رسوم بيانية حسابية كثيفة مصممة للعمل بكفاءة على وحدات معالجة الرسومات. لم يتم تصميمها ليتم إثباتها. لذا، إذا كنت تريد إثبات حساب ML في ZK أو بيئة متفائلة، فيجب عليك إعادة ترجمته بتنسيق يجعل ذلك ممكنًا - وهو أمر معقد ومكلف للغاية.

p>

الصعوبة الأساسية الثانية في التعلم الآلي هي عدم اليقين. يفترض التحقق من البرنامج أن مخرجات البرنامج حتمية. ولكن إذا قمت بتشغيل نفس النموذج على بنية GPU مختلفة أو إصدار CUDA، فسوف تحصل على مخرجات مختلفة. حتى لو اضطررت إلى إجبار كل عقدة على استخدام نفس البنية، فستظل تواجه مشكلات تتعلق بالعشوائية المستخدمة في الخوارزمية (الضوضاء في نماذج الانتشار، أو أخذ عينات الرمز المميز في LLM). يمكنك إصلاح العشوائية عن طريق التحكم في بذرة RNG. ولكن على الرغم من ذلك، لا تزال تواجه مشكلة تهديد أخيرة: عدم اليقين المتأصل في حساب الفاصلة العائمة.

تتم جميع العمليات تقريبًا في وحدة معالجة الرسومات على أرقام الفاصلة العائمة. النقاط العائمة صعبة لأنها ليست ترابطية - أي أن النقطة العائمة (a + b) + c ليست دائمًا نفس النقطة a + (b + c). نظرًا لأن وحدات معالجة الرسومات متوازية للغاية، فقد يختلف ترتيب عمليات الإضافة أو الضرب في كل مرة يتم تنفيذها، مما قد يؤدي إلى اختلافات صغيرة في الإخراج. نظرًا للطبيعة المنفصلة للكلمات، فمن غير المرجح أن يؤثر ذلك على مخرجات LLM، ولكن بالنسبة لنماذج الصور قد يؤدي ذلك إلى قيم بكسل مختلفة قليلاً، مما يؤدي إلى عدم تطابق الصورتين تمامًا.

هذا يعني أنك إما بحاجة إلى تجنب استخدام النقطة العائمة، مما يعني تحقيق نجاح كبير في الأداء، أو أنك بحاجة إلى السماح ببعض التراخي عند مقارنة المخرجات. وفي كلتا الحالتين، التفاصيل معقدة ولا يمكنك تجريدها تمامًا. (كما اتضح، هذا هو السبب وراء عدم دعم EVM لأرقام الفاصلة العائمة، على الرغم من أن بعض سلاسل الكتل مثل NEAR تفعل ذلك.)

باختصار، التفكير في اللامركزية الشبكات أمر صعب لأن كل التفاصيل مهمة، وكم التفاصيل في الواقع مذهل.

الاستنتاج

في الوقت الحالي، من الواضح أن هناك الكثير من القواسم المشتركة بين blockchain والتعلم الآلي. أحدهما هو التكنولوجيا التي تخلق الثقة، والآخر هو التكنولوجيا التي تتطلب الثقة بشدة. في حين أن كل طريقة من طرق الاستدلال اللامركزي لها مقايضاتها الخاصة، فأنا مهتم جدًا بفهم كيف يمكن لرواد الأعمال استخدام هذه الأدوات لبناء أفضل الشبكات الممكنة.