جذب إصدار ChatGPT بواسطة OpenAI في ديسمبر 2022 قدرا لا يصدق من الاهتمام. يمتد هذا الفضول من الذكاء الاصطناعي بشكل عام إلى فئة التقنيات التي تدعم روبوت دردشة الذكاء الاصطناعي على وجه الخصوص. هذه النماذج، التي تسمى نماذج اللغة الكبيرة (LLMs)، قادرة على توليد نص حول مجموعة لا نهاية لها على ما يبدو من الموضوعات. فـ LLMs هي المفتاح لفهم كيفية عمل ChatGPTوما يجعل LLMs مثيرة للإعجاب هو قدرتها على إنشاء نص يشبه الإنسان بأي لغة تقريبا (بما في ذلك لغات الترميز). هذه النماذج هي ابتكار حقيقي لم يكن هناك شيء مثلها في الماضي.
ستشرح هذه المقالة ماهية هذه النماذج، وكيف يتم تطويرها، وكيف تعمل. أي إلى الحد الذي نفهم فيه كيف يعملون. كما اتضح، فإن فهمنا لسبب عملهم -بشكل مخيف- جزئي فقط.
نموذج اللغة الكبيرة هو نوع من الشبكات العصبية
الشبكة العصبية هي نوع من نماذج التعلم الآلي استنادا إلى عدد من الوظائف الرياضية الصغيرة التي تسمى الخلايا العصبية. مثل الخلايا العصبية في الدماغ البشري، فهي أدنى مستوى من الحساب.
كل خلية عصبية هي وظيفة رياضية بسيطة تحسب ناتجا استنادا إلى بعض المدخلات. ومع ذلك، تأتي قوة الشبكة العصبية من الاتصالات بين الخلايا العصبية.
ترتبط كل خلية عصبية ببعض أقرانها، ويتم قياس قوة كل اتصال كميا من خلال الوزن العددي. إنهم يحددون الدرجة التي سيتم بها أخذ ناتج خلية عصبية واحدة في الاعتبار كمدخل للخلايا العصبية التالية.
يمكن أن تكون الشبكة العصبية صغيرة جدا. على سبيل المثال، يمكن أن يحتوي الشخص الأساسي على ست خلايا عصبية مع ما مجموعه ثمانية اتصالات بينها. ومع ذلك، يمكن أن تكون الشبكة العصبية كبيرة جدا أيضا، كما هو الحال بالنسبة إلى LLMs قد تحتوي هذه على ملايين الخلايا العصبية مع مئات المليارات من الاتصالات بينها، مع كل اتصال له وزنه الخاص.
يستخدم LLM بنية محول
نحن نعلم بالفعل أن LLM هو نوع من الشبكات العصبية. وبشكل أكثر تحديدا، تستخدم LLMs بنية شبكة عصبية معينة تسمى المحول، وهي مصممة لمعالجة البيانات وتوليدها بالتسلسل، مثل النص.
تصف الهندسة المعمارية في هذا السياق كيفية اتصال الخلايا العصبية ببعضها البعض. تجمع جميع الشبكات العصبية خلاياها العصبية في عدد من الطبقات المختلفة. إذا كان هناك العديد من الطبقات، توصف الشبكة بأنها «عميقة»، وهو المكان الذي يأتي منه مصطلح «التعلم العميق».
في بنية شبكة عصبية بسيطة جدا، قد تكون كل خلية عصبية متصلة بكل خلية عصبية في الطبقة فوقها. في حالات أخرى، قد تكون الخلايا العصبية متصلة فقط ببعض الخلايا العصبية الأخرى القريبة منها في الشبكة.
هل ترغب بالتعليق على الموضوع؟
لا تتردد في إعطاء تعليقك ومشاركة رأيك