ما هو معدل نجاح ChatGPT في تشخيص دراسات حالة الأطفال؟
اكتشف 3 من أطباء الأطفال في مركز كوهين الطبي للأطفال، في نيويورك، أن المهارات التشخيصية للأطفال في ChatGPT مفتقرة إلى حد كبير بعد أن طلبوا من LLM تشخيص 100 دراسة حالة عشوائية.
في دراستهم، التي نشرت في مجلة JAMA Pediatrics، اختبر جوزيف باريل وأليكس مارجوليس وجريس كاسون المهارات التشخيصية لـ ChatGPT.
تحدٍ خاص
وبحسب ما نُشر في موقع ميديكال إكسبريس، أشار الباحثون إلى أن تشخيص الأطفال يمثل تحديًا خاصًا، لأنه بالإضافة إلى مراعاة جميع الأعراض الموجودة لدى مريض معين، يجب أيضًا أخذ العمر في الاعتبار.
وفي هذا الجهد الجديد، لاحظ الباحثون أن بعض العاملين في المجتمع الطبي روجوا للماجستير في القانون كأداة تشخيصية جديدة واعدة.
ولتحديد مدى فعاليتها، قام الباحثون بتجميع 100 دراسة حالة عشوائية للأطفال وطلبوا من ChatGPT تشخيصها.
ولتبسيط الأمور، استخدم الباحثون نهجًا واحدًا في الاستعلام عن ماجستير القانون في جميع دراسات الحالة.
قام الباحثون أولًا بلصق النص من دراسة الحالة، ثم أتبعوه بالمطالبة «أدرج تشخيصًا تفريقيًا وتشخيصًا نهائيًا».
التشخيص التفريقي هو منهجية تستخدم لاقتراح تشخيص أولي، أو العديد منها، باستخدام تاريخ المريض والفحوصات البدنية، أما التشخيص النهائي، كما يوحي اسمه، هو السبب المعتقد للأعراض.
تم تسجيل الإجابات التي قدمتها LLM من قبل اثنين من زملائها الذين لم يشاركوا بطريقة أخرى في الدراسة، وكانت هناك 3 درجات محتملة، «صحيحة» و«غير صحيحة» و«لم تستوعب التشخيص بشكل كامل».
وجد فريق البحث أن ChatGPT أنتج نتائج صحيحة 17 مرة فقط، منها 11 كانت مرتبطة سريريًا بالتشخيص الصحيح ولكنها لا تزال خاطئة.
لاحظ الباحثون ما هو واضح: من الواضح أن ChatGPT ليس جاهزًا بعد لاستخدامه كأداة تشخيصية، لكنهم يشيرون أيضًا إلى أن التدريب الأكثر انتقائية يمكن أن يحسن النتائج.
ويقترح الباحثون أيضًا أنه في هذه الأثناء، قد تكون شهادات LLM مثل ChatGPT مفيدة كأداة إدارية، أو للمساعدة في كتابة المقالات البحثية أو لإنشاء أوراق تعليمات لاستخدام المريض في تطبيقات الرعاية اللاحقة.
