Eine in JAMA Internal Medicine veröffentlichte Studie gibt einen ersten Einblick in die Rolle, die KI-Assistenten in der Medizin spielen könnten. In der Studie wurden die schriftlichen Antworten von Ärzten und die von ChatGPT auf reale Gesundheitsfragen verglichen. Ein Gremium von zugelassenen medizinischen Fachkräften bevorzugte in 79 % der Fälle die Antworten von ChatGPT und bewertete die Antworten von ChatGPT als qualitativ hochwertiger und einfühlsamer.
„Die Möglichkeiten zur Verbesserung der Gesundheitsversorgung durch KI sind enorm“, sagte Studienleiter Dr. John W. Ayers vom Qualcomm Institute an der University of California San Diego. „KI-unterstützte Pflege ist die Zukunft der Medizin.
Ist ChatGPT bereit für das Gesundheitswesen?
In der neuen Studie wollte das Forschungsteam die Frage beantworten: Kann ChatGPT präzise auf Fragen antworten, die Patienten an ihre Ärzte richten? Wenn ja, könnten KI-Modelle in Gesundheitssysteme integriert werden, um die Antworten von Ärzten auf Patientenfragen zu verbessern und die ständig wachsende Belastung der Ärzte zu verringern.
„ChatGPT könnte vielleicht eine medizinische Zulassungsprüfung bestehen“, sagte der Mitautor der Studie, Dr. Davey Smith, ein medizinischer Wissenschaftler, Co-Direktor des UC San Diego Altman Clinical and Translational Research Institute und Professor an der UC San Diego School of Medicine, „aber die direkte Beantwortung von Patientenfragen mit Genauigkeit und Einfühlungsvermögen ist etwas ganz anderes“.
„Die COVID-19-Pandemie hat die Einführung der virtuellen Gesundheitsversorgung beschleunigt“, fügte der Mitautor der Studie, Dr. Eric Leas, ein Mitglied des Qualcomm-Instituts und Assistenzprofessor an der UC San Diego Herbert Wertheim School of Public Health and Human Longevity Science, hinzu. „Während dies den Patienten den Zugang zur Versorgung erleichtert, werden die Ärzte durch eine Flut von elektronischen Patientennachrichten belastet, in denen sie um medizinischen Rat gebeten werden, was zu einem rekordverdächtigen Maß an Burnout bei Ärzten geführt hat.“
Entwurf einer Studie zum Testen von ChatGPT in einer Gesundheitseinrichtung
Um eine große und vielfältige Stichprobe von Fragen zum Gesundheitswesen und Antworten von Ärzten zu erhalten, die keine identifizierbaren persönlichen Informationen enthielten, wandte sich das Team an soziale Medien, in denen Millionen von Patienten öffentlich medizinische Fragen stellen, auf die Ärzte antworten: Reddit’s AskDocs.
r/AskDocs ist ein Subreddit mit etwa 452.000 Mitgliedern, die medizinische Fragen stellen, auf die verifizierte medizinische Fachleute antworten. Zwar kann jeder auf eine Frage antworten, aber die Moderatoren überprüfen die Referenzen der medizinischen Fachkräfte, und die Antworten zeigen den Grad der Glaubwürdigkeit des Befragten an. Das Ergebnis ist ein großes und vielfältiges Angebot an medizinischen Fragen von Patienten und die dazugehörigen Antworten von zugelassenen medizinischen Fachleuten.
Manche mögen sich fragen, ob der Austausch von Fragen und Antworten in sozialen Medien ein fairer Test ist, doch die Teammitglieder stellten fest, dass der Austausch ihre klinischen Erfahrungen widerspiegelt.
Das Team wählte nach dem Zufallsprinzip 195 Austauschvorgänge auf AskDocs aus, in denen ein verifizierter Arzt auf eine öffentliche Frage antwortete. Das Team übermittelte die ursprüngliche Frage an ChatGPT und bat es, eine Antwort zu verfassen. Ein Gremium aus drei zugelassenen Fachleuten des Gesundheitswesens bewertete jede Frage und die entsprechenden Antworten, wobei sie nicht wussten, ob die Antwort von einem Arzt oder ChatGPT stammte. Sie verglichen die Antworten anhand der Informationsqualität und des Einfühlungsvermögens und notierten, welche Antwort sie bevorzugten.
ChatGPT-Antworten schneiden positiv ab
In 79 % der Fälle bevorzugte das Gremium der medizinischen Fachleute die ChatGPT-Antworten gegenüber den Antworten der Ärzte.
„ChatGPT-Nachrichten enthielten nuancierte und genaue Informationen, die oft mehr Aspekte der Patientenfragen ansprachen als die Antworten von Ärzten“, sagte Jessica Kelley, Krankenschwester bei der Firma Human Longevity in San Diego und Mitautorin der Studie.
Darüber hinaus wurde die Qualität der ChatGPT-Antworten deutlich höher bewertet als die der ärztlichen Antworten: Die Qualität der Antworten war bei ChatGPT 3,6 Mal höher als bei Ärzten (Ärzte 22,1 % gegenüber ChatGPT 78,5 %). Die Antworten waren auch einfühlsamer: einfühlsame oder sehr einfühlsame Antworten waren bei ChatGPT 9,8-mal höher als bei Ärzten (Ärzte 4,6 % gegenüber ChatGPT 45,1 %).
„Ich hätte nie gedacht, dass ich das sagen würde“, fügte Dr. Aaron Goodman, Professor an der UC San Diego School of Medicine und Mitautor der Studie, hinzu, „aber ChatGPT ist ein Rezept, das ich gerne meinem Posteingang geben würde. Das Tool wird die Art und Weise, wie ich meine Patienten unterstütze, verändern.“
Nutzung von KI-Assistenten für Patientennachrichten
„In unserer Studie wurde ChatGPT zwar gegen Ärzte ausgespielt, aber die ultimative Lösung besteht nicht darin, den Arzt ganz zu entlassen“, sagte Dr. Adam Poliak, Assistenzprofessor für Informatik am Bryn Mawr College und Mitautor der Studie. „Stattdessen ist ein Arzt, der sich ChatGPT zunutze macht, die Antwort auf eine bessere und einfühlsame Versorgung.“
„Unsere Studie ist eine der ersten, die zeigt, wie KI-Assistenten potenziell reale Probleme in der Gesundheitsversorgung lösen können“, sagte Dr. Christopher Longhurst, Chief Medical Officer und Chief Digital Officer bei UC San Diego Health. „Diese Ergebnisse deuten darauf hin, dass Tools wie ChatGPT effizient hochwertige, personalisierte medizinische Ratschläge zur Überprüfung durch Kliniker erstellen können, und wir beginnen diesen Prozess bei UCSD Health.“
Originalpublikation: Ayers JW et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med 2023. DOI: 10.1001/jamainternmed.2023.1838.
Quelle: UNIVERSITY OF CALIFORNIA – SAN DIEGO
