Laut einer neuen Studie wurde festgestellt, dass ChatGPT ungenaue Informationen zum Drogenkonsum weitergegeben hat.
In einer von der Long Island University (LIU) in Brooklyn, New York, durchgeführten Studie wurde festgestellt, dass fast 75 % der von Apothekern überprüften drogenbezogenen Antworten des generativen KI-Chatbots unvollständig oder falsch waren.
In einigen Fällen lieferte ChatGPT, das von OpenAI in San Francisco entwickelt und Ende 2022 veröffentlicht wurde, „ungenaue Antworten, die Patienten gefährden könnten“, erklärte die American Society of Health System Pharmacists (ASHP) mit Sitz in Bethesda, Maryland, in einem Bericht Pressemitteilung.
WAS IST KÜNSTLICHE INTELLIGENZ?
Dieselbe Studie ergab auch, dass ChatGPT auch „falsche Zitate“ generierte, wenn es darum gebeten wurde, Referenzen zur Untermauerung einiger Antworten anzugeben.
Zusammen mit ihrem Team stellte die leitende Studienautorin Sara Grossman, PharmD, außerordentliche Professorin für Pharmaziepraxis an der LIU, dem KI-Chatbot echte Fragen, die ursprünglich zwischen 2022 und 2023 an den Arzneimittelinformationsdienst des College of Pharmacy der LIU gestellt wurden.
Laut einer neuen Studie generierte ChatGPT, der von OpenAI entwickelte KI-Chatbot, ungenaue Antworten zu Medikamenten. Das Unternehmen selbst sagte zuvor: „Die Modelle von OpenAI sind nicht darauf abgestimmt, medizinische Informationen bereitzustellen. Sie sollten unsere Modelle niemals zur Bereitstellung von Diagnose- oder Behandlungsdiensten für schwerwiegende Erkrankungen verwenden.“ (LIONEL BONAVENTURE/AFP über Getty Images)
Von den 39 an ChatGPT gestellten Fragen wurden nach den Kriterien des Forschungsteams nur 10 Antworten als „befriedigend“ eingestuft.
Die Studienergebnisse wurden auf dem ASHP Midyear Clinical Meeting vom 3. bis 7. Dezember in Anaheim, Kalifornien, vorgestellt.
Grossman, die Hauptautorin, teilte Fox News Digital ihre erste Reaktion auf die Ergebnisse der Studie mit.
BRUSTKREBS-DURCHBRUCH: KI SAGT EIN DRITTEL DER FÄLLE VOR DER DIAGNOSE IN DER MAMMOGRAPHIE-STUDIE VOR
Da „wir ChatGPT zuvor noch nicht verwendet hatten, waren wir überrascht von der Fähigkeit von ChatGPT, innerhalb von Sekunden zahlreiche Hintergrundinformationen über die für die Frage relevante Medikation und/oder den Krankheitszustand bereitzustellen“, sagte sie per E-Mail.
„Trotzdem generierte ChatGPT keine genauen und/oder vollständigen Antworten, die die meisten Fragen direkt beantworteten.“
Grossman erwähnte auch ihre Überraschung darüber, dass ChatGPT in der Lage war, „fabrizierte Referenzen zur Unterstützung der bereitgestellten Informationen“ zu generieren.
Von 39 an ChatGPT gestellten Fragen wurden nur 10 der Antworten gemäß den Kriterien des Forschungsteams als „befriedigend“ eingestuft. (Frank Rumpenhorst/Picture Alliance über Getty Images; iStock)
In einem von ihr zitierten Beispiel aus der Studie wurde ChatGPT gefragt, ob „eine Arzneimittelwechselwirkung zwischen Paxlovid, einem antiviralen Medikament zur Behandlung von COVID-19, und Verapamil, einem Medikament zur Senkung des Blutdrucks, besteht.“
GOOGLE-Chef BARD glaubt, dass KI dabei helfen kann, Kommunikation und Mitgefühl zu verbessern: „wirklich bemerkenswert“
Das KI-Modell antwortete, dass mit dieser Kombination keine Interaktionen gemeldet worden seien.
Aber in Wirklichkeit, sagte Grossman, stellten die beiden Medikamente in Kombination die potenzielle Gefahr einer „übermäßigen Senkung des Blutdrucks“ dar.
„Ohne Kenntnis dieser Wechselwirkung kann ein Patient unter einer unerwünschten und vermeidbaren Nebenwirkung leiden“, warnte sie.
„Es ist immer wichtig, sich mit medizinischem Fachpersonal zu beraten, bevor man von Computern generierte Informationen nutzt.“
ChatGPT sollte nicht als „maßgebliche Quelle für medikamentenbezogene Informationen“ betrachtet werden, betonte Grossman.
„Jeder, der ChatGPT nutzt, sollte darauf achten, Informationen aus vertrauenswürdigen Quellen zu überprüfen – nämlich Apothekern, Ärzten oder anderen Gesundheitsdienstleistern“, fügte Grossman hinzu.
MILITÄRISCHE GEISTIGE GESUNDHEIT IM FOKUS, DA DAS KI-TRAINING ECHTE GESPRÄCHE SIMULIERT, UM VETERANENSELBSTMORD ZU VERHINDERN
Die LIU-Studie habe die Reaktionen anderer generativer KI-Plattformen nicht ausgewertet, betonte Grossman – es gebe daher keine Daten darüber, wie andere KI-Modelle unter den gleichen Bedingungen funktionieren würden.
„Trotzdem ist es immer wichtig, sich mit medizinischem Fachpersonal zu beraten, bevor man Informationen verwendet, die von Computern generiert werden, die nicht mit den spezifischen Bedürfnissen eines Patienten vertraut sind“, sagte sie.
Nutzungsrichtlinie von ChatGPT
Fox News Digital hat OpenAI, den Entwickler von ChatGPT, um einen Kommentar zur neuen Studie gebeten.
OpenAI verfügt über eine Nutzungsrichtlinie, die die Verwendung für medizinische Unterrichtszwecke verbietet, sagte ein Unternehmenssprecher zuvor in einer Erklärung gegenüber Fox News Digital.
Paxlovid, das antivirale Medikament von Pfizer zur Behandlung von COVID-19, ist in dieser Abbildung vom 7. Oktober 2022 zu sehen. Als ChatGPT gefragt wurde, ob eine Wechselwirkung zwischen Paxlovid und Verapamil besteht, antwortete der Chatbot falsch, wie eine neue Studie berichtet. (REUTERS/Wolfgang Rattay/Illustration)
„Die Modelle von OpenAI sind nicht darauf abgestimmt, medizinische Informationen bereitzustellen. Sie sollten unsere Modelle niemals zur Bereitstellung von Diagnose- oder Behandlungsdiensten für schwerwiegende Erkrankungen verwenden“, erklärte der Unternehmenssprecher Anfang des Jahres.
„Die Plattformen von OpenAI sollten nicht zur Triage oder Bewältigung lebensbedrohlicher Probleme verwendet werden, die sofortiger Aufmerksamkeit bedürfen.“
Gesundheitsdienstleister „müssen den Nutzern eine Haftungsausschlusserklärung zur Verfügung stellen, in der sie darüber informiert werden, dass KI eingesetzt wird und über mögliche Einschränkungen informiert.“
Das Unternehmen verlangt außerdem, dass Gesundheitsdienstleister bei der Verwendung von ChatGPT zur Kommunikation mit Patienten „den Benutzern einen Haftungsausschluss zur Verfügung stellen müssen, der sie darüber informiert, dass KI verwendet wird und über die möglichen Einschränkungen informiert.“
Darüber hinaus besteht, wie Fox News Digital bereits erwähnte, ein großer Vorbehalt darin, dass die Datenquelle von ChatGPT das Internet ist – und wie den meisten Menschen bewusst ist, gibt es im Internet viele Fehlinformationen.
Deshalb sollten die Antworten des Chatbots, so überzeugend sie auch klingen, immer von einem Arzt überprüft werden.
Der Autor der neuen Studie schlug vor, einen Arzt zu konsultieren, bevor man sich bei medizinischen Anfragen auf generative KI verlässt. (iStock)
Darüber hinaus wurde ChatGPT laut mehreren Quellen nur bis September 2021 anhand der Daten „geschult“. Während es sein Wissen im Laufe der Zeit erweitern kann, stößt es bei der Bereitstellung neuerer Informationen auf Einschränkungen.
Letzten Monat gab CEO Sam Altman Berichten zufolge bekannt, dass ChatGPT von OpenAI ein Upgrade erhalten habe – und bald auf Daten bis April 2023 trainiert werde.
„Innovatives Potenzial“
Dr. Harvey Castro, ein in Dallas, Texas, ansässiger Facharzt für Notfallmedizin und nationaler Redner zum Thema KI im Gesundheitswesen, äußerte sich zum „innovativen Potenzial“, das ChatGPT im medizinischen Bereich bietet.
„Bei allgemeinen Anfragen kann ChatGPT schnelle, zugängliche Informationen bereitstellen und so möglicherweise die Arbeitsbelastung für medizinisches Fachpersonal verringern“, sagte er gegenüber Fox News Digital.
KÜNSTLICHE INTELLIGENZ HILFT ÄRZTEN, DAS RISIKO DES PATIENTEN, ZU STERBEN, VORHERSAGEN, ERGEBNIS DER STUDIE: „GEFÜHL DER DRINGLICHKEIT“
„Die maschinellen Lernalgorithmen von ChatGPT ermöglichen es, sich im Laufe der Zeit zu verbessern, insbesondere mit geeigneten Verstärkungslernmechanismen“, sagte er außerdem.
Die kürzlich gemeldeten Antwortungenauigkeiten von ChatGPT stellten jedoch ein „kritisches Problem“ des Programms dar, betonte der KI-Experte.
„Dies ist besonders in wichtigen Bereichen wie der Medizin besorgniserregend“, sagte Castro.
Ein Experte für Gesundheitstechnologie wies darauf hin, dass medizinische Fachkräfte dafür verantwortlich seien, Modelle der künstlichen Intelligenz bei ihrer Entwicklung zu „anleiten und zu kritisieren“. (iStock)
Ein weiteres potenzielles Risiko besteht darin, dass ChatGPT nachweislich Informationen „halluziniert“ – was bedeutet, dass plausible, aber falsche oder nicht überprüfte Inhalte generiert werden könnten, warnte Castro.
KLICKEN SIE HIER, UM UNSEREN GESUNDHEITS-NEWSLETTER ZU ANMELDEN
„Das ist gefährlich in medizinischen Bereichen, wo Genauigkeit von größter Bedeutung ist“, sagte Castro.
„Während ChatGPT im Gesundheitswesen vielversprechend ist, unterstreichen seine aktuellen Einschränkungen … die Notwendigkeit einer vorsichtigen Umsetzung.“
Der KI „fehlt derzeit das tiefe, differenzierte Verständnis medizinischer Zusammenhänge“, über das medizinische Fachkräfte verfügen, fügte Castro hinzu.
„Während ChatGPT im Gesundheitswesen vielversprechend ist, unterstreichen seine derzeitigen Einschränkungen, insbesondere bei der Bearbeitung drogenbezogener Anfragen, die Notwendigkeit einer vorsichtigen Umsetzung.“
OpenAI, der Entwickler von ChatGPT, verfügt über eine Nutzungsrichtlinie, die die Verwendung für medizinische Unterrichtszwecke verbietet, sagte ein Unternehmenssprecher Anfang des Jahres gegenüber Fox News Digital. (Jaap Arriens/NurPhoto über Getty Images)
Als Notarzt und KI-Berater im Gesundheitswesen betonte Castro die „unschätzbare“ Rolle, die Mediziner bei der „Anleitung und Kritik dieser sich entwickelnden Technologie“ spielen.
KLICKEN SIE HIER, UM DIE FOX NEWS-APP ZU ERHALTEN
„Die menschliche Aufsicht bleibt unverzichtbar und stellt sicher, dass KI-Tools wie ChatGPT als Ergänzung und nicht als Ersatz für die professionelle medizinische Beurteilung eingesetzt werden“, fügte Castro hinzu.
Melissa Rudy von Fox News Digital trug zur Berichterstattung bei.
Weitere Gesundheitsartikel finden Sie unter www.foxnews.com/health.