Zusammenfassung: Eine neue Studie zeigt Einschränkungen beim aktuellen Einsatz mathematischer Modelle für die personalisierte Medizin auf, insbesondere bei der Behandlung von Schizophrenie. Obwohl diese Modelle Patientenergebnisse in bestimmten klinischen Studien vorhersagen können, versagen sie bei der Anwendung auf verschiedene Studien, was die Zuverlässigkeit von KI-gesteuerten Algorithmen in verschiedenen Umgebungen in Frage stellt.
Diese Studie unterstreicht die Notwendigkeit, dass Algorithmen in mehreren Kontexten ihre Wirksamkeit unter Beweis stellen müssen, bevor ihnen wirklich vertraut werden kann. Die Ergebnisse verdeutlichen eine erhebliche Lücke zwischen dem Potenzial der personalisierten Medizin und ihrer aktuellen praktischen Anwendung, insbesondere angesichts der Variabilität bei klinischen Studien und realen medizinischen Umgebungen.
Wichtige Fakten:
- Mathematische Modelle, die derzeit für die personalisierte Medizin verwendet werden, sind in bestimmten klinischen Studien wirksam, lassen sich jedoch nicht über verschiedene Studien hinweg verallgemeinern.
- Die Studie wirft Bedenken hinsichtlich der Anwendung von KI und maschinellem Lernen in der personalisierten Medizin auf, insbesondere bei Erkrankungen wie Schizophrenie, bei denen das Ansprechen auf die Behandlung von Person zu Person sehr unterschiedlich ist.
- Die Forschung legt nahe, dass ein umfassenderer Datenaustausch und die Einbeziehung zusätzlicher Umgebungsvariablen die Zuverlässigkeit und Genauigkeit von KI-Algorithmen bei medizinischen Behandlungen verbessern könnten.
Quelle: Yale
Das Streben nach personalisierter Medizin, einem medizinischen Ansatz, bei dem Ärzte das einzigartige genetische Profil eines Patienten nutzen, um eine individuelle Behandlung anzupassen, hat sich zu einem entscheidenden Ziel im Gesundheitssektor entwickelt. Eine neue von Yale durchgeführte Studie zeigt jedoch, dass die derzeit verfügbaren mathematischen Modelle zur Vorhersage von Behandlungen nur begrenzt wirksam sind.
Bei einer Analyse klinischer Studien zur Behandlung mehrerer Schizophrenie-Behandlungen stellten die Forscher fest, dass die mathematischen Algorithmen in der Lage waren, Patientenergebnisse innerhalb der spezifischen Studien, für die sie entwickelt wurden, vorherzusagen, bei Patienten, die an verschiedenen Studien teilnahmen, jedoch nicht funktionierten.
Die Ergebnisse werden am 11. Januar in der Zeitschrift veröffentlicht Wissenschaft.
„Diese Studie stellt den Status quo der Algorithmenentwicklung wirklich in Frage und legt die Messlatte für die Zukunft höher“, sagte Adam Chekroud, außerordentlicher Assistenzprofessor für Psychiatrie an der Yale School of Medicine und korrespondierender Autor des Artikels. „Im Moment würde ich sagen, dass wir Algorithmen in mindestens zwei verschiedenen Umgebungen sehen müssen, bevor wir uns wirklich dafür begeistern können.“
„Ich bin immer noch optimistisch“, fügte er hinzu, „aber als medizinische Forscher müssen wir einige ernste Dinge herausfinden.“
Chekroud ist außerdem Präsident und Mitbegründer von Spring Health, einem privaten Unternehmen, das psychosoziale Dienste anbietet.
Schizophrenie, eine komplexe Hirnstörung, von der etwa 1 % der US-Bevölkerung betroffen ist, verdeutlicht perfekt die Notwendigkeit personalisierterer Behandlungen, sagen die Forscher. Bis zu 50 % der Patienten mit der Diagnose Schizophrenie reagieren nicht auf das erste verschriebene Antipsychotikum. Es lässt sich jedoch nicht vorhersagen, welche Patienten auf die Therapie ansprechen und welche nicht.
Forscher hoffen, dass neue Technologien, die maschinelles Lernen und künstliche Intelligenz nutzen, Algorithmen hervorbringen könnten, die besser vorhersagen können, welche Behandlungen für verschiedene Patienten funktionieren, und dazu beitragen, die Ergebnisse zu verbessern und die Pflegekosten zu senken.
Aufgrund der hohen Kosten für die Durchführung einer klinischen Studie werden die meisten Algorithmen jedoch nur anhand einer einzigen klinischen Studie entwickelt und getestet. Die Forscher hatten jedoch gehofft, dass diese Algorithmen funktionieren würden, wenn sie an Patienten mit ähnlichen Profilen und ähnlichen Behandlungen getestet würden.
Für die neue Studie wollten Chekroud und seine Yale-Kollegen herausfinden, ob diese Hoffnung wirklich wahr ist. Zu diesem Zweck sammelten sie Daten aus fünf klinischen Studien zur Behandlung von Schizophrenie, die über das Yale Open Data Access (YODA)-Projekt zur Verfügung gestellt wurden, das sich für den verantwortungsvollen Austausch klinischer Forschungsdaten einsetzt und diesen unterstützt.
Sie stellten fest, dass die Algorithmen in den meisten Fällen die Patientenergebnisse für die klinische Studie, in der sie entwickelt wurden, effektiv vorhersagten. Es gelang ihnen jedoch nicht, die Ergebnisse für Schizophreniepatienten, die in verschiedenen klinischen Studien behandelt wurden, effektiv vorherzusagen.
„Die Algorithmen funktionierten fast immer beim ersten Mal“, sagte Chekroud. „Aber als wir sie an Patienten aus anderen Studien testeten, war der Vorhersagewert nicht größer als der Zufall.“
Das Problem besteht laut Chekroud darin, dass die meisten mathematischen Algorithmen, die von medizinischen Forschern verwendet werden, für die Verwendung mit viel größeren Datensätzen konzipiert sind. Klinische Studien sind teuer und zeitaufwendig in der Durchführung, daher nehmen an den Studien in der Regel weniger als 1.000 Patienten teil.
Die Anwendung der leistungsstarken KI-Tools auf die Analyse dieser kleineren Datensätze, sagte er, könne oft zu einer „Überanpassung“ führen, bei der ein Modell Reaktionsmuster gelernt habe, die idiosynkratisch oder nur für die anfänglichen Versuchsdaten spezifisch seien, aber dann verschwinden Es sind weitere neue Daten enthalten.
„Die Realität ist, dass wir über die Entwicklung von Algorithmen genauso nachdenken müssen wie über die Entwicklung neuer Medikamente“, sagte er. „Wir müssen sehen, wie Algorithmen zu verschiedenen Zeiten oder in verschiedenen Kontexten funktionieren, bevor wir ihnen wirklich glauben können.“
In Zukunft könnte die Einbeziehung anderer Umgebungsvariablen den Erfolg von Algorithmen bei der Analyse klinischer Studiendaten verbessern oder auch nicht, fügten die Forscher hinzu. Nimmt der Patient beispielsweise Drogen oder erhält er persönliche Unterstützung von Familie oder Freunden? Dies sind Faktoren, die das Behandlungsergebnis beeinflussen können.
Die meisten klinischen Studien verwenden präzise Kriterien, um die Erfolgsaussichten zu verbessern, z. B. Richtlinien, nach denen Patienten eingeschlossen (oder ausgeschlossen) werden sollten, eine sorgfältige Messung der Ergebnisse und eine Begrenzung der Anzahl der Ärzte, die Behandlungen durchführen. Unter realen Bedingungen gibt es laut den Forschern eine viel größere Vielfalt an Patienten und größere Unterschiede in der Qualität und Konsistenz der Behandlung.
„Theoretisch sollten klinische Studien der einfachste Ort für die Arbeit von Algorithmen sein. „Wenn sich Algorithmen jedoch nicht von einer klinischen Studie auf eine andere übertragen lassen, wird es noch schwieriger, sie in der klinischen Praxis einzusetzen“, sagte Co-Autor John Krystal, Robert L. McNeil, Jr. Professor für translationale Forschung und Professor für Psychiatrie, Neurowissenschaften und Psychologie an der Yale School of Medicine. Krystal ist außerdem Vorsitzende der Abteilung für Psychiatrie in Yale.
Chekroud weist darauf hin, dass verstärkte Bemühungen zum Datenaustausch zwischen Forschern und die Speicherung zusätzlicher Daten durch große Gesundheitsdienstleister dazu beitragen könnten, die Zuverlässigkeit und Genauigkeit von KI-gesteuerten Algorithmen zu erhöhen.
„Obwohl sich die Studie mit Schizophrenie-Studien befasste, wirft sie schwierige Fragen für die personalisierte Medizin im weiteren Sinne und ihre Anwendung bei Herz-Kreislauf-Erkrankungen und Krebs auf“, sagte Philip Corlett, außerordentlicher Professor für Psychiatrie an der Yale und Mitautor der Studie.
Weitere Yale-Autoren der Studie sind Hieronimus Loho; Ralitza Gueorguieva, leitende Wissenschaftlerin an der Yale School of Public Health; und Harlan M. Krumholz, Harold H. Hines Jr. Professor für Medizin (Kardiologie) in Yale.
Über diese Neuigkeiten aus der KI- und personalisierten Medizinforschung
Autor: Bess Connolly
Quelle: Yale
Kontakt: Bess Connolly – Yale
Bild: Das Bild stammt von Neuroscience News
Ursprüngliche Forschung: Geschlossener Zugang.
„Illusorische Generalisierbarkeit klinischer Vorhersagemodelle“ von Adam Chekroud et al. Wissenschaft
Abstrakt
Illusionäre Generalisierbarkeit klinischer Vorhersagemodelle
Es besteht die große Hoffnung, dass statistische Modelle die Entscheidungsfindung im Zusammenhang mit medizinischen Behandlungen verbessern können. Aufgrund der Kosten und der Knappheit medizinischer Ergebnisdaten basiert diese Hoffnung in der Regel darauf, dass Forscher den Erfolg eines Modells in einem oder zwei Datensätzen oder klinischen Kontexten beobachten.
Wir haben diesen Optimismus untersucht, indem wir untersucht haben, wie gut ein Modell für maschinelles Lernen in mehreren unabhängigen klinischen Studien zu antipsychotischen Medikamenten gegen Schizophrenie funktioniert hat.
Die Modelle prognostizierten Patientenergebnisse mit hoher Genauigkeit innerhalb der Studie, in der das Modell entwickelt wurde, schnitten jedoch bei der Anwendung außerhalb der Stichprobe nicht besser ab als zufällig. Das Zusammenführen von Daten über mehrere Studien hinweg, um die Ergebnisse in der ausgelassenen Studie vorherzusagen, verbesserte die Vorhersagen nicht.
Diese Ergebnisse legen nahe, dass Modelle zur Vorhersage von Behandlungsergebnissen bei Schizophrenie stark kontextabhängig sind und möglicherweise nur begrenzt verallgemeinerbar sind.