Drücken Sie Play, um diesen Artikel anzuhören
Gesprochen von künstlicher Intelligenz.
Tom Melvin ist außerordentlicher Professor für Regulierungsangelegenheiten für Medizinprodukte an der School of Medicine des Trinity College Dublin.
Viele von uns haben sich mit Chatbots beschäftigt, den computergestützten Konversationsprogrammen, die bei Dingen wie Bankgeschäften oder einer Anfrage zu einem Versorgungsunternehmen helfen sollen. Die kürzliche Einführung großer Sprachmodelle (LLMs) hat diese Bots und ihre Fähigkeiten beschleunigt, da Sprachmodelle neuronaler Netzwerke nun Sprachmuster aus einer Vielzahl von Quellen nutzen können, um menschenähnliche interaktive Gespräche zu generieren.
Insbesondere der Einsatz von Chatbots in der Medizin hat eine viel längere Geschichte als man denkt. Im Jahr 1966 entwickelte Joseph Weizenbaum am Massachusetts Institute of Technology das ELIZA-Programm, das die Verarbeitung natürlicher Sprache nutzte, um einen Psychotherapeuten nachzuahmen, indem er Fragen oder Überlegungen auf der Grundlage der Texteingabe eines „Patienten“ anbot.
Wie man sich angesichts der frühen Stadien der Computerprogrammierung vorstellen kann, war dies ein einfaches Programm. Für einige derjenigen, die es nutzten, erwies es sich jedoch als äußerst emotional ansprechend. Der Geschichte zufolge bat Weizenbaum, als er das System zum ersten Mal mit seiner Sekretärin ausprobierte, ihn nach den ersten paar Interaktionen, den Raum zu verlassen, damit sie die Gespräche unter vier Augen fortsetzen konnte.
Heutzutage ist der Einsatz von Chatbots im Gesundheitswesen weit verbreitet – die meisten von uns recherchieren ihre Symptome bereits online bei Dr. Google, bevor sie „analogen“ medizinischen Rat einholen. Wenn wir jedoch die bemerkenswerte Konversationsfähigkeit der neuen LLMs und ihr Potenzial zur Bereitstellung von Gesundheitslösungen berücksichtigen, müssen wir uns sowohl der Vorteile als auch der Risiken bewusst sein, die die Technologien mit sich bringen können.
Im März dieses Jahres erlangte ein weiterer Chatbot namens ELIZA in Belgien mediale Aufmerksamkeit. Bei dieser ELIZA handelte es sich um einen OpenAI-basierten Chatbot, der über eine App namens Chai verfügbar war, die als allgemeine Chatbot-App vermarktet wird. Und im Laufe von sechs Wochen, in denen wir mit dieser neuen ELIZA über Ängste in Bezug auf die Umwelt diskutierten, nahm sich ein Mann in den Dreißigern das Leben. Medienberichten zufolge hatte die App diese Person dazu ermutigt, nachdem sie vorgeschlagen hatte, sich selbst zu opfern, um den Planeten zu retten.
Wenn jemand dieses ELIZA fragt, ob es sich um ein medizinisches Gerät handelt, wird er antworten, dass dies nicht der Fall ist. Allerdings verfügt es über „in mein System integrierte Tools, die Benutzern helfen können, bestimmte psychische Gesundheitsprobleme zu bewältigen und zu überwinden.“ Wenn außerdem festgestellt wird, dass ein Benutzer „schwerwiegende psychische Probleme“ hat, wird er dazu ermutigt, professionelle Hilfe in Anspruch zu nehmen, wodurch die Software unter die Definition eines „medizinischen Geräts“ fällt. Dieser tragische Fall zeigt die neuartigen Risiken und das viel größere Manipulationspotenzial, das mit Algorithmen einhergehen kann, die Aufrichtigkeit oder Mitgefühl auf völlig neue und überzeugende Weise vortäuschen können.
Die Regulierung der Medizintechnik blieb immer hinter den Technologien zurück, die sie zu regulieren versucht. Als das erste ELIZA in den 1960er Jahren entwickelt wurde, waren medizinische Implantate wie Herzschrittmacher bereits verfügbar. Es sollte jedoch noch weitere drei Jahrzehnte dauern, bis in Europa Vorschriften für medizinische Gerätetechnologien eingeführt wurden. Und als diese Regeln erstmals eingeführt wurden, betrafen sie Software nicht – erst mit der Aktualisierung des Systems im Jahr 2017 wurden einige spezifische Vorschriften eingeführt.
Darüber hinaus wurden diese Regeln zur Regulierung der Medizintechnik größtenteils mit Blick auf physische Produkte entwickelt, und ein Großteil der Arbeit, die erforderlich ist, um die Anforderungen für Dinge wie Herzschrittmacher zu erfüllen, umfasst die Dokumentation und Kontrolle der mit einem solchen Gerät verbundenen Risiken. Es ist jedoch einfach nicht möglich, alle mit generativen Modellen verbundenen Risiken zu identifizieren, da LLMs auf eine Weise funktionieren, die selbst die Entwickler nicht vollständig verstehen, was ihre Verwaltung zu einer echten Herausforderung macht.
Dennoch wird die Regulierung in Europa zunehmen, da das Gesetz über künstliche Intelligenz voraussichtlich in den kommenden Jahren in Kraft treten wird. Dennoch bleibt abzuwarten, wie wir sicherstellen werden, dass diese Technologien angemessene Sicherheitsleitplanken integrieren. Entscheidend ist, dass LLM-basierte Chatbots, die medizinische Beratung anbieten, derzeit unter die Medizinprodukteverordnung fallen, ihre Unzuverlässigkeit schließt jedoch ihre Zulassung als solche aus. Trotzdem bleiben sie verfügbar.
Die Gesellschaft erwartet von Ärzten, dass sie umfassend geschult und kontinuierlich evaluiert werden und dass sie dieses Wissen mit Fachwissen, Mitgefühl und ethischen Standards anwenden. Dr. Chatbot hingegen kann überzeugende Ratschläge geben, aber er kann Ihnen nicht sagen, woher der Rat kam, warum er den Rat gibt oder wie seine ethischen Abwägungen berücksichtigt wurden.
Um sich ihren Platz im medizinischen Arsenal zu verdienen, müssen Chatbots nachweisen, dass sie sicher und effektiv sind, aber auch schädliche Manipulationen verhindern können. Bis die Technologie und die Regulierung dies erreichen, müssen wir uns alle sowohl des großen Potenzials als auch der tatsächlichen Risiken bewusst sein, die es mit sich bringt, wenn man sich auf medizinische Beratung verlässt.