Teodor Grantcharov, Professor für Chirurgie in Stanford, glaubt, ein Werkzeug gefunden zu haben, um Operationen sicherer zu machen und menschliche Fehler zu minimieren: KI-gesteuerte „Black Boxes“ in Operationssälen, die ähnlich funktionieren wie die Black Boxes eines Flugzeugs. Diese Geräte, die von Grantcharovs Firma Surgical Safety Technologies gebaut wurden, zeichnen über Panoramakameras, Mikrofone in der Decke und Anästhesiemonitore alles im Operationssaal auf, bevor sie mithilfe künstlicher Intelligenz den Chirurgen helfen, die Daten zu interpretieren. Sie erfassen den gesamten Operationssaal als Ganzes, von der Häufigkeit, mit der die Tür geöffnet wird, bis hin zu der Anzahl nicht fallbezogener Gespräche, die während einer Operation stattfinden.
Diese Black Boxes sind in fast 40 Einrichtungen in den USA, Kanada und Westeuropa im Einsatz, von Mount Sinai über Duke bis zur Mayo Clinic. Aber stehen Krankenhäuser an der Schwelle zu einem neuen Zeitalter der Sicherheit – oder schaffen sie eine Atmosphäre der Verwirrung und Paranoia? Lesen Sie hier die ganze Geschichte von Simar Bajaj.
Das kam mir als eine Geschichte mit weitreichenderen Auswirkungen vor. Organisationen in allen Sektoren denken darüber nach, wie sie KI einsetzen können, um die Sicherheit oder Effizienz zu steigern. Dieses Beispiel aus Krankenhäusern zeigt, dass die Situation nicht immer eindeutig ist und es viele Fallstricke gibt, die Sie vermeiden müssen.
Hier sind drei Lektionen über die Einführung von KI, die ich aus dieser Geschichte gelernt habe:
1. Privatsphäre ist wichtig, aber nicht immer gewährleistet. Grantcharov erkannte sehr schnell, dass die einzige Möglichkeit, Chirurgen dazu zu bringen, die Blackbox zu benutzen, darin bestand, ihnen das Gefühl zu geben, vor möglichen Konsequenzen geschützt zu sein. Er hat das System so konzipiert, dass es zwar Aktionen aufzeichnet, aber die Identität von Patienten und Personal verbirgt und sogar alle Aufzeichnungen innerhalb von 30 Tagen löscht. Seine Idee ist, dass niemand für einen Fehler bestraft werden sollte.
Die Black Boxes machen jede Person in der Aufnahme anonym; ein Algorithmus verzerrt die Stimmen der Leute und verwischt ihre Gesichter, wodurch sie in schattenhafte, noir-artige Figuren verwandelt werden. Selbst wenn man also weiß, was passiert ist, kann man es nicht gegen eine Einzelperson verwenden.
Doch dieser Prozess ist nicht perfekt. Bevor 30 Tage alte Aufzeichnungen automatisch gelöscht werden, können Krankenhausverwalter immer noch die Nummer des Operationssaals, die Uhrzeit der Operation und die Krankenaktennummer des Patienten sehen. Selbst wenn das Personal also technisch anonymisiert ist, ist es nicht wirklich anonym. Das Ergebnis ist das Gefühl, dass „Big Brother zusieht“, sagt Christopher Mantyh, stellvertretender Leiter des klinischen Betriebs am Duke University Hospital, das in sieben Operationssälen über Blackboxes verfügt.
2. Sie können neue Technologien nicht einführen, ohne vorher die Menschen davon zu überzeugen. Die Menschen sind den neuen Geräten gegenüber oft zu Recht misstrauisch, und die Mängel des Systems in Bezug auf den Datenschutz sind einer der Gründe, warum das Personal zögerlich ist, es zu nutzen. Viele Ärzte und Krankenschwestern boykottierten die neuen Überwachungsgeräte aktiv. In einem Krankenhaus wurden die Kameras sabotiert, indem sie umgedreht oder absichtlich ausgesteckt wurden. Einige Chirurgen und Mitarbeiter weigerten sich, in den Räumen zu arbeiten, in denen die Kameras installiert waren.