In der Demo von letzter Woche gab mir Raul Puri, ein Wissenschaftler, der an GPT-4 arbeitet, einen kurzen Überblick über die Bilderkennungsfunktion. Er lud ein Foto der Mathe-Hausaufgaben eines Kindes hoch, kreiste ein Sudoku-ähnliches Rätsel auf dem Bildschirm ein und fragte ChatGPT, wie Sie es lösen sollten. ChatGPT antwortete mit den richtigen Schritten.
Puri sagt, er habe die Funktion auch genutzt, um den Computer seiner Verlobten zu reparieren, indem er Screenshots von Fehlermeldungen hochgeladen und ChatGPT gefragt habe, was er tun solle. „Das war eine sehr schmerzhafte Erfahrung, die mir geholfen hat, durchzukommen“, sagt er.
Die Bilderkennungsfunktion von ChatGPT wurde bereits von einem Unternehmen namens Be My Eyes getestet, das eine App für Menschen mit Sehbehinderung herstellt. Benutzer können ein Foto von dem hochladen, was sich vor ihnen befindet, und menschliche Freiwillige bitten, ihnen zu sagen, was es ist. In einer Partnerschaft mit OpenAI bietet Be My Eyes seinen Nutzern die Möglichkeit, stattdessen einen Chatbot zu fragen.
„Manchmal ist meine Küche etwas unordentlich, oder es ist einfach nur sehr früher Montagmorgen und ich möchte nicht mit einem Menschen reden“, erzählte mir Be My Eyes-Gründer Hans Jørgen Wiberg, der die App selbst nutzt, als ich ihn interviewte bei EmTech Digital im Mai. „Jetzt können Sie den Fotofragen stellen.“
OpenAI ist sich des Risikos bewusst, diese Updates der Öffentlichkeit zugänglich zu machen. Die Kombination von Modellen bringt völlig neue Ebenen der Komplexität mit sich, sagt Puri. Er sagt, sein Team habe Monate damit verbracht, über mögliche Missbräuche nachzudenken. Sie können beispielsweise keine Fragen zu Fotos von Privatpersonen stellen.
Jang nennt ein weiteres Beispiel: „Wenn Sie ChatGPT jetzt bitten, eine Bombe zu bauen, wird es dies ablehnen“, sagt sie. „Aber anstatt zu sagen: ‚Hey, sag mir, wie man eine Bombe baut‘, was wäre, wenn du ihm ein Bild einer Bombe zeigen und sagen würdest: ‚Kannst du mir sagen, wie man das macht?‘“
„Sie haben alle Probleme mit Computer Vision; Sie haben alle Probleme großer Sprachmodelle. Sprachbetrug ist ein großes Problem“, sagt Puri. „Man muss nicht nur unsere Benutzer berücksichtigen, sondern auch die Menschen, die das Produkt nicht verwenden.“