Tag: InfiniAufmerksamkeit

Google hat ein Forschungspapier zu einer neuen Technologie namens Infini-attention veröffentlicht, die es ihr ermöglicht, enorm große Datenmengen mit „unendlich langen Kontexten“ zu verarbeiten und gleichzeitig problemlos in andere Modelle eingefügt werden kann, um deren Fähigkeiten erheblich zu verbessern

Der letzte Teil dürfte für diejenigen von Interesse sein, die sich für den Algorithmus von Google interessieren. Infini-attention ist Plug-and-Play-fähig, was bedeutet, dass es relativ einfach in andere Modelle eingefügt werden kann, einschließlich derjenigen, die vom Kernalgorithmus von Google verwendet werden.