Microsoft stellt Phi-3 vor

Microsoft hat die nächste Version seines kompakten KI-Modells Phi-3 Mini vorgestellt, das erste von drei kleinen Modellen, die das Unternehmen herausbringen will.

Phi-3 Mini verfügt über 3,8 Milliarden Parameter und wurde mit einem im Vergleich zu großen Sprachmodellen wie GPT-4 kleineren Datensatz trainiert. Microsoft plant, Phi-3 Small (mit 7 Milliarden Parametern) und Phi-3 Medium (mit 14 Milliarden Parametern) auf den Markt zu bringen. Parameter beziehen sich darauf, wie viele komplexe Anweisungen ein Modell verstehen kann. Microsoft sagt, dass Phi-3-Mini über ein Leistungsniveau verfügt, das mit größeren Modellen wie Mixtral 8x7B und GPT-3.5 mithalten kann.

Spannend: Phi-3 ist noch besser als sein Vorgänger für den direkten Einsatz auf Smartphones angepasst. Aufgrund seiner geringen Größe kann es auf 4 Bit quantisiert werden und belegt etwa 1,8 GB Speicher. Microsoft testete das quantisierte Modell, indem es Phi-3-Mini auf einem iPhone 14 mit einem A16 Bionic-Chip einsetzte (nativ auf dem Gerät und vollständig offline) und mehr als 12 Token pro Sekunde erreichte.

Falls ihr da ein bisschen eintauchen wollte: analyticsindiamag & die entsprechenden Forschungsergebnisse bei arxiv.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.