Microsoft Phi-2: Small Language Modell soll auftrumpfen

Microsoft hat sein Small Language Model (SLM) namens Phi-2 bereits vor einer Weile vorgestellt, nämlich zur Ignite 2023. Dabei geht man nun in einem neuen Blog-Post in die Vollen und erklärt, dass Phi-2 in der Lage sei, Konkurrenten, die über 25-mal größer seien, in der Leistung zu übertreffen. Das habe man durch verbessertes Scaling und optimiertes Training erreicht. Das schlanke Modell Phi-2 sei insbesondere für Forscher geeignet.

Ein wichtiger Punkt sind dabei laut den Redmond ideale Trainingsdaten. Für Phi-2 habe man synthetische Datasets verwendet, die speziell auf das Training des SLMs zugeschnitten seien. Man ziehe zwar auch Daten aus dem Web hinzu, wähle da aber streng nach Qualitätskriterien aus. Dabei habe man für das Training von Phi-2 14 Tage mit 96 A100-GPUs von Nvidia gebraucht.

Microsoft erklärt gar, mit nur 2,7 Mrd. Parametern könne Phi-2 dennoch die Leistung von Mistral und Llama-2 übertreffen, die jeweils 7 bzw. 13 Mrd. Parameter einsetzen. Auch Googles Gemini Nano 2 könne man schlagen. Allerdings wirft Microsoft ein, dass es natürlich so eine Sache sei, aktuelle SLMs korrekt zu evaluieren und miteinander zu messen.

Wer sich für alle technischen Details zu Phi-2 interessiert, sollte einmal in den oben verlinkten Post im Microsoft Research blicken. Festzuhalten ist jedenfalls, dass es auch im Bereich der Small Language Models erhebliche Fortschritte gibt.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.