Microsoft Phi-2: Small Language Modell soll auftrumpfen

Microsoft hat sein Small Language Model (SLM) namens Phi-2 bereits vor einer Weile vorgestellt, nämlich zur Ignite 2023. Dabei geht man nun in einem neuen Blog-Post in die Vollen und erklärt, dass Phi-2 in der Lage sei, Konkurrenten, die über 25-mal größer seien, in der Leistung zu übertreffen. Das habe man durch verbessertes Scaling und optimiertes Training erreicht. Das schlanke Modell Phi-2 sei insbesondere für Forscher geeignet.

Ein wichtiger Punkt sind dabei laut den Redmond ideale Trainingsdaten. Für Phi-2 habe man synthetische Datasets verwendet, die speziell auf das Training des SLMs zugeschnitten seien. Man ziehe zwar auch Daten aus dem Web hinzu, wähle da aber streng nach Qualitätskriterien aus. Dabei habe man für das Training von Phi-2 14 Tage mit 96 A100-GPUs von Nvidia gebraucht.

Microsoft erklärt gar, mit nur 2,7 Mrd. Parametern könne Phi-2 dennoch die Leistung von Mistral und Llama-2 übertreffen, die jeweils 7 bzw. 13 Mrd. Parameter einsetzen. Auch Googles Gemini Nano 2 könne man schlagen. Allerdings wirft Microsoft ein, dass es natürlich so eine Sache sei, aktuelle SLMs korrekt zu evaluieren und miteinander zu messen.

Wer sich für alle technischen Details zu Phi-2 interessiert, sollte einmal in den oben verlinkten Post im Microsoft Research blicken. Festzuhalten ist jedenfalls, dass es auch im Bereich der Small Language Models erhebliche Fortschritte gibt.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Avatar-Foto

Hauptberuflich hilfsbereiter Technik-, Games- und Serien-Geek. Nebenbei Doc in Medienpädagogik und Möchtegern-Schriftsteller. Hofft heimlich eines Tages als Ghostbuster sein Geld zu verdienen oder zumindest das erste Proton Pack der Welt zu testen. Mit geheimniskrämerischem Konto auch bei Facebook zu finden.

Neueste Beiträge

Mit dem Absenden eines Kommentars stimmst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

2 Kommentare

  1. Hey André,

    Du meinst bestimmt die Ignite und nicht Ingite, oder?

Es werden alle Kommentare moderiert. Lies auch bitte unsere Kommentarregeln:

Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen. Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte - gerne auch mit Humor. In jedes Thema Politik einbringen ist nicht erwünscht.

Du willst nichts verpassen?

Du hast die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren.