Meta veröffentlicht Llama 3.1-405B

Meta hat am Dienstag Llama 3.1 veröffentlicht. Diesmal gibt es auch ein großes 405B-Modell (405 Milliarden Parameter). Es soll auf über 16.000 NVIDIA H100 GPUs trainiert worden sein, die jeweils etwa 25.000 Dollar kosten. Neu ist dabei zusätzlich der erweiterte Kontext von 128.000 Tokens. Zusätzlich wurden auch das 70B und 8B-Modell um diesen Kontext erweitert. In ihrem Blog behauptet die Firma auch, GPT 4o und Claude 3.5 in einigen Benchmarks geschlagen zu haben.

Wie die vorherigen Modelle wird auch dieses wieder als Open Source veröffentlicht. Llama 3.1 kann also von der offiziellen Website heruntergeladen werden. Meta AI, das weiterhin nicht in Europa verfügbar ist, wurde ebenfalls auf das neue Modell aktualisiert.

In meinen ersten Tests verhält sich Llama-3.1-405B jedoch sehr ähnlich zu seinem Vorgänger und ist oft viel gesprächiger als GPT-4o oder Claude 3.5. Das Reasoning ist bei einfachen logischen Fragen tatsächlich besser, aber es gab auch keine 405B-Version von Llama-3. Da es immer wieder spezialisierte Versionen des Modells gibt, bin ich gespannt, was diese noch erzielen können, ein Vorteil, dass es Open Source ist.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.