Meta veröffentlicht Llama 3.1-405B

Meta veröffentlicht Llama 3.1-405B

Quelle: Meta

Meta hat am Dienstag Llama 3.1 veröffentlicht. Diesmal gibt es auch ein großes 405B-Modell (405 Milliarden Parameter). Es soll auf über 16.000 NVIDIA H100 GPUs trainiert worden sein, die jeweils etwa 25.000 Dollar kosten. Neu ist dabei zusätzlich der erweiterte Kontext von 128.000 Tokens. Zusätzlich wurden auch das 70B und 8B-Modell um diesen Kontext erweitert. In ihrem Blog behauptet die Firma auch, GPT 4o und Claude 3.5 in einigen Benchmarks geschlagen zu haben.

Meta veröffentlicht Llama 3.1-405B

Quelle: Meta

Wie die vorherigen Modelle wird auch dieses wieder als Open Source veröffentlicht. Llama 3.1 kann also von der offiziellen Website heruntergeladen werden. Meta AI, das weiterhin nicht in Europa verfügbar ist, wurde ebenfalls auf das neue Modell aktualisiert.

Meta veröffentlicht Llama 3.1-405B

Quelle: Meta

In meinen ersten Tests verhält sich Llama-3.1-405B jedoch sehr ähnlich zu seinem Vorgänger und ist oft viel gesprächiger als GPT-4o oder Claude 3.5. Das Reasoning ist bei einfachen logischen Fragen tatsächlich besser, aber es gab auch keine 405B-Version von Llama-3. Da es immer wieder spezialisierte Versionen des Modells gibt, bin ich gespannt, was diese noch erzielen können, ein Vorteil, dass es Open Source ist.

AngebotBestseller Nr. 1
ANNKE WLAN Überwachungskamera Aussen Set, 10CH 4K NVR mit 1TB HDD, 360° PTZ | 4X 4MP Dualobjektiv Kabellose...
  • 【4MP Dual-Objektiv & Nachtsicht】Dieses überwachungskamera aussen set verfügt über ein...
  • 【Erweiterbares 10CH System & Aufnahmefunktion】Das annke überwachungskamera set kommt mit 1TB...
  • 【350°/90° PTZ & Große Abdeckung】Mit 350° Schwenk- und 90° Neigefunktion deckt dieses...
AngebotBestseller Nr. 2
ANNKE 2K Überwachungskamera Set mit Monitor, 4CH 7" Touchscreen NVR, 64GB | 2X 3MP WiFi Kamera...
  • 【Entwickelt für Anfänger】Traditionelles Überwachungskamera Set schwer zu wählen? Kontrollieren...
  • 【3MP kristallklare Sicht imTag und Nacht】Unsere 3MP Überwachungskamer Set Wlan aussen erfasst jedes...
  • 【Intelligente Personenerkennung & Echtzeitwarnung】Die fortschrittliche Technologie von unserer...
AngebotBestseller Nr. 3
ANNKE Solar Überwachungskamera Aussen Ohne ABO mit Integrierte 32G SD-Karte | Kein Abonnement | 4CH Home Hub...
  • 【4CH Home Hub & Rundumschutz】 Das kabellose ANNKE Sicherheitskamera-System unterstützt bis zu...
  • 【Keine Abogebühren & 32 GB interner Speicher】 Der ANNKE Home Hub verfügt über 32 GB lokalen...
  • 【9000mAh Akku & 4W Solarpanel】 Ein großer 9000-mAh-Akku sorgt für lange Laufzeiten, während das...

Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.

Fehler im Artikel entdeckt? Hier melden.
Avatar-Foto

Als ehrenamtlicher First-Level-Support und quasi Apple-Jünger, der gerne seine Lebenszeit in Tech-Blogs verbrennt, stehe ich auch gerne für hitzige Diskussionen zur Verfügung.

10 Kommentare

  1. Llama 3.1 kann ich empfehlen. Eine deutliche Verbesserung zum Vorgänger. Best wishes, Tom

  2. Kann jemand einen Anbieter empfehlen, wo man mehrere Modelle nutzen kann?
    Also nicht einzeln bei Google, Meta, OpenAI anmelden, sondern zentral über einen eigenen Anbieter und Abrechnung.
    Jemand einen Tipp?

    • @Tom II.Da fällt mir „GPT4All“ ein. Da kann man mehrere Modelle nutzen.

    • @Tom II.Perplexity.ai vereint GPT-4o, Claude 3.5 Sonnet, Claude 3 Opus, Sonar Large 32K und Llama 3.1 405B.

    • @Tom II.Anbieter nicht, aber ich habe einfach meinen OpenAI, Gemini und Anthropic API Key in Chatbox hinterlegt und kann in der App plattformübergreifend so auf alle LLMs zugreifen.

      Grundsätzlich (denn geht hier ja um llama) kann man auch selbst Modelle hosten und über das GUI darauf zugreifen. Das will ich auch unbedingt ausprobieren – hab es aber noch nicht getan.

    • Mike Leitner sagt:

      @Tom II.Openrouter.ai

      • @MaikDanke für die Nennungen von openrouter und Poe. Das hilft sehr weiter.
        Hab darüber noch die Anbieter „mancer.tech“ und „deepinfra.com“ gefunden, die scheinbar ähnliches bieten.
        Mal schauen, ob und wen ich davon mal teste. Danke Euch.

  3. Ist trotzdem vom Zuckerberg, wer dem noch traut, ist selbst schuld

Moin! Lass uns respektvoll diskutieren.

Wir freuen uns auf sachliche, konstruktive und gerne humorvolle Beiträge. Da wir hier wie mit real anwesenden Personen umgehen möchten, löschen wir Kommentare, die nur herabwürdigen oder völlig am Thema vorbeigehen. Ein Recht auf Veröffentlichung besteht nicht. Mit dem Absenden stimmst du unserer Datenschutzerklärung und der Speicherung deiner Daten zu.