DeepSeek V3: Verbesserte Version vorgestellt
von Olli | 7 Kommentare
DeepSeek hat etwas überraschend eine neue Version seines Sprachmodells V3 veröffentlicht. Es handelt sich um Release 0324. Das 641 GB große Modell hat einen entscheidenden Vorteil. Es läuft performant auf Consumer-Hardware wie dem Mac Studio mit M3 Ultra und ist unter MIT-Lizenz frei auch für kommerzielle Einsatzzwecke nutzbar. Ich bezweifle zwar, dass man einen Mac Studio mit M3 Ultra und 512 GB „Consumer-Hardware“ nennen kann, aber es ist relativ wenig Investition zum Betrieb des Modells nötig.
The new Deep Seek V3 0324 in 4-bit runs at > 20 toks/sec on a 512GB M3 Ultra with mlx-lm! pic.twitter.com/wFVrFCxGS6
— Awni Hannun (@awnihannun) March 24, 2025
Technische Spezifikationen:
- 685 Milliarden Parameter
- Mixture-of-Experts Architektur (nur 37 Milliarden aktive Parameter pro Aufgabe)
- Multi-Head Latent Attention für besseren Kontext
- Multi-Token Prediction für 80% schnellere Ausgabe
- 4-Bit Version benötigt „nur“ 352GB Speicher
Die Leistung soll Claude Sonnet 3.5 übertreffen, während der Energieverbrauch mit unter 200 Watt deutlich niedriger liegt als bei anderen Modellen, die hungrige GPUs erfordern. DeepSeeks Open-Source-Strategie steht im Kontrast zu den anderen KI-Unternehmen.
Tested the new DeepSeek V3 on my internal bench and it has a huge jump in all metrics on all tests.
It is now the best non-reasoning model, dethroning Sonnet 3.5.Congrats @deepseek_ai! pic.twitter.com/efEu2FQSBe
— Xeophon (@TheXeophon) March 24, 2025
Das Modell ist über Hugging Face, OpenRouter API oder DeepSeeks eigene Chat-Schnittstelle zugänglich und soll als Basis für das kommende Reasoning-Modell DeepSeek-R2 dienen.
| # | Vorschau | Produkt | Preis | |
|---|---|---|---|---|
| 1 |
|
FRUIT OF THE LOOM Herren Original T. T-Shirt, Schwarz, M (5er Pack) | 16,30 EUR | Bei Amazon ansehen |
| 2 |
|
TOM TAILOR Herren Crewneck T-Shirt im Doppelpack, 29999 - Black, XL |
12,79 EUR |
Bei Amazon ansehen |
| 3 |
|
Basic T-Shirt "Valueweight" - für Damen Farbe schwarz Größe M | 4,57 EUR | Bei Amazon ansehen |
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Was ist eigentlich der Vorteil, wenn Deepseek lokal und nicht über das Internet läuft? Geht es da nur darum, das wenn Firmen fragen haben, die vielleicht eher intern sind und das Haus nicht verlassen sollen das man dann sicher ist, oder hat es weitere Vorteile?
Ich habe da aber wohl noch einen Denkfehler drin, woher holt sich das Sprachmodel denn die Infos, wenn alles lokal läuft?
Du musst dafür ja nicht aus Spaß über 500 Gigabyte in den Speicher laden. Genau darin verstecken sich auch alle Antworten, die das Modell gibt.
Na ja, das was du da als „Modell“ bekommst ist am Ende das neuronale Netz wo halt die Daten drin gelernt sind. Prinzipiell ist das so, als würde man dein Gehirn halt irgendwohin kopieren und es dann da anschließen um ihm Fragen stellen zu können. Da musst du eben nicht mehr auf Wikipedia in dem Moment nachschauen, weil du hast es ja schon gelesen und dir gemerkt was drin steht.
Der Vorteil sowas lokal zu haben ist definitiv, damit dass Unternehmen dahinter nicht am Ende alle deine Anfragen mitliest. Da geht’s um Datensicherheit.
Gewisse Daten liegen lokal und du hast ja in der Hand, welche Informationen besorgt werden und wie diese verarbeitet werden.
Wenn du das Ding selbst betreibst, kann es ja auf das Netz zugreifen, aber die Anfragen fließen ja nicht an irgendeinen Hersteller, sondern bleiben auf deiner Hardware.
Ja, nicht jeder möchte seine Daten/Quellcode öffentlich den Betreibern der Modelle zur Verfügung stellen. Zumal die Daten auch benutzt werden, um die Modelle weiter zu trainieren.
Infos muss sich das Modell nicht aus dem Internet holen. In den 640GB steckt schon quasi das gesamte Wissen der Menschheit drin. Internet bräuchte ein Modell nur für aktuelle Recherchen.
Der Vorteil von DeepSeek lokal ist Datenschutz (sensible Daten bleiben intern), Offline-Nutzung (kein Internet nötig) und Anpassbarkeit (Modell je nach dem anpassbar).
Die Infos stammen aus Trainingsdaten oder lokalen Quellen, nicht live aus dem Internet, daher ist der Wissensstand „eigefroren“.
Das ist schon sehr beeindruckend. Ich hoffe es wird auch bald genauso hartnäckig an der Effizienz gearbeitet. Der Fokus ist aber wohl vorerst ein anderer.
Ein Mac Studio mit 512gb für schlappe fast 12000eur.