Microsoft ermöglicht lokales Ausführen von DeepSeek R1 auf Copilot+-PCs
von Olli | 3 Kommentare
Das Thema KI ist allgegenwärtig und Deepseek hat mit R1 ein mächtiges und energieeffizientes Modell auf den Markt geschmissen. Microsoft macht es nun möglich, eben jenes auch direkt auf Copilot+-PCs auszuführen. Die Einführung beginnt mit der Qualcomm Snapdragon X Plattform, gefolgt von Intel Core Ultra 200V und weiteren Systemen.
Die Neural Processing Units der Copilot+ PCs ermöglichen dabei eine besonders effiziente Ausführung der KI-Modelle. Die erste Version, DeepSeek-R1-Distill-Qwen-1.5B, ist bereits im AI-Toolkit verfügbar, während die größeren 7B und 14B Varianten in Kürze folgen sollen. Microsoft nutzt dabei verschiedene Optimierungstechniken wie 4-Bit Quantisierung für effiziente Speichernutzung und ein spezielles Sliding Window Design für schnelle Antwortzeiten.
Die Antwortzeit soll relativ zügig sein: Nur 130 Millisekunden bis zum ersten Token und eine Verarbeitungsgeschwindigkeit von 16 Token pro Sekunde bei kurzen Anfragen. Entwickler können die Modelle über die AI Toolkit VS Code Extension testen und in ihre eigenen Anwendungen integrieren.
Tipp für Mac-User am Rande: Pico AI Homelab. Mit der Software können Anwender ebenfalls massig Modelle laden und nutzen.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Microsoft wird doch nicht etwas auf DeepSeek R1, 7B und 14B umschwenken? Das wäre ein gewaltiger Blow für OpenAI und ChatGPT…
Was bedeutet denn „Energieeffizienz“ in diesem Zusammenhang?
Gibt es Tests etc. wie sehr einzelne/mehrere Anfragen auf die Akkulaufzeiten gehen? Also reduziert sich die Laufzeit um die Hälfte, wenn man ständig mit dem Assistenten arbeiten würde?
Datenschutz?