Opera integriert Open-Source-KI-Modell DeepSeek R1 für lokale Nutzung
von caschy | 4 Kommentare
Opera hat in seiner Developer-Version des Browsers eine Neuerung eingeführt: Das Open-Source-KI-Modell DeepSeek R1 kann nun lokal auf dem eigenen Rechner ausgeführt werden. Die Integration erfolgt über das Ollama-Framework, das von llama.cpp implementiert wird. Der Vorteil dieser Lösung liegt in der lokalen Verarbeitung – sämtliche Daten verbleiben auf dem Gerät des Nutzers.
Die Installation des DeepSeek R1 Modells ist unkompliziert. Nach dem Download oder Update der Opera Developer Version genügt ein Klick auf das Aria-Logo in der Seitenleiste. Im Aria-Interface lässt sich über die Einstellungen der Bereich „Local AI Models“ aufrufen. Eine Suche nach „deepseek“ zeigt die verfügbaren Modelle an. Opera empfiehlt für den Einstieg das Modell deepseek-r1:14b mit einer Größe von 8,4 GB.
DeepSeek R1 gehört zur Kategorie der Reasoning-Modelle. Diese zeichnen sich durch ihre Fähigkeit aus, mehrere Iterationen durchzuführen, bevor sie eine Antwort ausgeben. Im Vergleich zu herkömmlichen Large Language Models erreichen sie bei bestimmten Aufgaben bessere Ergebnisse. Ein bemerkenswertes Merkmal von DeepSeek R1 ist die Transparenz des Denk- und Lösungsprozesses – das Modell legt seinen Gedankengang offen dar.
Die Verarbeitungszeit bei Reasoning-Modellen fällt länger aus als bei Standard-LLMs. Dies resultiert aus dem iterativen Prozess der Antwortfindung. Die Qualität der Ergebnisse rechtfertigt jedoch den höheren Zeitaufwand. Besonders bei mathematischen Aufgaben zeigt sich unter Umständen die Überlegenheit von Reasoning-Modellen. Sie liefern konsistente und nachvollziehbare Lösungen.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Das volle Modell hat doch 670 GB. Da sind ja die 8GB – nun ja – recht bescheiden und dementsprechend wird auch die Qualität sein.
Ist ähnlich wie die zumindest reißerischen Aussagen, bei denen man es auf Rasperry laufen lassen kann. Können schon, aber dann ist die Qualität nicht vorhanden. Sehen da keinen Sinn drin.
Das kann ich nicht bestätigen. Ich habe die mit dem Programm „Pico AI Homelab“ die kleinen Modellen auf meinem MacBook M1 mit 8 GB RAM ausgiebig getestet. Sicherlich ist mehr RAM immer gut, es genügen aber schon 8 GB. Auch ist nicht nur der RAM der Flaschenhals, sondern noch stärker die CPU, da man ja nicht beim Errechnen jedes einzelnen Wortes zugucken will. Ein M-Prozessor auf einem Mac ist aber schon gut geeignet.
Ich habe viele Modelle ausprobiert. Die einzigen beiden, die mit meinem Mac brauchbar laufen, sind:
– QWEN2.5-7B-Instrukt-1M-4bit (das funktioniert von allen Modellen mit Abstand am besten)
– DeepSeek-R1-Distill-Quen-1.5-8bit (langsam, bis 6bit schnell, schlechte Antworten)
Natürlich sind die gleichen Modelle mit weniger bit lauffähig, aber eben noch schlechter. Ich habe immer das beste Modell, welches gerade noch erträglich läuft, getestet. Man kann sich die Liste der Modelle in der App auch auch passend zur eigenen RAM-Größe filtern lassen. Die meisten laufen auch mit 8 GB.
DeepSeek-R1 kommt mit den reduzierten Modellen mit Deutsch gar nicht gut zurecht. Eigentlich ist es kaum brauchbar, die Sätze sind verquer und oft mit Wörtern anderer Sprachen durchmischt. Nur QUEN2.5-7B-1M spricht auch akzeptabel Deutsch und bringt sinnvolle Antworten hervor. Allerdings weit entfernt von dem, was man sonst gewohnt ist. Da sind schon sehr viele Hallunizination zu sehen.
Aber dennoch erstaunlich, wieviel „Wissen“ und „Logik“ in 4 GB gequetscht werden können. Das übertrifft das, was einem ein 10-jähriges Kind antworten könnte, locker. Selbst die Fakten und die Sprachkenntnisse, die da drin sind, übersteigen das, was ich in 4 GB vermuten würde, bei weitem. Es ist zwar nur als Spielzeug tauglich, aber ist dennoch wirklich fasziniered!
Man kann sich den Prompt im Browser im localhost anzeigen lassen. Etwas bequemer geht es mit kostenlosen der App Enchanted, was ich auch empfehlen würde. Bei der Installation von Pico AI Homelab wird einem diese App und andere auch optional angeboten.
Testbeispiel 1:
„Wenn ich eine Kugel mit 0,5 Meter Radius durch ein quadratisches Loch stopfen will – welche Länge muss die Diagonale, also die Linie zwischen den am weitesten entfernten Ecken des Quadrates, mindestend haben, damit die Kugel hindurchpasst?“
Antwort QWEN2.5-7B-Instrukt-1M-4bit:
„Die Diagonale des Quadrates muss mindestens ( \sqrt{2} ) Meter lang sein, was approximately 1,414 Meter beträgt. Damit passt die Kugel mit einem Radius von 0,5 Metern hindurch.“
Antwort DeepSeek-R1-Distill-Quen-1.5-8bit:
„Die Diagonale des Quadrats muss mindestend 1,414 Meter sein, damit die Kugel mit einem Radius von 0,5 Meter hindurchpassesen.“
Testbeispiel 2:
„Wenn meine Schwester 7 Jahre älter als mein Bruder ist, ich aber zwei Jahre jünger als das Durchschnittsalter meiner Geschwister, wie alt ist dann meine Schwester?“
Antwort QWEN2.5-7B-Instrukt-1M-4bit:
„Deine Schwester ist 20,5 Jahre alt.“
Antwort DeepSeek-R1-Distill-Quen-1.5-6bit:
„Deine Schwester ist 4 Jahre älter als deinen Bruder.“
Beide Antworten sind übrigens falsch. Es gibt unendlich viele Lösungen, wenn ich Nachkommastellen zulasse. Lasse ich nur ganze Zahlen als Lösung zu, gibt es keine Lösung. Die Antworten zur ersten Frage waren allerdings korrekt.
Und das läuft dann auf jedem normalen PC oder wie?
Auch wenn das noch so oft anders dargestellt wird: DeepSeek R1 lässt sich derzeit nicht vernünftig lokal betreiben.
Alle „lokalen“ Versionen von DeepSeek sind lediglich andere und deutlich kleinere Modelle (Qwen2.5 und Llama3), die darauf trainiert wurden, DeepSeek nachzuahmen.
Das echte DeepSeek hat eine Modellgröße von rund 650GB, die für einen einigermaßen flüssigen Betrieb komplett in den RAM geladen werden wollen.