Nvidia: Brave-Browser integriert RTX-beschleunigte KI
von Benjamin Mamerow | 7 Kommentare
Der Webbrowser Brave integriert jetzt RTX-beschleunigte KI und ermöglicht Nutzern den Zugriff auf KI-Tools über Leo AI. Jene kann sowohl in der Cloud als auch lokal auf dem PC über Ollama ausgeführt werden. Besonders interessant ist laut Nvidia die lokale Ausführung, denn hier kommen RTX-Grafikkarten mit ihren Tensor-Cores zum Einsatz. In Kombination mit der lokalen LLM-Unterstützung von Ollama verspricht das zumindest beeindruckende Ergebnisse.
Man arbeite kontinuierlich an der Optimierung von Tools wie Ollama für die eigene Hardware. Ziel ist es, die Reaktionszeiten der KI auf RTX-Grafikkarten zu verbessern. Aktuell sind Geschwindigkeiten von bis zu 149 Token pro Sekunde möglich, was ungefähr 110 Wörtern pro Sekunde entspricht. Llama.cpp, eine Open-Source-Bibliothek und Framework, spielt dabei eine wichtige Rolle. Durch CUDA, Nvidias Software-Programmierschnittstelle, nutzt Llama.cpp die Tensor Cores von RTX-Grafikkarten zur Beschleunigung.
- Xiaomi AISP beinhaltet dank Xiaomi HyperOS die Rechenleistung von CPU, GPU, NPU und ISP.
- Erhalte ein kostenloses "Redmi Pad Pro [6+128GB]", welches nach dem Kauf über die Aktionswebseite unter...
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Nutzt ihr die Leo AI und wenn ja, wofür?
Habe die Funktion direkt deaktiviert. Der Sinn hat sich mir noch nicht erschlossen.
gibt es einen Fork von brave der sich nur auf den Browser ohne Schnickschnack fokussiert?
Also ich nutze das nur gelegentlich zum zusammenfassen von Seiten. Wobei ich den Prompt immer manuell eingeben muss – der vorgefertigte Button lässt das Ganze immer nur auf Englisch zusammenfassen. Letztendlich spare ich mir halt den Umweg über ChatGPT.
Braucht man kein Abo dafür?
Hey, lass uns Mal irgendwas mit KI in unser Produkt packen!
Brauchen das die User in unserem Produkt ?
Das ist gerade in, über einen Usecase können wir uns dann noch Gedanken machen!
Ob ein User einen Usercase für KI hat oder nicht, hängt doch wohl eher von diesem ab, aller lassen Sie mich raten, Sie wissen natürlich genau was alle User brauchen und vor allem nicht brauchen.
Die „User“ sind meistens die Investoren. Und für die macht das Sinn weil es dann den Unternehmenswert steigert.