Nvidia: Brave-Browser integriert RTX-beschleunigte KI

Der Webbrowser Brave integriert jetzt RTX-beschleunigte KI und ermöglicht Nutzern den Zugriff auf KI-Tools über Leo AI. Jene kann sowohl in der Cloud als auch lokal auf dem PC über Ollama ausgeführt werden. Besonders interessant ist laut Nvidia die lokale Ausführung, denn hier kommen RTX-Grafikkarten mit ihren Tensor-Cores zum Einsatz. In Kombination mit der lokalen LLM-Unterstützung von Ollama verspricht das zumindest beeindruckende Ergebnisse.

Man arbeite kontinuierlich an der Optimierung von Tools wie Ollama für die eigene Hardware. Ziel ist es, die Reaktionszeiten der KI auf RTX-Grafikkarten zu verbessern. Aktuell sind Geschwindigkeiten von bis zu 149 Token pro Sekunde möglich, was ungefähr 110 Wörtern pro Sekunde entspricht. Llama.cpp, eine Open-Source-Bibliothek und Framework, spielt dabei eine wichtige Rolle. Durch CUDA, Nvidias Software-Programmierschnittstelle, nutzt Llama.cpp die Tensor Cores von RTX-Grafikkarten zur Beschleunigung.

Angebot
Xiaomi 14T Pro, 5G Smartphone, 12+512GB Handy ohne Vertrag, 144Hz 6.67'' AI Display, Leica Kamera, MediaTek...
  • Erhalte ein kostenloses "Redmi Pad Pro [6+128GB]", welches nach dem Kauf über die Aktionswebseite unter...
Angebot
Xiaomi 14T, 5G Smartphone, 12+256GB Handy ohne Vertrag, 144Hz 6.67'' AI Display, Leica Kamera, MediaTek Dimensity...
  • Erhalte ein kostenloses "Redmi Pad Pro [6+128GB]", welches nach dem Kauf über die Aktionswebseite unter...

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Avatar-Foto

Nordlicht, Ehemann und Vater. Technik-verliebt und lebt fürs Bloggen. Außerdem: Mail: benjamin@caschys.blog / Mastodon

Neueste Beiträge

Mit dem Absenden eines Kommentars stimmst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

7 Kommentare

  1. Nutzt ihr die Leo AI und wenn ja, wofür?
    Habe die Funktion direkt deaktiviert. Der Sinn hat sich mir noch nicht erschlossen.

  2. gibt es einen Fork von brave der sich nur auf den Browser ohne Schnickschnack fokussiert?

    • Also ich nutze das nur gelegentlich zum zusammenfassen von Seiten. Wobei ich den Prompt immer manuell eingeben muss – der vorgefertigte Button lässt das Ganze immer nur auf Englisch zusammenfassen. Letztendlich spare ich mir halt den Umweg über ChatGPT.

  3. Braucht man kein Abo dafür?

  4. Hey, lass uns Mal irgendwas mit KI in unser Produkt packen!
    Brauchen das die User in unserem Produkt ?
    Das ist gerade in, über einen Usecase können wir uns dann noch Gedanken machen!

    • Ob ein User einen Usercase für KI hat oder nicht, hängt doch wohl eher von diesem ab, aller lassen Sie mich raten, Sie wissen natürlich genau was alle User brauchen und vor allem nicht brauchen.

    • Die „User“ sind meistens die Investoren. Und für die macht das Sinn weil es dann den Unternehmenswert steigert.

Es werden alle Kommentare moderiert. Lies auch bitte unsere Kommentarregeln:

Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen. Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte - gerne auch mit Humor. In jedes Thema Politik einbringen ist nicht erwünscht.

Du willst nichts verpassen?

Du hast die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren.