Meta veröffentlicht „Code Llama“

Meta hat letzte Woche ein neues KI-Modell veröffentlicht, Code Llama. Es basiert auf Llama-2, einem von Meta und Microsoft entwickelten Modell, und soll besonders gut darin sein, Code zu generieren. Code Llama entstand durch weiteres Training von Llama 2 mit Code-spezifischen Datensätzen.

„Es kann Code und natürliche Sprache über Code generieren, sowohl aus Code als auch aus Anfragen in natürlicher Sprache (z. B. „Schreibe mir eine Funktion, die die Fibonacci-Folge ausgibt“). Es kann auch zur Code-Vervollständigung und zum Debugging verwendet werden. Es unterstützt viele der heute gebräuchlichsten Programmiersprachen, darunter Python, C++, Java, PHP, Typescript (Javascript), C#, Bash und andere“.

Drei Größen wurden vom Konzern veröffentlicht, 7 Milliarden, 13 Milliarden und 34 Milliarden Parameter wurden dafür jeweils verwendet. Die 7-Milliarden- und 13-Milliarden-Versionen können auch Code vervollständigen, dafür wurden sie mit „Fill-in-the-middle (FIM)“-Daten trainiert. Das kleinste Modell kann sogar auf nur einer GPU ausgeführt werden.

Zusätzlich veröffentlicht Meta spezialisierte Versionen, eine Python-Version, die mit weiteren 100 Milliarden Parametern für Python trainiert wurde, und ein Instruct-Modell, das auf Instruktionen wie ChatGPT reagieren kann. Letzteres kann auch Code vervollständigen. Der Code wurde dafür auch auf GitHub veröffentlicht. Alle Modelle und Versionen sind sowohl für die Forschung als auch für die kommerzielle Nutzung frei verfügbar.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.