Das neue Open-Source-Modell Rnj-1 von Essential AI hinterlässt im anspruchsvollen Test „SWE-bench Verified“ große Konkurrenz hinter sich. Dieser Benchmark ist besonders herausfordernd, da er die Fähigkeit zur eigenständigen Lösung praktischer Programmierprobleme bewertet. Trotz seiner kompakten Größe mit acht Milliarden Parametern erzielt Rnj-1 beeindruckende 20,8 Punkte.
Im Vergleich dazu erreichen ähnlich dimensionierte Modelle wie Qwen 3 (ohne Reasoning, 8B) lediglich 4,5 Punkte, wie Essential AI feststellt. Ashish Vaswani, Mitgründer von Essential AI und Mitautor des bekannten Papers „Attention is all you need“, das die Transformer-Architektur einführte, stellte das System vor. Rnj-1 basiert ebenfalls auf einem Transformer, insbesondere auf der Gemma-3-Architektur. Laut den Angaben des Unternehmens lag der Schwerpunkt auf einer besseren Vorab-Trainierung anstatt auf anderen Ansätzen wie dem Reinforcement-Learning während des Nachtrainings.
Die erzielten Verbesserungen zeigen sich auch in den vergleichsweise geringen Rechenressourcen für das Pre-Training, die durch den verwendeten Muon-Optimizer ermöglicht werden.
Bildquelle: Pexels / David McBee
KI Snack
