Der ARC-Benchmark, lange Zeit als nahezu unüberwindbares Hindernis für KI-Systeme angesehen, zeigt nun Anzeichen der Überwindung durch die fortschreitende Optimierung in KI-Labors. Der „Abstraction and Reasoning Corpus“ (ARC), auch bekannt als ARC-AGI, sollte ursprünglich die Fähigkeit von KI-Systemen testen, Neues zu lernen, anstatt lediglich statistische Muster zu reproduzieren. Aktuelle Ergebnisse deuten jedoch darauf hin, dass dieser Benchmark, wie viele seiner Vorgänger, von neueren Methoden übertroffen wird. Ein Beispiel hierfür sind die Resultate des KI-Unternehmens Poetiq, die darauf hinweisen, dass der ursprüngliche ARC-AGI-1-Benchmark weitgehend gelöst ist. Poetiq berichtet, dass ihre Systeme, die auf großen Modellen von Anbietern wie OpenAI oder Google basieren, die Leistung auf dem ersten Datensatz saturieren. Besonders bemerkenswert ist die Aussage, dass das System auf dem anspruchsvolleren ARC-AGI-2-Datensatz Ergebnisse erzielt hat, die die durchschnittliche menschliche Leistung von 60 Prozent übertreffen.
KI Snack
