In einem kürzlich durchgeführten Experiment zeigten neun autonome Claude-Instanzen eine signifikante Überlegenheit gegenüber menschlichen Forschern bei einem offenen Alignment-Problem. Allerdings stellte sich heraus, dass der positive Effekt beim Versuch, diese Methoden auf die eigenen Produktionsmodelle von Anthropic zu übertragen, nicht reproduzierbar war.
Die zentrale Frage, die die Alignment-Forschung beschäftigt, lautet: Wer hat die Kontrolle über eine KI, die intelligenter ist als ihre Schöpfer? Diese Thematik ist von großer Bedeutung, da die Forschung sicherstellen soll, dass KI-Systeme im Einklang mit menschlichen Wünschen agieren. Ein wesentliches Problem besteht darin, dass es weitaus mehr ungelöste Forschungsfragen gibt als Fachleute, die sich mit ihnen befassen. Aus diesem Grund hat Anthropic untersucht, ob das Claude-Modell in der Lage ist, einen Teil dieser Herausforderungen selbst zu bewältigen. OpenAI will mit neuem Trainingsdatensatz hat in diesem Kontext ebenfalls interessante Ansätze verfolgt.
Das Experiment konzentrierte sich auf ein spezifisches Szenario: Ein kleineres, weniger leistungsfähiges KI-Modell sollte einem größeren, leistungsstärkeren Modell beibringen, welche von zwei Chat-Antworten die qualitativ bessere ist. Solche Bewertungen sind entscheidend für das Training effektiver KI-Systeme. Die Herausforderung dabei ist, dass der „Lehrer“ in diesem Fall weniger leistungsfähig ist als sein „Schüler“. Die zentrale Fragestellung lautet, wie viel Potenzial des Schülers dennoch freigesetzt werden kann. Eine Studie zeigt, dass Nutzer in solchen Szenarien oft spezifische Präferenzen haben, die das Ergebnis beeinflussen können.
Zusätzlich wurde in der Forschung festgestellt, dass die Leistungsfähigkeit von KI-Modellen stark von der Architektur abhängt. Vom Face-Plant zu Parkour zeigt, wie wichtig es ist, die richtigen Netzwerkschichten zu wählen, um die gewünschten Ergebnisse zu erzielen.
„`
Bildquelle: ai-generated-gemini
