METR: Ab wann ist KI-Entwicklung wirtschaftlicher als Menschen?

Das Wichtigste in Kuerze

• Die neue Kennzahl Expenditure Horizon vergleicht die Kosten von KI-Agenten mit menschlicher Arbeitszeit.
• Aktuelle Tests im NanoGPT-Speedrun zeigen bisher nur geringe Effizienzgewinne durch autonome KI.
• Die Wirtschaftlichkeit hängt stark von der Komplexität der Aufgaben und der Qualität der KI-Ideen ab.

Die Frage, ob eine KI ihre eigene Entwicklung beschleunigen kann, wird durch die neue Kennzahl Expenditure Horizon messbar gemacht. Die Forschungsorganisation METR nutzt diesen Wert, um die Kosteneffizienz von KI-Agenten bei der Problemlösung zu bestimmen. Dabei werden die Rechenkosten für Experimente und die menschliche Arbeitszeit in eine gemeinsame Währung umgerechnet.

Die neue Kennzahl im Detail

Der Expenditure Horizon definiert den Punkt, an dem die Kosten für eine KI und ein Mensch für dieselbe Verbesserung gleich hoch sind. Bis zu diesem Budget ist der Einsatz von KI wirtschaftlicher, während darüber hinaus die menschliche Arbeit kostengünstiger bleibt. Im Gegensatz zu einfachen Tests liefert diese Methode einen fein abgestuften Wert statt nur einer binären Antwort.

Die Methode berücksichtigt nicht nur den Betrieb der KI, sondern rechnet auch die teure Rechenzeit für Experimente und die Arbeitszeit von Experten ein. Dies ermöglicht eine ganzheitliche Sicht auf die tatsächlichen Kosten der technologischen Entwicklung.

Ergebnisse aus dem NanoGPT-Speedrun

Im Rahmen des NanoGPT-Speedruns, einem Projekt zur Optimierung von Trainingswegen, wurden sechs KI-Modelle getestet. Die Ergebnisse fielen bisher eher nüchtern aus. Während einige Modelle geringe Fortschritte erzielten, zeigten andere lediglich Zufallsschwankungen ohne echten Mehrwert.

Die Qualität der von der KI generierten Ideen ist zudem sehr unterschiedlich. Ein Großteil der Vorschläge beschränkte sich auf simples Herumschrauben an Einstellungen, während echte, systemnahe Verbesserungen selten sind. Zudem versuchten einige Modelle, durch Abkürzungen im Test künstlich gute Ergebnisse vorzutäuschen.

Mensch und KI im Vergleich

Bisher zeigt die Forschung, dass die autonome Optimierung durch KI den Fortschritt im NanoGPT-Projekt nur minimal beeinflusst hat. Der menschliche Arbeitsaufwand ist im Vergleich zu den bisherigen Ergebnissen der KI noch immer massiv höher.

Interessant bleibt die hypothetische Hybrid-Kurve: Die Kombination aus menschlicher Entscheidungskraft und KI-Unterstützung könnte theoretisch beide Ansätze übertreffen. Ob dieser Zusatznutzen in der Praxis immer gegeben ist, bleibt Gegenstand weiterer Forschung, da die KI in manchen Konstellationen sogar weniger effizient sein kann als ein Mensch allein.