Mal eine Frage an Herrn Ametsreiter, Vorstandsvorsitzender der Bertelsmannstiftung:
Man brauche große Data-Center und eine leistungsfähige Glasfaseranbindung, um KI überhaupt ausspielen zu können.
Ich möchte niemandem Dummheit unterstellen, ohne vorher gefragt zu haben, daher vielleicht erst mal: Wie, glauben Sie, war die KI-Forschung der 60er Jahre, die zweifellos “KI ausgespielt” hat, an irgendwas “angebunden”?
Ich glaube die deutsche Vorsicht wird hier Früchte tragen. KI ersetzt aktuell vor allem Einstiegsplätze. Junior-Entwickler, Trainees. KI ist günstiger und produktiver.
Aber in 10 Jahren werden genau diese Juniors und Trainees komplett fehlen. KI wird auf Junior-Level bleiben, das ist einfach der Technik geschuldet. LLMs geben nur das wieder was im Internet steht und die wenigsten Senior Entwickler werden ihre spezifischen Unternehmensentscheidungen im Internet dokumentieren. Im Gegensatz zur gemeinen Meinung ist es so, dass LLMs nicht selbstständig dazulernen können.
Junior Entwickler lernen allerdings und werden Senior Entwickler. Und genau die Leute werden sehr bald fehlen.
Ich glaube da irrst du dich. Ich sehe keinen Beweis für deine Aussage. Die Technik entwickelt sich weiter. Warum, glaubst du, kann sich AI nicht auch weiterentwickeln?
“KI wird auf Junior-Level bleiben,”
Ganz schön kühne These.
Die Fähigkeiten der KI Modelle, vor allem in der Programmierung, sind seit 2022 stetig gestiegen und es gibt keine Anzeichen das es irgendwie stagnieren würde. Klar wird es limits geben, die sind jedoch noch nicht mal klar definierbar.
Vor einem Jahr hatte keine KI mehr als 60k token context wirklich verstanden, heute können Modelle 100k oder in Googles Fall bis zu 400k gut verstehen.
Um umfangreiche Codebases größerer Unternehmen zu laden werden bis zu zwei Millionen token context benötigt.
Wenn das möglich ist, wird die KI nicht mehr wie ein Junior arbeiten.
Halluzination sind ein wirkliches Limit der Technologie, sind jedoch durch die noch relativ neuen “Denk Fähigkeiten” und tools wie RAG stark reduzierbar.
Klar, eine LLM wird nie AGI, aber mehr als Junior alle mal.
Ich persönlich denke das LLMs zusammen mit verschiedenen Frameworks und tools gut genug werden können um die nächste Architektur zu entwickeln die tatsächlich zu AGI führen kann.
Dem Problem mit den fehlenden Senior Entwicklern Stimme ich im Prinzip zu. Jedoch denke ich das die Seniors in einem Jahrzehnt oder so nur noch KIs managen und schauen das die unterschiedlichen Coding Agents das machen was sie sollen. Daher werden in Zukunft auch viel weniger gebraucht.
“KI” versteht exakt überhaupt nichts. Weitere Erläuterungen sind überflüssig.
Naja, weitere Erklärungen hätte ich schon gerne. Was bedeutet denn “verstehen” genau? Wie misst man das? Und inwiefern ist es für ein Softwareentwicklungs-unternehmen relevant, ob der Coding Agent etwas “versteht”?
Das ist richtig. KI ist ein eher ein Sammelbegriff und nicht klar definierbar.
Hier hatte ich LLMs gemeint.
“Verstehen” ist auch mehr als Metapher gemeint, da ich größere Vorkenntnisse über die Technologie in der Comunnity hier erwartet hatte. Ich hätte näher ausführen sollen was damit genau gemeint ist.
Der “context” ist ein temporärer Bereich der bei jedem Chat mit einer LLM neu kreiert wird. Darin denkt/arbeitet/schreibt/generiert das Modell und kann theoretisch gesehen so groß sein wie es die Hardware erlaubt. Also in den hunderte Millionen token. Das nützt aber nichts wenn das Modell nur noch Buchstabensalat generiert wenn die trainierte Länge überschritten wurde.
Wichtig zu meinem Kommentar ist hier, egal wie lang die beworbene Länge context ist, (bei den meisten 128k-200k und Google 1m), die tatsächliche Länge womit das Modell arbeiten kann ist meist drastisch kürzer.
Ja, das Modell kann bis zum Ende des context sinnvoll klingende Sätzen schreiben ohne komplett zu kollabieren, das bedeutet jedoch nicht das das geschriebene tatsächlich Sinn ergibt.
Mein “Verstehen” bezieht sich darauf, wieviel context das Modell nutzen kann und trotzdem mit Sinn antworten kann. Wird ihm also ein langer Artikel oder eine große Studie eingespeist, sollte es keine Details vergessen oder übersehen.
Wird z.B. ein 200k Modell randvoll mit einer Codebase gestopft, ist es quasi garantiert das es Funktionen im 60-200k Bereich vergisst. Es kann wahrscheinlich nicht mal annähernd wiedergeben was gegen Ende des context überhaupt steht.
Das meine ich mit Verstehen, weil das Modell zwar theoretisch die Informationen im context hat, damit aber nichts anfangen kann.