Mal eine Frage an Herrn Ametsreiter, Vorstandsvorsitzender der Bertelsmannstiftung:
Man brauche große Data-Center und eine leistungsfähige Glasfaseranbindung, um KI überhaupt ausspielen zu können.
Ich möchte niemandem Dummheit unterstellen, ohne vorher gefragt zu haben, daher vielleicht erst mal: Wie, glauben Sie, war die KI-Forschung der 60er Jahre, die zweifellos “KI ausgespielt” hat, an irgendwas “angebunden”?
KI-Experten würden wahrscheinlich solchen dümmlichen Heißdüsen wie dem Vorstandsvorsitzenden der Bertelsmann-Stiftung sagen, wie es ist: Ersetzen kann man damit nur Leute in Bullshit-Jobs, die nichts als heiße Luft ohne jegliche Substanz produzieren, wie zum Beispiel den Vorstandsvorsitzenden der Bertelsmann-Stifung.
Ich glaube die deutsche Vorsicht wird hier Früchte tragen. KI ersetzt aktuell vor allem Einstiegsplätze. Junior-Entwickler, Trainees. KI ist günstiger und produktiver.
Aber in 10 Jahren werden genau diese Juniors und Trainees komplett fehlen. KI wird auf Junior-Level bleiben, das ist einfach der Technik geschuldet. LLMs geben nur das wieder was im Internet steht und die wenigsten Senior Entwickler werden ihre spezifischen Unternehmensentscheidungen im Internet dokumentieren. Im Gegensatz zur gemeinen Meinung ist es so, dass LLMs nicht selbstständig dazulernen können.
Junior Entwickler lernen allerdings und werden Senior Entwickler. Und genau die Leute werden sehr bald fehlen.
“KI wird auf Junior-Level bleiben,”
Ganz schön kühne These.
Die Fähigkeiten der KI Modelle, vor allem in der Programmierung, sind seit 2022 stetig gestiegen und es gibt keine Anzeichen das es irgendwie stagnieren würde. Klar wird es limits geben, die sind jedoch noch nicht mal klar definierbar.
Vor einem Jahr hatte keine KI mehr als 60k token context wirklich verstanden, heute können Modelle 100k oder in Googles Fall bis zu 400k gut verstehen.
Um umfangreiche Codebases größerer Unternehmen zu laden werden bis zu zwei Millionen token context benötigt.
Wenn das möglich ist, wird die KI nicht mehr wie ein Junior arbeiten.
Halluzination sind ein wirkliches Limit der Technologie, sind jedoch durch die noch relativ neuen “Denk Fähigkeiten” und tools wie RAG stark reduzierbar.
Klar, eine LLM wird nie AGI, aber mehr als Junior alle mal.
Ich persönlich denke das LLMs zusammen mit verschiedenen Frameworks und tools gut genug werden können um die nächste Architektur zu entwickeln die tatsächlich zu AGI führen kann.
Dem Problem mit den fehlenden Senior Entwicklern Stimme ich im Prinzip zu. Jedoch denke ich das die Seniors in einem Jahrzehnt oder so nur noch KIs managen und schauen das die unterschiedlichen Coding Agents das machen was sie sollen. Daher werden in Zukunft auch viel weniger gebraucht.
Vor einem Jahr hatte keine KI mehr als 60k token context wirklich verstanden, heute können Modelle 100k oder in Googles Fall bis zu 400k gut verstehen.
“KI” versteht exakt überhaupt nichts. Weitere Erläuterungen sind überflüssig.
Das ist richtig. KI ist ein eher ein Sammelbegriff und nicht klar definierbar.
Hier hatte ich LLMs gemeint.
“Verstehen” ist auch mehr als Metapher gemeint, da ich größere Vorkenntnisse über die Technologie in der Comunnity hier erwartet hatte. Ich hätte näher ausführen sollen was damit genau gemeint ist.
Der “context” ist ein temporärer Bereich der bei jedem Chat mit einer LLM neu kreiert wird. Darin denkt/arbeitet/schreibt/generiert das Modell und kann theoretisch gesehen so groß sein wie es die Hardware erlaubt. Also in den hunderte Millionen token. Das nützt aber nichts wenn das Modell nur noch Buchstabensalat generiert wenn die trainierte Länge überschritten wurde.
Wichtig zu meinem Kommentar ist hier, egal wie lang die beworbene Länge context ist, (bei den meisten 128k-200k und Google 1m), die tatsächliche Länge womit das Modell arbeiten kann ist meist drastisch kürzer.
Ja, das Modell kann bis zum Ende des context sinnvoll klingende Sätzen schreiben ohne komplett zu kollabieren, das bedeutet jedoch nicht das das geschriebene tatsächlich Sinn ergibt.
Mein “Verstehen” bezieht sich darauf, wieviel context das Modell nutzen kann und trotzdem mit Sinn antworten kann. Wird ihm also ein langer Artikel oder eine große Studie eingespeist, sollte es keine Details vergessen oder übersehen.
Wird z.B. ein 200k Modell randvoll mit einer Codebase gestopft, ist es quasi garantiert das es Funktionen im 60-200k Bereich vergisst. Es kann wahrscheinlich nicht mal annähernd wiedergeben was gegen Ende des context überhaupt steht.
Das meine ich mit Verstehen, weil das Modell zwar theoretisch die Informationen im context hat, damit aber nichts anfangen kann.
In der Hälfte aller deutschen Kreise und kreisfreien Städte findet KI am Jobmarkt demnach so gut wie gar nicht statt.
Der Standort der Firma ist doch zweitrangig. Die meisten KI Arbeitsplätze sollten Remote Arbeitsplätze sein.
„Was im ländlichen Raum fehlt, ist eine hochleistungsfähige (FTTH) Glasfaser-Infrastruktur“, sagte Ametsreiter. Man brauche große Data-Center und eine leistungsfähige Glasfaseranbindung, um KI überhaupt ausspielen zu können.
Nur im ländlichen Raum? Ich habe an manchen stellen in Berlin solch eine miese Verbindung gehabt dass es unnötig war am Netz angeschlossen zu sein. Glasfaser fehlen überall in Deutschland. Angeblich gibt es 5,3 Millionen Glasfaseranschlüsse von den 38 Millionen Internetanschlüssen insgesamt (ungefähr 13%), jedoch zweifelte ich auch dies an. Ich kenne keine einzige Person die Glasfaser überhaupt bestellen kann.
In unserer alten Wohnung in Hamburg gab es tatsächlich Glasfaser. Aber die Glasfaser Tarife in D sind so komplett dumm, dass niemand im Haus umgestiegen ist 😂
Glaube, das spielt auch ne große Rolle.
Bei uns ist ein relativ großer Teil des Dorfes (und der umliegenden Ortschaften) bereits vor Jahren im Zuge dieser Großen Ausbaukampagne von der deutschen Glasfaser darauf umgestiegen. Mich wundert es immer wieder, dass das scheinbar eine relativ große Ausnahme ist.
Tja. Bei uns könnte ein Unternehmen Glasfaser verbuddeln… verzichtet aber drauf, weil zu wenige Leute mit denen einen Vertrag abschließen wollten. Haben wir nich, brauchen nich, tschüs.
Da boomt gar nichts außer vielleicht die Stromrechnung.
