Prof. Dr. Björn Ommer ist Kopf der Forschungsgruppe, die 2022 den Text-zu-Bild-Generator Stable Diffusion entwickelt hat. Mit seinem Team an der LMU München sucht er nach Möglichkeiten, KI-Modelle flächendeckend nutzbar zu machen, ohne dabei von US-Konzernen abhängig zu sein. Im Interview erklärt er, was an Stable Diffusion besonders ist, warum er die KI als Ermöglichungstechnologie bewertet und was dazu führte, dass im Sommer ein OpenAI-Modell ungefragt seinen Sandkasten verließ. Die Fragen stellte André Boße.
ZUr Person
Björn Ommer (geboren 1979) ist Professor an der Ludwig-Maximilians-Universität in München, wo er die Computer Vision & Learning Group leitet. Zuvor war er Professor am Institut für Mathematik und Informatik der Universität Heidelberg. Er studierte Informatik und Physik an der Universität Bonn. Anschließend promovierte er in Informatik an der ETH Zürich. Heute ist er unter anderem Chief AI Officer der LMU sowie Co-Direktor des Bayerischen KI-Rats. Er wurde 2024 mit dem Deutschen KI-Preis und dem Technologiepreis der Eduard-Rhein-Stiftung ausgezeichnet. Seine Arbeit, die zu Stable Diffusion führte, wurde für den Deutschen Zukunftspreis des Bundespräsidenten für Technik und Innovation nominiert.
Herr Prof. Ommer, Sie haben 2022 mit Stable Diffusion die KI-Generierung von Bildern revolutioniert. Wo genau lag die Innovation?
Wir haben das System zuerst so trainiert, dass wir ihm eine Menge an Bildern gezeigt haben, eine Textbeschreibung dazugaben und die KI dann gebeten haben, ein verrauschtes Bild zu rekonstruieren. Das Besondere an unserem Ansatz war, dass die KI nicht direkt im Raum der Bildpunkte operiert, sondern zunächst eine kompakte und effiziente Repräsentation der Bilder lernt. Dadurch konnten wir das Modell deutlich effizienter machen: Es lief auf Consumer-Hardware und sogar auf Mobilgeräten, anstatt bei der Anwendung auf teure Rechenzentrumscluster angewiesen zu sein. So konnten wir generative KI demokratisieren und einem viel breiteren Kreis zugänglich machen, nämlich Start-ups, der Forschung und ganz normalen Usern, statt sie wenigen großen Tech-Unternehmen vorzubehalten. Während des Trainings haben wir außerdem etwas Bemerkenswertes beobachtet: Das System lernte während dieses Prozesses Dinge, die wir ihm nicht direkt vorgegeben haben.
Welche Dinge waren das?
Ich würde sie als Muster bezeichnen. Man könnte auch sagen: statistische Abhängigkeiten. Wenn draußen vor meinem Fenster ein Baum steht und die Sonne scheint, dann ist unter dem Baum typischerweise ein dunkler Schatten. Und in einem See gibt es Reflexionen der Uferumgebung zu sehen. Diese Elemente haben wir dem System nicht vorgegeben, es hat sie als Muster eigenständig aus den Daten gelernt. Es sind also emergente Eigenschaften eingetreten: Ohne, dass wir der KI gesagt haben, wie Licht und Schatten funktionieren, hat sie diese Zusammenhänge selbst gelernt.
Wissen Sie mittlerweile, wie diese Emergenz entstehen konnte?
Diese Emergenzen stellen sich ein, wenn man sehr viele Trainingsdaten hat und ein Modell wie unseres irgendwann beginnt, Abstraktionsleistungen zu erbringen. Da die KI nicht auf der Ebene von Bildpunkten, sondern mit unserer effizienten Beschreibungssprache operierte, musste sie die Essenz von Bildern sehr kompakt zusammenfassen. Dabei haben wir beobachtet, dass das System, weil es eben keine Pixel auswendig lernen sollte, damit begann, Bilder zu abstrahieren. So erfasste das Modell zum Beispiel Zusammenhänge wie den zwischen Sonnenschein und dem Schatten unter einem Baum.
Stable Diffusion
Generative KI-Modelle aus den USA benötigen teure und energiehungrige Rechnerkapazitäten. Mit Stable Diffusion verfolgt das Team um Björn Ommer das Ziel, die daraus entstehenden Abhängigkeiten zu lösen und KI-Modelle zu schaffen, die ebenso leistungsfähig sind, jedoch wesentlich weniger Rechenleistung erfordern. Die Forschenden fanden einen innovativen Ansatz, bei dem zuerst eine neue, effektive Bildbeschreibungssprache für lokale Bildregionen gelernt wird, anstatt Bilder direkt als Menge von Bildpunkten zu beschreiben.
Ist das schon eine menschliche Denkweise?
Soweit würde ich nicht gehen, aber klar, es ähnelt dem, wie wir Muster erkennen. Nehmen Sie das Beispiel von Isaac Newton: Er beobachtete, dass Äpfel herunterfallen – und hat irgendwann daraus geschlossen, es muss so etwas wie Gravitation geben, die den Apfel beschleunigt oder den Mond auf seiner Bahn hält. Ein solches Denken steigert die Effizienz der Erkenntnis, und das macht die KI sehr stark. Ich muss dem System nicht mehr alles erklären, stattdessen gebe ich ihm eine Menge Daten und den Auftrag: Versuche, die Essenz zu abstrahieren und Muster zu erkennen.
Emergenz bedeutet im Kern, dass unerwartete Dinge auftreten. Wie haben Sie reagiert, als im Juli die Nachricht durch die Welt ging, dass bei OpenAI KI-Modelle aus ihrer Umgebung ausgebrochen sind und sich in andere Systeme gehackt haben?
In diesem Fall sind diese Systeme ja genau auf diese Aufgabe angesetzt worden. Wobei man versucht hat, sie in der Sandbox einzusperren. Was die Entwickler nicht berücksichtigt haben, ist – und das war hier vermutlich der wesentliche Punkt –, dass die KI, wenn man sie nur lange genug trainiert, andere Wege zum Ziel findet. Die KI ist enorm effizient darin, Abkürzungen zu finden, und in diesem Fall hat sie vermutlich erkannt, dass es einen wesentlich effizienteren Weg zum Ziel gibt, als den, in der Sandbox zu bleiben. Wobei es sich hier nicht um eine einzelne KI handelte, sondern um sehr viele agentische Systeme. Was eine KI vorhat, kann man vielleicht noch vorhersehen. Bei vielen verschiedenen, die untereinander interagieren, wird das sehr schwer.
Es ist verständlich, wenn jetzt einige KI-Pioniere vor ihren eigenen Entwicklungen warnen, oder?
Wir beobachten seit längerer Zeit, dass es diejenigen gibt, die sagen, KI wird die Technologie sein, auf der nahezu alles aufgebaut sein wird. Ich spreche von einer Ermöglichungstechnologie, als Basis für unseren zukünftigen technologischen Fortschritt. Gleichzeitig gibt es diejenigen, die davor warnen, dass wir uns abhängig von der KI machen, dass wir dadurch Fähigkeiten verlieren, dass sie uns Aufgaben und Jobs wegnimmt – und dass sie im schlimmsten Fall sogar gegen uns Menschen vorgeht. Was ich glaube: Die Gefahr besteht eher darin, dass Menschen, die nichts Gutes im Sinn haben, die KI für sich und gegen andere nutzen. Auch bei diesem Ausbruchsszenario waren es ja Menschen, die der KI gesagt haben, sie solle sich in andere Systeme hacken. Sie hat halt nur einen anderen Weg gefunden.
Bleiben wir beim Szenario der KI als einer Ermöglichungstechnologie. Was bedeutet das für die Arbeitswelt?
Wenn eine neue Technologie die Bühne betritt, lässt sich im Vorfeld kaum erahnen, welche neuen Geschäftsfelder sich dadurch ergeben. Das war historisch bei der Einführung der Elektrizität, des Computers und des Internets nicht anders. Es dauert, bis sich zeigt, was diese Technologien wirklich ermöglichen. Besonders in Europa sehe ich aber die Gefahr, dass wir nicht offen und neugierig genug sind.
Wenn eine neue Technologie die Bühne betritt, lässt sich im Vorfeld kaum erahnen,welche neuen Geschäftsfelder sich dadurch ergeben.
Woran machen Sie das fest?
Wofür die KI bereits jetzt eingesetzt wird, ist die Optimierung von Abläufen, die schon vorher erledigt werden mussten, wobei die KI diese Dinge schneller, billiger und effizienter erledigt. Ich glaube, dass uns diese Form des Einsatzes nur bedingt weiterbringt. Mehr noch, weil die KI hier wirklich menschliche Arbeit ersetzt und die Menschen dadurch bestimmte Erfahrungen nicht mehr machen, könnten sich sogar negative Effekte ergeben. Eine vollumfängliche Transformation durch KI hingegen ermöglicht uns Prozesse, die ohne sie gar nicht möglich gewesen wären. Das wiederum führt zu neuen Geschäftsfeldern und Berufsbildern.
Sie sagten, man könne heute kaum ahnen, was für Felder das sind. Dennoch, haben Sie eine Vermutung?
Wir arbeiten an sehr effizienten Algorithmen, die es möglich machen, dass jeder seine persönliche KI im Smartphone dabei hat, sodass man als Nutzer nicht mehr von den großen Konzernen abhängig ist. Dadurch ergeben sich für Unternehmen neue Möglichkeiten. Ein konkretes Beispiel: Wir haben gerade in Deutschland viele Firmen, die nicht „born digital“ sind, die aber eine große Expertise jenseits des IT-Bereichs besitzen, vielleicht sogar Weltmarktführer sind. Diese Unternehmen generieren große Mengen an sehr speziellen Daten. Und: Sie besitzen das Vertrauen ihrer Kunden. Bisher war es schwer, daraus einen Mehrwert zu entwickeln, der zu einem neuen Geschäftsmodell führt. Dafür bräuchte man zum Beispiel eine eigene Software, aber diese zu entwickeln, dafür fehlen Know-how und Kapital. Jetzt aber, mit Hilfe einer eigenen KI, sind diese Unternehmen in der Lage, das zu tun, was die großen IT-Firmen in den USA mit ihrem Kapital und ihrer Manpower schon immer konnten: selbst Softwarelösungen zu entwickeln. Denn niemand muss mehr Zeile für Zeile Code eingeben, das übernimmt eine programmierende KI.
Jobs in der Programmierung fallen weg.
Programmierer gab es in diesen Unternehmen ja nur wenige oder gar keine. Vor allem entsteht etwas Neues, nämlich die Möglichkeit, die Daten zu vermarkten. Früher musste man sich dafür eine Softwarefirma aus dem Ausland dazuholen, musste Produkte im Ausland entwickeln lassen und die Daten gegebenenfalls dorthin abgeben. Nun kann man das inhouse machen. Und noch ein Punkt ist interessant: Das Problem der Informationstechnologie war schon immer, dass die Information für die Datenverarbeitung gewissermaßen löffelfertig gemacht werden musste, vorformatiert in Excel-Sheets. Erschließen konnte man nur das, was ich in diese Tabellen hineinführen konnte. Die KI braucht dieses Vorformatieren nicht, sie kann mit allen vorhandenen heterogenen Daten arbeiten: Text, Bilder, Video, Audio, Messwerte, was auch immer. Das Schöne ist: Die KI stöhnt nicht über die Diversität der Daten, sie profitiert sogar davon. Je diverser die Daten sind, desto besser lernt sie.
Erklärt das, warum die KI-Modelle der US-Entwickler aktuell mit alten Büchern aus Antiquariaten gefüttert werden?
Ganz genau. Man schickt die KI quasi auf Bildungsurlaub. Diversität verhindert, dass die Modelle engstirnig werden oder einen Bias entwickeln. Das ist in diesem Fall bei der KI nicht anders als beim Menschen.
