KI, Gesundheit, Ethik: Wer kontrolliert den Fortschritt und wer trägt die Verantwortung?

00:00:04: Auslandsinfo, Spotlight.

00:00:06: Um die Welt mit der Konrad-Adenauer Stiftung.

00:00:12: Entgleitet KI der menschlichen Kontrolle?

00:00:15: Diese Frage ist aktueller denn je!

00:00:17: OpenAI hat seinen Börsengang für twenty sechsundzwanzig ausgeschlossen.

00:00:22: Das Unternehmen sowie andere Wettbewerber plädieren in einer überraschenden Einigkeit für ein kontrolliertes Tempolimit und strengere Sicherheitsvorkehrungen bei der Entwicklung fortschrittlicher künstlicher Intelligenz.

00:00:34: Auch bei sozialen Medien zieht Europa neue Grenzen.

00:00:37: Die EU-Kommission verabschiedete am siebzehnten September das EU Kids Gesetz, um die Online-Sicherheit von Kindern in der gesamten Union zu verbessern.

00:00:47: Die Frage, die bleibt ist – wo muss Deutschland Innovation ermöglichen und wo sollten Grenzen gezogen werden?

00:00:53: Gerade im Gesundheitswesen wird diese Frage besonders wichtig.

00:00:57: KI kann Diagnosen unterstützen, Therapien empfehlen und künftig ganze Behandlungsschritte begleiten.

00:01:03: Aber wer trägt dann die Verantwortung?

00:01:06: Je leistungsfähiger neue Technologien werden, desto schwieriger wird diese Frage.

00:01:10: Über all das spreche ich heute mit Prof.

00:01:13: Dr.

00:01:13: Alina Büchs.

00:01:14: Viele kennen sie als ehemalige Vorsitzende des deutschen Ethikrats der die Regierung unter anderem während der Pandemie beraten hat.

00:01:21: Heute ist die Professorin an der TU München, forscht an der Schnittstelle von Medizin, Technologie und Gesellschaft und sie bereht die Bundesregierung im Expertenrat Gesundheit und Resilienz aus.

00:01:32: Außerdem ist sie in diesem Jahr Fellow der Konrad-Adenauer-Stiftung.

00:01:36: Mein Name ist Magdalena Falkner, herzlich willkommen zu einer neuen Folge von AuslandsInfoSportLight!

00:01:42: Ich bin jetzt mit Alina Büchserbunden.

00:01:44: Hallo Frau Büchs, schön es das heute klappt und herzlich Willkommen zu diesem Podcast.

00:01:52: Wir wollen heute über KI Gesundheit Ethik und Verantwortung sprechen.

00:01:56: ich glaube dafür haben wir uns eine gute Woche ausgesucht.

00:01:59: die Nachrichten zu diesem Thema überschlagen sich förmlich Und bevor wir tiefer einsteigen, starten wir hier in diesem Podcast immer mit einem kurzen Frage- und Antwortspiel.

00:02:09: Ich gebe Ihnen drei Halbsätze vor und Sie versuchen diese Sätze möglichst kurz zu vervollständigen.

00:02:14: – in Ordnung?

00:02:15: Sehr gern!

00:02:18: Wenn ich morgen Gesundheitsministerin wäre, würde ich als Erstes

00:02:23: eine Zuckersteuer einführen.

00:02:25: Eine rote Linie die KI in der Medizin niemals überschreiten darf ist.

00:02:30: Bei wirklich wichtigen Entscheidungen bei denen es

00:02:33: um

00:02:34: Patientinnen und Patienten geht, alleinige Entscheidungsverantwortung zu tragen.

00:02:38: Niemals!

00:02:39: Gesundheit wird zur geopolitischen Machtfrage, weil

00:02:43: wir riesige Player am Markt haben die Teil riesiger Unternehmen sind, die sehr stark in den Gesundheitsmarkt hineingehen und ein wenig die Sorge besteht dass unsere sorgfältige Gestaltung und Regulierung dieses Bereichs dadurch unter Druck gerät.

00:03:01: Vielen Dank Wir steigen gleich mit einer Frage zu den aktuellsten Debatten ein.

00:03:06: Die EU-Kommission hat am siebzehnten Neunten den sogenannten Kids Act auf den Weg gebracht, darin steht unter anderem Jugendliche unter dreizehn Jahren sollen soziale Medien nicht nutzen dürfen.

00:03:16: Im Alter zwischen dreizehn und fünfzehn Jahren dürfen jugendliche unter elterlicher Aufsicht spezielle Minikonten einrichten, deren Nutzung auf eine Stunde pro Tag begrenzt sein soll.

00:03:26: Und ab fünfzehnt Jahren dürfen Jugendliche ihre eigenen Social Media Accounts

00:03:30: einrichten.".

00:03:32: Was halten Sie vom Kids Act und wo würden sie vielleicht nachschärfen?

00:03:35: Ich befürworte in dieser Debatte um die Beschränkung von Social Media, aber eben nicht nur Social Media für Kinder- und Jugendliche.

00:03:44: Einen umfassenden Ansatz.

00:03:46: ganz kurz zum Hintergrund es gibt eine große Evidenz ich fasse das ganz knapp zusammen dass social media gebrauch aber auch der Gebrauch von KI Chatbots die gehören nämlich auch dazu man könnte eigentlich sagen alle digitalen Plattform die in einer Art und Weise eingerichtet sind, dass sie sehr verkürzgesprochen in den Dopaminhaushalt hineingehen.

00:04:07: Die gamifiziert sind oder die das Belohnungssystem ansprechen dadurch, dass Sie endlose Scrolling also ständig neue Reize einpräsentieren, dass wir mit irgendwelchen blinkenden Belohnungselementen arbeiten oder eben tatsächlich Spielelemente drin haben.

00:04:24: Die sind alle so aufgebaut, auf der Plattform zu halten.

00:04:31: Auch besonders stark emotive Gehalte gehören dazu, alles was aufrecht und stimuliert.

00:04:36: Und wir sehen über die letzten zehn, zwanzig Jahre verdichtet sich da die Evidenz dass das in allen Gehirneneffekten hat.

00:04:43: also Wir reden jetzt über Kinder Jugendliche aber ist etwas weniger stark auch bei Erwachsenengehirnen der Fall.

00:04:51: Das hat ich sage es verkürzt Abstumpfungseffekte bis hin zu suchtähnlichen Phänomen und Effekten auf die psychische Gesundheit.

00:05:00: Also es gibt einen Teil von Menschen, die wirklich richtig süchtig werden aber vor allem bei Kindern und Jugendlichen sehen wir so etwas diffuse Effekte auf die Psychische Gesund- heit Depression sozialer Rückzug Unfähigkeit sich zu konzentrieren Leistungsabfall Und das Ganze hat Verdrängungseffekte, weil in der Zeit, in der ich auf dem Plattform bin, mach' ich eben keinen Sport.

00:05:22: Treffe mich nicht mit Freunden, bin nicht draußen und das wiederum hat ganz viele gesundheitliche Effekte und auch Wiedereffekte auf die psychische Gesundheit.

00:05:29: Ein erheblicher Anteil von Kindern und Jugendlichen hat durchaus eine risikohafte Nutzung an die zwanzig Prozent je nach Studie.

00:05:36: Alles was ich jetzt gesagt habe sagt die Leopoldina sagen ganz viele andere Expertininnen und Experten und Streit gibt's eigentlich nur darüber.

00:05:42: Wie gehen wir das jetzt an?

00:05:43: Wir haben es als Gesellschaften ein Stück weit verpennt.

00:05:46: Das ist so.

00:05:47: Und jetzt muss man halt nachregulieren und ich gehöre zu denjenigen, die sagen wir müssen ein paar Pflöcke einhauen weil wir dahinter herrennen und weil wir es hier mit Dingen zu tun haben wie sehr machtvoll sind, die unser aller Leben wirklich durchwirken und wo die Eltern das auch nicht mehr alles alleine schaffen?

00:06:02: Das sehen wir ja!

00:06:03: Ich bin da selber betroffen.

00:06:04: Ich hatte einen dreizehn- und fünfzehnjährigen Zuhause und sie können sich vorstellen dass bei uns tägliches Thema.

00:06:09: Also das kenne ich auch wirklich aus dem alltäglichen Kampf.

00:06:12: Und deswegen beispielsweise anders als der Ethikrat, der sich ja distanziert von klaren Altersgrenzen weil die schwierig technisch umsetzbar sind und weil man da natürlich sehr persönliche Daten abgeben muss für diese Altersverifikation.

00:06:27: Ich halte das für ein technisch lösbares Problem.

00:06:29: Ich sehe das als ein Argument, dass man das sorgfältig gestalten muss.

00:06:33: Da gibt es verschiedene Wege zu tun.

00:06:35: Aber ich halte das nicht als ein argument gegen Altersgrenzen im Gegenteil.

00:06:40: Es ist essentiell, Alterskränzen zu haben.

00:06:43: Kein Kind unter drei Zähnen braucht Social Media für seine Entwicklung und kein Kind braucht einen KI-Chatbot in dem Alter.

00:06:53: kann mir niemand erzählen, dass man das für digitale Teilhabe braucht oder die Entwicklung braucht.

00:06:59: Oder auch für die Informationssuche in dem Alter.

00:07:03: Das kann man gemeinsam mit Eltern machen.

00:07:05: natürlich kann man das Internet begleitet nutzen aber das halte ich für Quatsch.

00:07:09: also in dem alter eine Altersgrenze finde ich sehr gut.

00:07:12: angesichts des Schadens Potenzials sehr gut zu argumentieren und danach stufenweise Einführungen.

00:07:18: deswegen sind wir jetzt natürlich beim Kids Act etwas älter, altersadaptierte Stufenweise Möglichkeiten teilzunehmen.

00:07:26: Teilzuhaben an diesen Angeboten finde ich ebenfalls sehr sinnvoll.

00:07:30: Ich wünsche mir drum herum ganz viel Unterstützung und Aufklärung in Schulen beispielsweise.

00:07:38: da gibt es schon einiges das breite aus zu rollen.

00:07:41: Ich wünsch mir auch Unterstützung von Familien oder einfach Menschen denen das schwer fällt das für sich umzusetzen Aber dass wir da regulatorisch eingreifen müssen angesichts dessen, wie sich das entwickelt hat und wie sehr die Unternehmen ihre eigene Verantwortung überhaupt nicht wahrnehmen.

00:08:00: Das scheint mir inzwischen ehrlich gesagt fast nicht mehr kontrovers.

00:08:04: Ja vielen Dank für die umfassende Einschätzung und auch für die Anregungen.

00:08:08: was es dann in der Umsetzung noch zusätzlich braucht bzw wünschenswert wäre.

00:08:13: ich frage mich gerade noch Wie würde denn die Umsetzung der Altersverifizierung aussehen?

00:08:19: Also das Optimale, was viele Kolleginnen und Kollegen auch diskutieren wäre wenn man eine Altersverifikation hätte die auch nicht bei den Unternehmen liegt.

00:08:28: Damit die nicht Zugriff auf diese hochsensible Daten bekommen sondern dass man das tatsächlich unabhängig staatlich bereitstellt und dann sozusagen stellvertretend über eine Verifikation dieser Verifikations.

00:08:42: Aber

00:08:43: also für dafür bin ich gar nicht die Expertin, die tatsächliche technische regulatorische Ausgestaltung.

00:08:50: Ich finde nur so wie es bisher war kann es definitiv nicht sein und diese irrsinnig Kapitalstarken Unternehmen völlig aus der Verantwortung hinauszulassen, haltig auch gesellschaftlich völlig verfehlt.

00:09:07: Da muss man einfach ran.

00:09:08: Ich finde das sehr offenkundig, dass man selbstverständlich sagt ihr seid Unternehmen die uns auch tolle Produkte geliefert haben ist ja nicht so, dass ich jetzt Social Media verbieten wollen würde oder digitale Plattformen.

00:09:21: Das ist ja was Tolles!

00:09:22: Ich bin auch auf social media unterwegs und alles wunderbar.

00:09:25: nur war das bisher der wilde Westen.

00:09:28: Jetzt haben wir festgestellt und haben wirklich auch die wissenschaftliche Evidenz, dass bestimmte Elemente davon uns nicht gut tun.

00:09:35: Zum Beispiel ist es ja kein Naturgesetz, dass diese Gamifizierung und diese Suchtbildenden so nenne ich sie jetzt mal und andere auch Elemente auf diesem Plattform Teil der Plattform sein müssen.

00:09:47: Das ist eine Entscheidung, die getroffen wurde von den Unternehmen um eben die Nutzerinnen und Nutzern möglichst lange draufzuhalten.

00:09:55: Und da ist es das gute Recht einer Gesellschaft zu sagen Da zwingen wir euch jetzt regulatorisch das zu verändern!

00:10:04: Wir machen weiter mit einer ebenfalls hochaktuellen Debatte.

00:10:07: Viele Hörerinnen und Hörern werden es verfolgt haben, OpenAI verschiebt seinen Börsengang wegen ungelöster Sicherheitsfragen in Bezug auf ihre KI-Systeme.

00:10:16: Auch Sie, Frau Bürgs, haben kürzlich in einem Interview unterstrichen das KI-Unternehmen Ihre Systeme und deren Risiken erst unter Kontrolle bringen müssen – was wäre für sie ein konkreter Beweis dafür, dass ein Unternehmen diese Kontrolle tatsächlich hat?

00:10:30: Und wer sollte das überprüfen?

00:10:33: Eine ganz interessante Debatte, die wir auf diese Art und Weise ja vor etwas weniger als vier Jahren geführt haben.

00:10:39: Als Chatchi-Pity in der Welt krachte übrigens auch mit sehr ähnlichen Verlautbarungen.

00:10:44: Wir brauchen jetzt ein Moratorium von den Unternehmen selbst – also wie kurz vor der Katastrophe!

00:10:50: Ich halte das für Ablenkungsmanöver.

00:10:51: Ich bin da sehr zynisch geworden weil ich tatsächlich kein Wort glaube.

00:10:56: Damals vor vier Jahren wurden diese Dinge besprochen und es wurde zugesichert, man würde sich um Sicherheit und alles mögliche verantwortliche Gestaltung kümmern.

00:11:05: Das ist passiert aber in Europa!

00:11:08: Ich sehe ganz viel Verantwortliche und auch tolle KI-Entwicklung.

00:11:12: gern können wir darüber gleich noch sprechen was das in der Medizin gerade heißt.

00:11:15: also da ist bei uns wirklich die Hölle los und ich bin total begeistert.

00:11:18: gestern war ja auf einem großen KI Festival.

00:11:21: Also was in Deutschland und Europa gerade passiert, ist wirklich sehr ermutigend.

00:11:24: Aber es waren weiß Gott nicht die Hyperscaler überhaupt nicht!

00:11:28: Die sagen jetzt wieder dasselbe und ich glaube so wie viele andere im übrigen auch das ist nichts für sie Ich mir ausdenke oder mir vom Himmel gefallen ist, dass es eher darum geht das wenn man ein IPO plant also wirklich an die Börse geht.

00:11:40: Man dann die Wirtschaftsprüfer richtig in die Bücher gucken lassen muss und da wird man dann feststellen wie's mit der Kapitalisierung ausschaut wie es mit diesen wahnsinnigen Wetten Ausschau die da geschlossen wurden.

00:11:51: ich will da nicht ins Detail gehen weil es nicht mal eine Expertise ist aber ich teile die Vermutung dass es darum ergeht.

00:11:58: der zeitliche Zusammenhang ist, ist auffallend.

00:12:01: Kommen wir trotzdem zu diesen Sicherheitsfragen zurück?

00:12:04: Denn das muss man auch sagen die sind ja hochrelevant weil sie auch schon vor vier Jahren hochrelevant waren und natürlich auch schon davor.

00:12:11: es hat da immer von ganz vielen aus der Wissenschaft und auch aus der Entwicklung.

00:12:16: ich komme ja von einer technischen Uni bin ja an der TU München Da haben wir auch Expertinnen und Experten sitzen die das Zeug vom morgens bis abends entwickeln und sich schon vor zehn jahren durchaus hier und da mal so geäußert haben.

00:12:29: Also noch vor der generativen KI, aber nach der Entwicklung der Generativen jetzt der agentischen KI noch deutlicher?

00:12:38: Und das ist eine sehr schwierige Frage wenn man außen vorlässt oder anders es ist eine Machtfrage.

00:12:45: Es geht darum wer kontrolliert unternehmen dieser Größe und dieser Marktdurchdringung.

00:12:51: Und kann man glaubhaft davon ausgehen, dass überhaupt eine externe unabhängige Kontrolle möglich wäre?

00:12:58: Und dass man die wirklich durchsetzt?

00:13:00: Wenn das der Fall wäre – ich hoffe das sehr!

00:13:03: Dann würde ich das sehr begrüßen.

00:13:05: Und tatsächlich hat, weil ich das richtig erinnere war es der Anthropic Chef selbst so etwas ins Spiel gebracht.

00:13:12: Es gibt jetzt auf UN-Ebene ein solches Gremium gibt und gäbe verschiedene Möglichkeiten, das zu tun.

00:13:19: In der letzten US-Administration gab es ein KI-orientiertes Gremium, dass darüber nachgedacht hat welche Art von Oversight man haben könnte sowohl national in den USA wo nun mal die größten Player sitzen als auch global wurde tatsächlich über globale Standards diskutiert ist leider alles weggebrochen seit der seit die aktuelle Administration da ist und jegliche Regulierungs Versuche oder auch vorbereitete Regulierungen haben eben nicht stattgefunden, jetzt haben wir den Salat.

00:13:48: Das heißt sie hören so ein bisschen an meinen Ausführungen.

00:13:51: ich bin da fürchte ich etwas realistisch.

00:13:54: wenn nicht die USA selbst da tatsächlich auch Regulierung für die Unternehmen in den USA oder aus den USA stammen anstrengt wird es für den Rest der Welt sagen wir mal nicht leicht!

00:14:08: Jetzt muss man wissen dass in den usa gerade eine Reihe sehr interessanter Verfahren anhängig sind vor Gerichten, die auch die Hyperscaler betreffen.

00:14:18: Und wie das so oft in den USA auf Bundestaatenebene bestimmte Regulierungen eingezogen werden, die dann langsam national werden und die sehr viel effektiver als alle globalen schäumenden Debatten dazu führen können dass die Unternehmen ihre Core Products tatsächlich verändern.

00:14:40: Der zweite Weg ist ganz klar da fest bleibt.

00:14:45: Denn die EU, die viel gescholtene Europäische Union, die angeblich nur reguliert und nicht innoviert ... Und wie wir das machen mit der Regulierung in der EU, kann man auch sehr viel daran kritisieren.

00:14:58: Daran kritisiere ich auch sehr viele.

00:15:00: Das sind immer so regulatorische Monster!

00:15:04: Aber das wird es machen?

00:15:06: Und dass wir ein Regelwerk haben, ist im Moment finde ich ein Segen.

00:15:09: Denn wir haben bestimmte Prinzipien etabliert über den AI-Akt Wir haben bestimmten Instrumente die zur Verfügung stehen und die EU als ein relativ großer Binnenmarkt sollte da fest bleiben als Player wo auf globaler Ebene über solche globalen Sicherheitsstandards diskutiert wird.

00:15:29: natürlich haben die Unternehmen ein Interesse an unserem Markt.

00:15:32: das hat man ja auch gemerkt.

00:15:34: Diese Fragen waren Teil der politischen Verhandlungen, zum Beispiel um im Zeustreit.

00:15:40: Und sind es immer wieder.

00:15:41: die Digitalgesetzgebung der EU ist wenn sie so wollen ein Ziel im Zeutstreit?

00:15:47: Das ist ein super interessanter Blickwinkel den Sie hier aufmachen.

00:15:50: vor allem hätte ich nicht gedacht dass auch Sie sich den Vermutungen anschließen das dieses KI-Moratorium also des Einlegen einer vorübergehenden Entwicklungspause wahrscheinlich eher mit dem Börsenstaat zu tun hat als mit den tatsächlichen Sorgen, was die Systeme betrifft.

00:16:07: Ich gehe trotzdem nochmal ein Stück zurück.

00:16:09: Mich würde noch ihre Einschätzung interessieren zu bereichen in denen Sie sagen würden also hier sollte der Staat nicht nur regulieren sondern vielleicht sogar von vornherein verbieten.

00:16:19: Ich bin so traurig, dass wir über die negativen Seiten so stark sprechen.

00:16:23: Ich gebe Ihnen gleich eine Antwort aber lassen Sie mich das mal einmal unterstreichen, dass Wir das einmal auch herausholen Denn gerade die Medizin ist ein Beispiel dafür Dass wir eine Gleichzeitigkeit haben von bedrohlicher Technologie Die wir regulatorisch einschränken müssen.

00:16:39: Das ist meistens im Rahmen von Modellen Aktuell sind es halt eben die großen Sprachmodelle der Riesenunternehmen und eine Gleichzeitigkeit fantastischer Entwicklung, die eher sektoral passiert.

00:16:53: Zum Beispiel in der Medizin, die teilt auch auf diesen Modellen aufsitzt als digitale Infrastruktur aber die zum Teil auch unabhängig davon passiert.

00:17:05: In der Medizin sind wir ein Bereich wo ich glaube dass wird das nutzen Risikoverhältnis ganz wunderbar hinkriegen werden weil Der positive Effekt, den wir da generieren können ist riesig groß.

00:17:16: Und wir sind gewohnt mit riskanten Technologien in der Medizin umzugehen und die sorgfältig einzuhägen und zum Nutzen von Patientinnen und Patienten unter Berufsgruppen einzusetzen.

00:17:27: Lager Rede kurzer Sinn!

00:17:29: Ich denke am liebsten in der medizin darüber darf wie kriegen wir die vielen tollen Sachen tatsächlich in die in die Umsetzung?

00:17:34: Und relativ wenig darüber was ich da unbedingt verbieten möchte.

00:17:39: es gibt einen Grundprinzip In der Medizin hat auch der deutsche Ethikrat, als wir unsere Stellungnahme zur KI-Aufgabe für die Medizin schon formuliert haben.

00:17:50: KI Anwendungen insgesamt ist eine ethische Faustregel, müssen menschliches Leben und menschliche Entfaltungsmöglichkeiten erweitern und verbessern und dürfen sie nicht verschlechtern.

00:18:01: Das ist also ne sorgfältige Nutzenrisikoabwägung Komma!

00:18:04: KI darf den Menschen nicht vollständig ersetzen Und ich würde hinzufügen bei wirklich wichtigen Entscheidungen.

00:18:12: Das bedeutet, ich würde nicht wollen, dass wir Technologien haben

00:18:17: die

00:18:18: in der Intensivmedizin ... Wenn sie auf der Intensive-Station sind und es geht um die Therapiezielbestimmung sollen wir beispielsweise einen Patienten wiederbeleben ja oder nein?

00:18:31: Da kann man tolle KI basierte Risikoscores bekommen aber die dürfen immer nur Vorschlagscharakter haben Und es muss immer die Entscheidung, die letzte Entscheidung über so etwas in der klassischen medizinischen Entscheidungsfindung zwischen Arsten und Patienten bzw.

00:18:48: stellvertretenden passieren.

00:18:49: Das darf KI nicht machen!

00:18:52: KI kann nicht richtig denken.

00:18:53: KI hat kein Bild von der Welt.

00:18:56: KI ist fantastisch komputational und Menschen inzwischen im bestimmten Aufgaben weit überlegen und simuliert.

00:19:04: Die generative KI simulierte ein sehr menschenähnliches Verhalten, aber eine Entscheidungsfindung wo es verkürzt gesagt um Leben und Tod geht.

00:19:14: Darf jedenfalls in der regulären Medizin so wie wir sie heute kennen.

00:19:19: man kann noch mal über Katastrophenfälle und Groß-Schadeneignisse und sowas separat reden.

00:19:25: das ist nochmal ein Spezialgebiet.

00:19:26: aber reden wir mal so über die allgemeine Medizin in der Praxis im Krankenhaus.

00:19:31: da darf eine wichtige Entscheidungswindung nicht bei einer KI liegen.

00:19:36: Und deswegen würde ich alle Anwendungen, die darauf abzielen in Deutschland und Europa nicht haben wollen, die wären aber ohnehin nicht zulässig weil wir ja in Europa und in Deutschland einen regulatorischen Rahmen haben und sowas wie in den USA wo sie Krankenhäuser haben keine menschlichen Therapeuten mehr gibt.

00:19:56: Psychotherapeuten, also ganze Versicherungen bieten ihren Versichert nur noch KI-basierte Psychotherapie an.

00:20:04: so was können es bei uns einfach nicht geben und ich bin dann immer wieder froh und dankbar in Deutschland und der EU zu leben bei allen Problemen die wir haben.

00:20:12: Hoffen wir dass wir diese Standards auch in Zukunft in der EU erhalten können.

00:20:18: Aktuell ist es ja so, dass bei den KI-System viel im Nachgang verbessert wird.

00:20:23: Wie könnte man das denn bereits bei der Entwicklung besser gewährleisten?

00:20:26: Dass medizinische und ethische Standards eingehalten werden

00:20:31: Das ist eine sehr schöne Frage weil es nicht nur dieser große regulatorische Rahmen Sondern es gibt an vielen Stellen immer wieder Fragen, die man entscheiden muss, wenn man diese Technologien entwickelt.

00:20:40: Wie können wir sie so gut wie möglich machen?

00:20:43: So Patienten dienen nicht wie möglich!

00:20:45: Wir können eben auch Risiken vermeiden, die es gibt.

00:20:48: Haben wir jetzt noch gar nicht drüber gesprochen.

00:20:50: Verzerrte Trainingsdaten, dann kommen natürlich auch verzerrter Ergebnisse raus.

00:20:55: Natürlich gibt's immer die Möglichkeit ... Ihre Fehler passieren, das kennt man von Chechipiti, wer das benutzt weiß.

00:21:00: Es gibt diese Fabrikationen und so was.

00:21:03: Das ist etwas, was der KI inne wohnt eben weil sie kein Bild von der Welt hat, weil sie nicht denkt sondern weil es am Ende des Tages fantastische statistische Arbeit ist.

00:21:14: Und da gibt's verschiedene Konzepte dass man sozusagen den regulatorischen Rahmen praktisch macht operationalisiert und wirklich in die Entwicklung reinbringt.

00:21:23: Das machen wir an der TU, gibt es verschiedene Ansätze.

00:21:25: Wir machen's mit dem sogenannten Embedded Ethics Approach im Sinne von eingebettet.

00:21:31: Und das ist etwas wo tatsächlich Ethikerinnen... Wir haben inzwischen eine Reihe von Methodologien entwickelt.

00:21:38: Die kann immer angepasst werden an den Entwicklungspfad eines Produktes.

00:21:43: Also sagen wir mal, es geht um irgendeine digitale Anwendung, eine KI-basierte Anwendungen für die Klinik.

00:21:48: Und dann sind es jemand vom meinem Team aus der Ethik Teil dieses Entwicklungsteams und begleitet den Prozess, stellt an verschiedenen Stellen.

00:21:56: Manchmal sind auch noch Juristinnen und Juristen dabei wenn man das sehr früh braucht.

00:22:00: Das ist sehr interdisziplinär, sehr integriert und man stellt sozusagen im Entwicklungsprozess an den verschiedenen Stellen schon die richtigen Fragen Und am Ende des Tages kommt dann ein Produkt raus wo wirklich alle Beteiligten sagen können dass es medizinisch toll Ethisch super, das ist regulatorisch klasse.

00:22:19: Und das werden die Patientinnen und Patienten wenn es für die ist oder die Fachberufe für dies ist gerne gut nutzen mit dem Gefühl, dass was verantwortlich generiert wurde.

00:22:31: Letzter Satz Sie können jetzt natürlich sagen ja das macht ihr an der TUM bräuchts nicht solche Konzepte, die direkt aus dem regulatorischen Rahmen folgen damit man sozusagen so ein bisschen eine Checkliste kriegt oder irgendwie ein Index hat, an dem man sich halten kann.

00:22:46: und das erarbeiten wir gerade in einem oder planen wird zu erarbeiten.

00:22:50: In einem gemeinsamen Projekt unter anderem unterstützt vom Bayerischen Ministerium im zuständigen.

00:22:58: hoffentlich geht es bald los dass wir sowas entwickeln und viele andere machen was ähnliches.

00:23:03: also wir sind da auf dem tollen Weg.

00:23:05: ich wollte das eben noch nachschieben.

00:23:07: Wenn man vor fünf Jahren auf KI-Festivals rumgelaufen ist und es auch im Medizin ging, da stecken wir echt in Deutschland in den Kinderschuhen.

00:23:15: Und hatten alle ja wie Sorge, oh Gott jetzt übernimmt das alles Google und das übernibt das alles Meta und OpenAI sowieso.

00:23:22: Die gab's dann noch nicht aber dann bald!

00:23:24: Jetzt geht man auf die Festivals und überall sind die Startups, überall die in Deutschland, in Europa entwickelt wurden.

00:23:32: Den unserem Ökosystem groß geworden sind.

00:23:35: für diese wird ich ja die Pflichten des AI-Akt sogar ein paar Jahre aussetzen und den Welpenschutz geben weil alles was in Deutschland oder der EU entstanden ist entsteht ja in einem Forschungs- und Entwicklungsökosystem das ohnehin schon so viele Regeln befolgt.

00:23:51: Ich glaube wir müssen uns klar machen dass wir beispielsweise die KI Gesetzgebung die globale Schaf schalten Mit Blick auf die großen Unternehmen und gleichzeitig darüber nachdenken sollten.

00:24:02: Und das tun viele kluge Menschen, ob wir für unsere eigenen Entwicklung da denen das ein oder andere erlassen später Nachfragen also so'n bisschen Weltenschutz geben?

00:24:13: Und was es da gibt in der Medizin ist einfach toll!

00:24:16: Einfach toll!

00:24:16: Gestern hat mir immer ein medizinisches Chatchi-Pity unter die Nase gehalten Das anders als Chachipiti das ständig Fehler macht in der Super verlässlich ist.

00:24:27: Auf dem Trainingsdatensatz, ganz old school aus medizinischen Nachschlagewerken und Originalarbeiten trainiert es ganz sorgfältig korratiert.

00:24:36: Sieht toll aus funktioniert super ist für die Westentasche jedes Arztes jeder Ärztin prinzipiell geeignet.

00:24:41: wenn man das schnell jetzt durch in die Zudassung kriegen wäre das eine Wiesenhilfe.

00:24:46: Ich höre gerne noch mal zurückkommen auf den Punkt Verantwortung.

00:24:49: Forschende in den USA und Deutschland entwickeln inzwischen KI-Systeme, Sie haben es gesagt die Krankengeschichten aufnehmen, Untersuchungen anordnen und Therapieempfehlungen geben können.

00:24:59: Die Verantwortung liegt damit ja zwischen Entwicklern, Forschern Unternehmen Ärzten und Nutzern verteilt Und dadurch letztlich bei niemandem richtig.

00:25:08: Genau dieses Problem behandelt auch ihre Arbeit.

00:25:11: zu Suspended Responsibility Wer müsste ihre Meinung nach am Ende dafür verantwortlich sein?

00:25:17: Beziehungsweise bin ich als Patientin am Ende doch für alle selbst verantwortliche, indem ich meine Unterschrift dazu gebe zum Beispiel bevor ich eine Behandlung starte.

00:25:29: Das wollen wir natürlich nicht!

00:25:31: Das ist eine geteilte Verantwortung und entsprechend müssen wir wirklich ausbuchstabieren.

00:25:39: kann das nicht pauschal beantworten, wenn das so einfach wäre.

00:25:44: Das sind ja am Ende des Tages Haftungsfragen letztlich dann im medizinischen Kontext.

00:25:48: deswegen bin ich da auch gar nicht die Expertin.

00:25:50: Das besprechen im Moment diejenigen vor allem auch juristischen Kolleginnen und Kollegen, die das gewohnt sind auseinander zu dividieren.

00:25:58: welcher Teil einer Verantwortungskette liegt denn bei wem?

00:26:03: Ich kann Ihnen nur sagen – das hat auch der deutsche Ethikrat gesagt – es ist wir nennen das Multiakteursverantwortung Das heißt, selbstverständlich ist Verantwortung bei den Unternehmen und Entwicklern.

00:26:14: Da sind Sorgfaltspflichten.

00:26:16: Da geht es darum, dass diejenigen, die ein Produkt kaufen ... Also sagen wir mal eine Krankenhauskette, die was kauft, was dann in den Krankenhäusern genutzt wird, sich darauf verlassen können, das höchsten Standard tatsächlich entspricht.

00:26:29: Dass eben daran gedacht wurde, dass Fehler nicht vorkommen oder minimiert werden, dass man entsprechend des Trainingsmateriales zur Verfügung hat.

00:26:39: Dann diejenigen, die so etwas kaufen und in ihren Einrichtungen etablieren.

00:26:44: Die haben wiederum eine Pflicht, eine Verantwortung ihre Mitarbeiterinnen und Mitarbeitern mitzunehmen und zu Schulen dafür zu sorgen dass das auch nicht läuft.

00:26:52: Die Nutzen sind dann wiederum ein Teil der Verantwortung vor allem als Ärztinnen und Ärzte wie sie das wiederum in ihre ärztliche Entscheidungsfindung einfließen lassen Und auch wie transparent das Patientin- und Patientengegenüber gemacht wird.

00:27:08: Auch das ist etwas, was gerade ausführlich diskutiert wird.

00:27:11: Wir sind da die Aufklärungspflichten und letztlich Patientinnen und Patienten auch sich ein Stück weit zu ertüchtigen, zu verstehen, was ist KI?

00:27:21: Es gibt unterschiedliche Befragungen, aber achtzig Prozent der deutschen Ärzte Und Ärztinnen und ungefähr sechzig Prozent der Patientinnen sind sehr offen gegenüber einer Nutzung von KI in der Medizin.

00:27:32: Finde ich wirklich spannend, also früher waren wir Deutschen immer so sehr zurückhaltend ... Inzwischen ist das nicht mehr so!

00:27:39: Aber das bedeutet natürlich, dass Patienten auch darüber nachdenken müssen wie nutze ich verantwortlich Gesundheitstools?

00:27:48: Da gibt es einen riesen Unterschied zwischen dem was wir in der organisierten Medizin entwickeln, worüber ich jetzt gerade geschwärmt habe.

00:27:55: Was wir dann immer noch zulassen als Medizinprodukte auch da gibt es noch verschiedene Dinge zu lösen weil die sich ja immer weiter lernen und das ist im regulatorischen Konzept ursprünglich eigentlich gar nicht vorgesehen.

00:28:08: aber wir haben außerhalb der organisierten Medizin den wilden Westen von Gesundheits-Apps und Gesundheitsinfo.

00:28:16: Und das ist etwas, das können jetzt nicht die Ärztinnen und Ärzte alles mitverantworten, dass ich zum Beispiel eine Technologie habe, die ist im Krankenhaus etabliert und dann kommen Patientinnen und Patienten und erzählen mir irgendwas absoluter Quatsches und das Clash sozusagen gegen das was ich anbieten kann.

00:28:36: Ich bin da sehr zuversichtlich.

00:28:38: Wir haben das in der Medizin, in der Vergangenheit immer geschafft.

00:28:40: Das wird Technologien gut integrieren und ich glaube wir kriegen das diesmal auch hin.

00:28:44: aber im Moment sind wir so ein bisschen alle gemeinsam im Experimentierkasten.

00:28:49: Das ist doch ein guter Ausblick in die Zukunft!

00:28:52: Und damit sind wir leider auch schon am Ende dieser Folge.

00:28:55: vielen Dank Frau Büchs für ihre Zeit und für Ihre Einschätzungen.

00:28:58: Ganz herzlichen Dank für die Einladung hat wirklich Spaß gemacht.

00:29:02: Das war eine weitere Folge von Auslands Infos Spotlight.

00:29:05: Wenn ihr Fragen oder Anmerkungen zum heutigen Thema habt, schreibt sie uns gerne und vergesst nicht diesen Podcast zu abonnieren!

00:29:11: Frau Büchs und ich haben heute am achtzehnten September zwanzig sechsundzwanzig gesprochen – das Ganze ist eine Produktion der Konrad-Adenauer Stiftung.

00:29:20: Vielen Dank fürs Zuhören und bis zum nächsten Mal!