---

14.-15. März 2016 – Brocher Foundation: Ethics of Biomedical Big Data

Ich habe nur den zweiten Tag der Veranstaltung besucht. Zuerst sprach Barbara Prainsack über „Does solidarity have a role in ethical risk assessment?”. Ihr Ausgangspunkt ist precision medicine – quasi die Idee, dass es keinen Allgemeinarzt mehr braucht, weil man den Gesundheitszustand einer Person aus ihren Daten lesen könne – siehe dazu einen Bericht von 2011 von der US National Academy of Sciences (Towards Precision Medicine). Ziel ist auch, eine neue Taxonomie von Krankheiten zu generieren. Man will dazu die Daten der diversen „omic“ Wissenschaften zusammenführen, die statistische Perspektive der evidenzbasierten Medizin auf den Einzelnen bringen und schliesslich eine präsymptomatische Medizin erreichen. Beispiele sind das CATCH Projekt des Massachussetts General Hospital und ein Projekt namens Hudson Yard. Heraosforderungen der precision medicine sind: Umgang (governance) mit Daten, den information gap schliessen und den information spill eindämmen. Zu ersterem: Die klassischen Kategorien von Daten – personalisiert vs. anonym; Gesundheitsdaten vs. Nichtgesundheitsdaten sowie sensitive vs. nichtsensitive Daten funktionieren nicht mehr – stattdessen sollte man öffentlichen vs. privaten Gebraucht als ethische Grundkategorie verwenden (also ob das eine klarere Unterscheidung wäre – im Gegenteil: wohl noch unklarer als die anderen genannten). Zur zweiten Herausforderung, siehe das Paper von Schork 2015 in Nature: Personalized Medicine (Idee der 1-Person-Trials). Die dritte Herausforderung betrifft das Problem, dass man neu alles mittels Biomarker klassifizieren will z.B. auch die Idee des Alterns (schnell vs langsam altern). Ihre Lösung für das Problem: der Idee der Solidarität neues Leben einhauchen.

Danach sprach Michele Loi über distributed ethics reviews (er sprang ein für Effy Vayena). Er stellt die laufenden Arbeiten von Ernst Hafen und anderen vor und präsentiert die Idee eines analog zu citicen science verteilten Ethik-Review für neuartige Studien. Grundidee: es gäbe so was wie ein AirBnB für Daten, wo Datenanbieter und Nutzer sich treffen. Wie würde man die Ethik in einem solchen System organisieren, man kann ja nicht alles ales via IRBs machen. Die Leute sollen sich selbst beurteilen, so die Idee, Würde es aber nicht mehr Sinn machen, hier ein Reputationssystem aufzubauen? Es gibt zum Thema übrigens bald ein neues Paper von Effy.

Der dritte Vortrag war von Kristin Voigt: Big data, social inequalities in health and primary care. Sie stellt das Projekt „Community Vital Signs“ vor. Die Idee ist hier, dass ein Arzt nebst den Gesundheitsdaten einer Person auch die sozioökonomischen Daten über das Umfeld der Person haben soll (Wohnort, Umwelteinflüsse am Wohnort, soziale Durchmischung des Quartiers etc.). Da dies ebenfalls gesundheitsrelevante Faktoren sind, sollten diese in Therapieentscheide einfliessen. Das stellt natürlich umfangreiche Fragen in Richtung Diskriminierungspotenzial, Gefahren der Verallgemeinerung etc., wie anschliessend auch in der Diskussion festgehalten wurde.

Schliesslich sprach Glenn Cohen zu „Big Data, Predictive Analytics in Health Care, and Research Ethics”. Ihr Projekt ist folgendes: In das ärztliche Urteil fliessen die Erfahrungen des Arztes hinein, z.B. bezüglich des Risikos, ob eine gewisse Person einen Herzinfarkt erleiden könnte und deshalb in die Intensivstation verschoben werden sollte. Big Data soll zu einem prädiktiven Algorithmus führen, der das auch kann und vielleicht sogar besser kann, weil die „Erfahrungsbasis“ grösser ist. Seine Fragen sind dann: soll man die Patienten informieren, dass solche Systeme Entscheidungen anleiten (seine Antwort: nein, da analog zur ärztlichen Erfahrung)? Führt dies zu neuen möglichen Haftpflichtfällen (vermutlich Ja)? Praktische Probleme (vermutlich diverse: automatization bias: Fehlalarme können dazu führen, dass man die relevanten Fälle übersieht; Implementierungsschwierigkeiten). Und: die Rolle des Arztes dürfte sich ändern, wird dann mehr zu einem data scientist (und auch die Rolle des Patienten dürfte ändern).

Einige Gedanken zur allgemeinen Schlussdiskussion: Big Data reiht sich ein in die allgemeine Obsession, alles messen zu wollen. Vielleicht sollte es ein „Recht auf Nichtwissen“ auch auf kollektiver Ebene geben. Zudem: es wird als Problem betrachtet, dass derzeit noch viele Daten verloren gehen. Aber vielleicht ist es genauso ein Problem, wenn immer weniger Daten verloren gehen: Daten frieren soziale Kontingenz ein, welche sich im Laufe der Zeit ändern kann, d.h. es ist möglich, dass man veraltete Schlüsse zieht. Zudem ist das Erzeugen von Daten immer auch ein Lernprozess – wenn immer mehr Daten da sind, wird man weniger erzeugen und letztlich weniger über das Phänomen wissen. Ich sollte für die geplante Special Edition an Paper mit folgendem Titel vorschlagen: On the Role of Amnesis and Ignorance in the Big Data Age.

---

10.-11. März 2016 – Tarragona: Co-Utility Workshop

Ich habe vor Ort keine Notizen gemacht, hier nur einige allgemeine Eindrücke: Die ersten beiden Vorträge (von Josep Domingo-Ferrer und Dalvador Barbera) habe ich verpasst, da mein Flug erst später ankam – ebenso fast den ganzen Vortrag von Jeroen van den Hoven; er hat aber seine bekannten Themen zu Value-Sensitive Design vorgestellt. Riccardo Bonazzi hat dann ein Business Model System vorgestellt, von dem ich aber ehrlicherweise nicht genau verstanden habe, wofür es dient. Er unterstützt Start-Up-Firmen wissenschaftlich, 25% davon gibt es noch nach 5 Jahren, was vermutlich kein schlechter Wert ist. Enrique Estellas-Arolas hat dann eine Taxonomie von Crowdsourcing-Varianten vorgestellt; primär deskriptiv, aber als Übersicht interessant. Abeba Nigussie schliesslich sprkach generell über so genannte collaborative economies; eher allgemeine Erwägungen, keine neuen Einsichten.

Der zweite Tag begann mit meinem Vortrag, gefolgt von Virginia Dignum. Ihr Themenspektrum war breit, sie ging aber nicht sehr in die Tiefe. Man würde gerne wissen, wie Ihre Software-Lösungen für das Management von Autonomie in Betrieben und Institutionen aussieht. Hans-Peter Weikart hat dann ein detailliertes spieltheoretisches Modell über den Kyoto-Verhandlungsprozess vorgestellt – sehr technisch, verstehe das nicht wirklich. Dritan Osmani schliesslich sprach sehr generell über individuelle Freiheit und common good.

---

15.-16. Januar 2016 – Augst: Intelligente Agenten und das Recht

Ich habe nur den ersten Tag dieser zweitägigen Veranstaltung besucht und den ersten Vortrag von Kurt Seelmann verpasst. Dominik Herrmann (Uni Hamburg) gab danach einen Überblick über die technischen Perspektiven des maschinellen Lernens am Beispiel der Forschung zum autonomen Fahren. Die abgehandelten Themen waren (1) maschinelles Sehen (Mustererkennung und dergleichen), (2) autonomes Fahren (also Hinderniserkennung etc.) und schliesslich (3) automatisiertes entscheiden, was auch ethische Entscheidungen miteinschliessen kann. Bezüglich Punkt 1 sind heute grosse Fortschritte zu vermelden, vorab durch den Einsatz von „deep learning“ (neuronale Netze mit tausenden von Knoten). Werden grosse Bild-Sets von Verkehrszeichen genommen, sind die Systeme heute im Schnitt leistungsfähiger als der Mensch (aber immer noch statische Situationen). Interessant ist, dass man diese Systeme heute vom technischen Standpunkt aus als eine Black Box ansehen muss, man weiss nicht, wie genau sie zur Lösung kommen. Bezüglich 2 sind ebenfalls Fortschritte erkennbar – interessant wird die Sache hier, wenn die Fahrzeuge untereinander kommunizieren oder aber mit einer intelligenten Verkehrsinfrastruktur – was aber auch enorme sicherheitstechnische Probleme mit sich bringen kann (hacken etc.). Bezüglich 3 ist der Ansatz der, dass man mittels Modellen und Prognosefähigkeit versuchen will, das Auftreten ethischer Dilemmas als solche überhaupt erst zu verhindern. Gezeigt wird ein interessantes Beispiel von Google, wo das autonome Auto als einziges eine potenziell gefährliche Situation richtig erkannte (dürfte natürlich auch ein PR-Element haben, solche Beispiele zu veröffentlichen). Folien sind zugänglich auf: https://dhgo.to/mtauto

Danach folgte mit den Vorträgen von Cosima Möller (FU Berlin) und Jan Dirk Harke (Uni Würzburg) ein historischer Blick auf das römische Recht, insbesondere bezüglich Haftung bei Tieren und Sklaven - letztere gewissermassen als „Vorläufer“ (künftiger) autonomer Systeme. Möller bringt in einem Quellenpapier diverse Beispiele – so weit weg von heutigen Recht scheint die Situation nicht gewesen zu sein (z.B. Pflicht zum Vorausschauen, was der Einsatz des Tieres/Sklaven bringen kann, je „autonomer“ der Sklave gehandelt hat, desto geringer ist die Haftpflicht des „Halters“). Interessant (Harke) ist die Unterscheidung zwischen einem eigenen und einem fremden Sklaven: wenn beim Einsatz eines fremden Sklaven ein Haftpflichtfall resultiert, so ist der „Einsetzer“ verantwortlich, denn er müsste vorher abklären, welche „Eigenschaften“ der Sklave hat (z.B. ob er eine Aufgabe wirklich erledigen kann). Im Fall eines eigenen Sklaven ist die Haftung aber eingeschränkt („häusliches Schicksal“) und der Umfang der Haftung beschränkt sich auf den Wert des Sklaven, der den Haftungsfall verursacht hat (d.h. er müsste im Extremfall an den Geschädigten ausgeliefert werden). Handelt ein Sklave im Wissen des Halters, so hat der Halter volle Haftung (Sklave ist dann nur ein Werkzeug) – aber dennoch kann der Sklave später noch haftbar gemacht werden, wenn er freigelassen wird (eine interessante Konstruktion: müsste der Sklave im Auftrag seines Herrn eine schlechte Handlung machen, müsste er gewissermassen ein Veto einlegen).

Danach folgten drei Vorträge zum Themenkomplex „Verantwortlichkeit und Rechtsperson“. Zuerst hat Gerhard Seher (FU Berlin) grundsätzliches zum Begriff der Rechtsperson dargelegt – seiner Ansicht nach ist sogar der Determinismus vereinbar mit der Ansprechbarkeit für Rechtspersonen, falls diese in der Lage ist, eine rechtliche Norm als solche zu verstehen. Und nur dann gilt sie als Rechtsperson, d.h. autonome Systeme müssten diese Fähigkeit auch haben, um als Rechtspersonen gelten zu können (was bis auf weiteres wohl kaum der Fall sein werde). Zum Einsatz autonomer Systeme: Programmierfehler und Bedienungsfehler sind uninteressante Fälle (da klar ist, wie diese zu handhaben sind). Was, wenn sonst ein Problem auftritt. Kann man das als „atypischen Kausalverlauf“ ansehen? Vermutlich nicht, denn es liegt in der Natur solcher Systeme, das auch atypische Verläufe eintreffen können. Kann man Fehler auf das dazutreten Dritter zurückführen? In gewissen Fällen vielleicht schon, aber wohl nicht in der Mehrheit der Fälle. Der wahrscheinlichste Rechtsrahmen ist „erlaubtes Risiko“, d.h. analog zur Zulassung von Fahrzeugen werden technische Erfordernisse definiert – und wenn diese erfüllt sind, wird ein problematischer Fall unter dem erlaubten Risiko abgerechnet, d.h. die Gesellschaft wird akzeptieren, dass der Einsatz dieser Systeme gewisse Risiken mit sich bringen (genauso wie man beim Strassenverkehr akzeptiert, dass Unfälle auftreten können). Zur Schuldfähigkeit autonomer Systeme spricht er aus Zeitgründen nicht (seine Ansicht: sie sind nicht schuldfähig und man kann sie nicht bestrafen).

Ruth Janal (FU Berlin) spricht dann von einem anderen Beispiel: ein „autonomes“ Bewässerungssystem, das z.B. einen Wasserschaden verursacht. Hier kann es zahlreiche Fehlerquellen geben. Interessant sind hier vorab Unterschiede im nationalen Recht: Frankreich etwa kennt ein sehr weitgehendes Sachhalterprinzip (d.h. Sachhalter haftet fast in jedem Fall), Grossbritannien wiederum geht hier sehr wenig weit (im Wesentlichen nur Haftung für bestimmte Tiere), Deutschland hat ein Mittelweg. Solche Unterschiede könnten dann noch zentral werden, wenn autonome Systeme zunehmend marktfähig werden. Ein wichtiger Punkt ist auch: ist das System verkörpert (wie z.B. das autonome Bewässerungssystem) oder nicht (also nur ein Software-Agent). Ein interessanter Fall ist schliesslich Neuseeland: Hier kennt man ein „accident compensation system“, d.h. man lagert die Haftpflicht auf eine Sozialversicherung aus und es gibt keine zivilrechtliche Haftung. Vermutlich ein interessanter Weg für den Umgang mit der Haftpflicht autonomer Systeme (im Übrigen von mir bereits 2004 vorgeschlagen).

Thomas Klindt (Kanzlei Noerr) schliesslich spricht von den Herausforderungen personeller Verantwortung im Licht von Industrie 4.0, also der intelligenten Automatisierung. Grundidee ist, dass ein Werkstück mit den Maschinen kommuniziert, die das Werkstück bearbeiten. Das wird Fragen stellen im Bereich Sicherheitsrecht sowie zivil- und strafrechtliche Haftung. Kann das „alte Recht“ damit umgehen? Vermutlich nicht, meint er. Herausforderungen sind beispielsweise:

• Zurechnung in solchen Produktionsprozessen. Die Supply Chain ist nicht mehr linear, das alte Recht zertifiziert jedes Teil anhand einer solchen linearen Verknüpfung – doch wie soll das gehen, wenn gar nicht mehr so produziert wird?
• Besitz von Daten: alle sprechen von personalisierten Daten – viel interessanter ist aber: wem gehören die Daten der produzierenden Maschinen? Denken wir an Fahrzeigen: Gehören sie den Produzenten (Beispiel Haider: bei seinem Unfall war der Hersteller als einer der ersten vor Ort und hat die Daten abgezogen)? Gehören Sie dem Fahrer? Gehören Sie dem Besitzer (falls nicht gleich Fahrer)?
• Problem der Sabotagefähigkeit: IT Security wird zu einem immer wichtigeren Faktor. Welche Sicherheitsanforderungen an die Systeme sind legitim?

Insgesamt ein sehr interessanter Vortrag, der viele wichtige Fragen aufgeworfen hat.