Kritik an GSN Kritik
Es gibt Kritik an der GSN aus den Reihen des Safety Engineerings. Was ist dran an der Kritik?
Eine Kritik an GSN ist im White Paper Limitations of Safety Assurance and Goal Structuring Notation (GSN) formuliert mit Conclusio:
At best, GSN and other formatted notations for arguments add nothing except the cost of putting the argument in this form. At worst, they are misleading and dangerous and subject to confirmation bias. And simply documenting standard processes in a tree structure rather than textually provides no added value.
Das widerspricht meinen Erfahrungen und dem Bild, dass ich in Goal Structuring Notation (GSN) als Argumentationswerkzeug vermitteln möchte. Ich habe versucht die roten Fäden des Arguments des White Papers herauszuarbeiten, dies ist das Ergebnis:
Dieses Argument in strukturierter, grafischer Form vermittelt meiner Meinung nach die Kernbotschaften des White Papers in sehr kompakter Form. Für die meisten Betrachter dürfte es beim ersten Öffnen, bei erster Betrachtung, durchdacht, schlüssig und überzeugend wirken. Nachfolgend werden wir “unter die Haube schauen” und das Argument auf Stichhaltigkeit prüfen.
Confirmation Bias A
Die Annahme A5 ist plausibel, strukturierte Argumente können aufgrund ihrer Optik ansprechend wirken, unabhängig vom Wahrheitsgehalt. Sowas kauft man gern. Damit ist an der Behauptung C3 Etwas dran. Confirmation Bias ist ein kognitives Phänomän der Informationsverarbeitung und betrifft alle Arten von Informationen. Es gibt beispielsweise auch ansprechende Präsentationen, Videos und Bücher, die falsche Weltbilder fördern. Es wäre jedoch keine gute Idee diese Medien an sich zu verteufeln.
Probleme im Zusammenhang mit dem Confirmation Bias sind eine Kombination aus “falschem Informationsgehalt”, “ansprechender Vermittlung” und “unkritischer Akzeptanz”. Daher halte ich die Behauptung C3 Kontext des Arguments zwar formal für (fast) korrekt, jedoch unfair: Im Argument wird verschwiegen, dass der betroffene “ansprechende Vermittlung”-Part nur ein kleiner Baustein des Confirmation Bias Problems ist und gleichzeitig wird das weitaus wirksamste Gegenmittel, nämlich der Habitus des kritischen Hinterfragens der Information, verschwiegen.
So wird mit C3 fälschlich der Eindruck erweckt, die einzige Lösung zur Vermeidung von Confirmation Bias Problemen im Kontext wäre der Verzicht auf GSN Formatierung. Wir kommen auf das kritische Hinterfragen später zurück.
Added Value
Meiner Meinung nach sind zwei Beispiele für kompakte und zugleich aussagekräftige Argumente in der GSN Notation auf dieser Seite hier gegeben und von daher ist die Behauptung C1 ungültig (vor allem nicht in dieser pauschalen Formulierung, die über den Safety Erfahrunghorizont hinausgeht).
Putting the argument into a graphical format has been suggested as somehow better than simply writing the argument out in natural language. Unfortunately, graphical formats do not eliminate the bias and, in fact, can make it worse as the creators and readers of the argument can be biased by the fact that there is a “structure” to the argument and therefore it must be “correct.”
Jedes Argument - egal in welcher Form es in Erscheinung tritt - verwendet Elemente (wie Annahmen, Prämissen, Einschränkungen, Begründungen, Behauptungen, Evidenz, Indizien, Kontextinformationen und so weiter) und stellt Zusammenhänge dazwischen her. Das Argument hat eine inhärente “logische Struktur”, welche im Allgemeinen nichtlinear ist. Das Herauslesen der logischen Struktur aus einem linearen textuellen Argument und ebenso wie das Heraushören der logischen Struktur aus einem linearen gesprochenen Argument bedeutet kognitive und fehleranfällige Arbeit. Das gleiche gilt für das Verfassen eines Arguments und für das Einkodieren einer nichtlinearen logischen Struktur in ein lineares textuelles Argument - Wiederholungen sind typisch.
Der Mehrwert der GSN besteht darin,
- Entfall von Fehlermöglichkeiten beim Einkodieren der logischen Struktur in ein lineares Format
- Entfall von Fehlermöglichkeiten beim Herauslesen der logischen Struktur aus einem linearen Format
- eine nichtlineare logische Struktur wird greifbar, die roten Fäden werden sichtbar
- der Verfasser des Arguments setzt sich bewusster mit der logischen Struktur seines Arguments auseinander
- Angriffsflächen für Kritik werden eröffnet
- insgesamt wird dadurch eine ehrliche, direkte und energiesparende Diskussion ermöglicht
Zirkelschlüsse, sich im Kreise drehen, Herumschwafeln, Herauswinden, Aneinandervorbeireden, Kritikimmunisierung - sowas ist mit einem Argument im GSN Format unwahrscheinlich.
Induktionsproblematik
Aus der Beobachtung vieler untauglicher GSN Argumente wird die Behauptung C1 abgeleitet, die sinngemäß “das Werkzeug GSN ist grundsätzlich untauglich” aussagt. Diese Schlussfolgerung ist unzulässig, da die Beobachtung vieler untauglicher GSN Argumente ebensogut andere Ursachen haben könnte, wie etwa ein systematisch ungeschickter Umgang mit GSN-Argumenten in der Branche. Indizien dafür sind die Behauptungen C2.1.2, C2.1.3, C2.2.1 und C2.3, die wir uns jetzt näher anschauen:
- C2.1.3: Es ist eine schlechte Idee die GSN als ausschließende Alternative zu Hazard Analysen zu verwenden. Dies kann jedoch nicht der GSN angelastet werden, da sie für sich selbst nicht beansprucht ein Hazard Analysewerkzeug zu sein. Gute Hazard Analysen sind notwendig zur Erreichung von Safety, sie sind jedoch nicht hinreichend dafür: Um eine Safety Beurteilung vorzunehmen ist zusätzlich eine Argumentation erforderlich die unter anderem auch Validierungstätigkeiten umfasst. Ein Argument in GSN kann komplementär zu Hazard-Analysetechniken (wie die von der Autorin propagierten STPA) eingesetzt werden, schließlich gibt es für beide Techniken klar unterschiedliche Zweckbestimmungen. Hazard Analysen sind als Herzstück wichtig, aber zu einem gesunden Körper gehört mehr.
- C2.1.2: GSN Argumente lassen sich “right from the beginning” einsetzen, das ist sogar empfehlenswert. Die Beobachtung, dass dies nicht passiert, ist nicht der GSN anzulasten sondern einem ungeschickten Einsatz des Werkzeugs.
- C2.2.1: Aus der Behauptung “The purpose of GSN is to proof safety” spricht ein falsches Zweckverständnis, die Evidenz E6 dazu ist veraltet, sie wurde mittlerweile korrigiert im Sinne der plausiblen Annahme A4.
- C2.3: Die Behauptung benennt direkt den falschen Umgang mit GSN Argumenten: Die unkritische Übernahme von Argumenten kann nicht der GSN Notation angelastet werden.
Der 2021 erschienene GSN Standard Version 3 geht auf intendierte Zweckbestimmung und Umgang ein.
Confirmation Bias B
Die wirksamste Waffe gegen Confirmation Bias ist kritisches Hinterfragen der Information. Argumente in Textform sind dafür schwer zugänglich, da sich der Leser die Zusammenhänge zwischen den Elementen selbst zusammenreimen muss. Häufig werden verwendete Annahmen nicht klar herausgestellt. Es gibt textuelle Argumente, die durch Quantität erschlagen wollen. Es gibt auch textuelle Argumente, die herumschwurbeln oder einlullen, so dass der rote Faden oft nicht greifbar wird. In solchen Fällen treten “Glauben und Vertrauen” an Stelle echter Überzeugung. Rhetorische Kunstgriffe lassen sich gut in linear strukturierten Text (bewusst oder unbewusst) einweben.
Argumente in GSN Form lassen sich dagegen ideal hinterfragen, durch die transparente Darstellung der intendierten Zusammenhänge kann man Ungereimtheiten systematisch finden und direkt darauf zeigen, was durch Adressierung der Symbole zusätzlich erleichtert wird. Eine Oberflächliche Sichtung des Arguments reicht dafür natürlich nicht aus, man muss sich mit dem Argument schon auseinandersetzen. Das Leveson White Paper demonstriert anschaulich, wie gut das funktionieren kann.
Mindset
Das Aufbauen von Argumenten für etwas sucht nach Evidenz für die Haben-Seite, insofern ist Annahme A4 korrekt. Wenn Evidenz genannt werden kann, und durch kritisches Hinterfragen die Stichhaltigkeit geprüft wird, ist das ein sinnvolles Vorgehen.
Die in Annahme A4 formulierte Kritik hat zwei Schwachstellen. Erstens werden zwei unterschiedliche Vorgehensweisen (Hazard Analyse versus Safety Argumentation, siehe auch Kritik an C2.1.3 weiter oben) vermischt und somit fälschlich ein unangemessenes Mindset unterstellt. Zweitens ist die Suche nach Evidenz Wesensmerkmal eines jeden pro-Arguments und nicht spezifisch für GSN oder für Argumente in GSN, so wie es im White Paper suggeriert wird.
Übrigens, kritisches Hinterfragen kann und soll die systematische Suche nach Schwachstellen in der Argumentation umfassen. Das steht im Einklang mit der Forderung des White Papers systematisch nach “contradictionary evidence” zu suchen. Der 2021 erschienene GSN Standard Version 3 verwendet dafür den Begriff “Dialectic”.
Zusammenfassend
Die Kritik im White Paper hängt zusammen mit falschem Verständnis von und im Umgang mit GSN Argumenten, die Schlussfolgerung GSN liefere an sich keinen Mehrwert ist jedoch falsch. Man kann auch in einer schönen Sprache häßliche Dinge sagen - das ist keineswegs der Sprache anzulasten.
Confirmation Bias betrifft alle Arten von Information und kann durch einen Prozess des kritischen Hinterfragens und Verbesserns begegnet werden. GSN ist dafür als Werkzeug bestens geeignet, da damit - viel besser als in natürlicher Sprache - die logische Strukur von Argumenten nachvollziehbar und angreifbar herausgestellt werden kann. GSN optimiert Agumente auf “criticability”. Das ist ein immenser Mehrwert!
