Software-Evaluierung anhand von 99 Anforderungen?

In der Dosis liegt das Gift.
Ein kleines Experiment zur Informationsillusion.

Lesezeit: 21 Minuten

Sie haben es wahrscheinlich schon selbst mal gespürt: Das Gefühl, dass Sie nach dem Sammeln von mehr und mehr Informationen bei Ihrer Entscheidung dann Ihrer Sache wirklich sicher waren. Doch kann dieses Gefühl auch täuschen?

Was bringt uns ein „Meer“ an Informationen? Steigt unsere Entscheidungsqualität mit dem Umfang an eingeholter Information, wie es in der Markteffizienztheorie der Ökonomie angenommen wird?

Informationsmenge ist bedeutend für Entscheidungsqualität.

Stehen wir vor komplizierten oder komplexen Entscheidungssituationen und ist unsere Unsicherheit hoch, neigen wir zu intensiver Informationssuche. Ein neues Anwendungssystem wird gesucht? Die Liste der Anforderungen an die neue Software steigt üblicherweise sehr schnell und oft auch die Liste der Kriterien, nach denen die Auswahl zu treffen ist. Mehr Kriterien und Anforderungen erwecken fürs Erste den Eindruck, die Entscheidung würde nun besser fundiert ausfallen können. Leider sind die wenigsten der so entstandenen Spreadsheets zuverlässig. Eine scheinbar geringfügige Änderung von Gewichtungen oder auch nur einer Bewertungsskala kann ein Ergebnis umdrehen.

Manchmal saugen wir auch vor einfachen Entscheidungen eine Unmenge an unnötigen Informationen auf, doch sie sind nun mal da und leicht verfügbar. Was bringt uns ein „Meer“ an Informationen? Steigt unsere Entscheidungsqualität mit dem Umfang an eingeholter Information, wie es in der Markteffizienztheorie der Ökonomie angenommen wird?

Zur Beantwortung ein Beispiel aus der Forschung: Paul Slovic (1973)* ließ Buchmacher bei Pferderennen 88 Variablen hinsichtlich ihrer Wichtigkeit für die Prognose des Zieleinlaufs reihen. Danach wurden Untersuchungsteilnehmern 5, 10, 20 oder 40 dieser Variablen vorgelegt, um auf Basis dieser Daten das Siegerpferd zu bestimmen. Auch wurde ihre subjektive Sicherheit hinsichtlich der Richtigkeit ihrer Angaben erfasst. Was passierte? Die Richtigkeit der Prognose stieg nur zu Beginn. Mit steigendem Datenumfang fiel die Qualität der Prognose ab. Stetig mit der Informationsmenge stieg hingegen die Zuversicht der Untersuchungsteilnehmer, dass ihre Prognose zutreffend ist.

Gut, sagen Sie vielleicht, das waren halt Menschen, die auf Pferde wetten. Vielleicht ist so ein Ergebnis typisch für diese Gruppe, aber nicht auf andere übertragbar. Das dachte ich auch vor einigen Jahren und habe deshalb meine eigene, sozusagen vegan pferdefreie Version des Experiments gebaut und seither mehrfach durchgeführt.

Ein Experiment

So auch im September 2020 beim LSZ Event „Production & IT“. Eine tolle Veranstaltung mit Themen wie künstliche Intelligenz, Robotik, Automatisierung, … Ich konnte also damit rechnen, für mein Experiment Menschen befragen zu können, die beruflich mit großen Informationsmengen zu tun haben.

Die Vorbereitung war simpel: Ich habe, nicht ohne meine Gesundheit zu riskieren, alle Glasmurmeln aus einer Vase (eher ein dekoratives Arrangement meiner Frau) entleert und 102 blaue Murmeln gezählt:

Dann habe ich alle Murmeln in eine kleinere, leere Vase gefüllt, kräftig geschüttelt (nein, es ist nichts zerbrochen) und fotografiert

Wir brauchen auch noch zusätzliche Informationen über die Murmeln im Glas

Das Experiment verläuft so:

Ich zeige einzelnen Personen das Bild der Vase mit den Murmeln und ersuche sie um eine Abschätzung der Anzahl an blauen Murmeln. Ich notiere die Zahl deutlich sichtbar und frage, wie zufrieden die Person mit ihrer Schätzung ist (zu bewerten auf einer Skala von 0 bis 10).

Einer ungefähr gleichen Anzahl an Personen zeige ich ein erweitertes Bild. Im Unterschied zur ersten Personengruppe gibt es zusätzliche Informationen, die – Sie vermuten es – großteils ziemlich nutzlos sind.

Interessanterweise nehmen sich fast alle Personen die Zeit, das alles zu lesen. Danach wird geschätzt und wiederum folgt die Frage nach der Zuversicht zur eigenen Schätzung.

Nun zum Ergebnis des Experiments

(das übrigens noch nie wesentlich anders ausgesehen hat)

Die Gruppe „nur Bild“ schätzte durchschnittlich 51,5 blaue Murmeln. Die Zuversicht lag im Schnitt bei 5,1.

Die Gruppe „Bild mit 17 Informationen“ schätzte durchschnittlich 32,8 blaue Murmeln und war damit wesentlich weiter weg von der 102-blaue-Murmeln Wahrheit. Die Zuversicht lag im Schnitt beim erstaunlichen Wert von 6,9.**

Führt mehr Information zu besseren Entscheidungen? Nein.

Führt mehr Information zu besseren Entscheidungen? Nein. Zumindest nicht ab einer bestimmten Menge, denn die Informationsverarbeitung ist bei den meisten von uns auf 7±2 Elemente beschränkt. Weitere Informationen werden ignoriert oder führen zu einer Überforderung, die Entscheidungsunfähigkeit oder Verzerrungseffekten hervorruft. Hingegen steigt mit dem Informationsumfang unsere Entscheidungssicherheit. Je mehr Informationen wir einholen (ja, auch wenn wir deren Qualität wie im Experiment als niedrig erkennen), desto größer ist unsere Zuversicht, die richtige Wahl getroffen zu haben. Dieses subjektive Sicherheitsgefühl lässt uns risikofreudiger werden. Das bleibt natürlich beim Schätzen von Murmeln ohne Folgen. Aber: Wir vernachlässigen Risiken, und in wichtigen Lebensbereichen, beruflich wie privat, können in Folge Investitionssummen steigen oder Projektrisiken zunehmen. Auch sinkt mit zunehmender Informationsmenge unsere Bereitschaft, unsere Meinung zu ändern. Wir suchen nach bestätigenden Informationen und verschließen uns den Alternativen.

Digitalisierung ermöglicht uns eine wahre Informationsflut und damit die Gefahr, verzerrenden Gedächtniseffekten zu unterliegen. Je öfter wir eine gleichartige Information aufnehmen, desto leichter können wir uns an diese erinnern. Leicht abrufbare Informationen halten wir für wichtiger und glaubwürdiger. Sie bestimmen unsere Erwartungen an die Zukunft. Unsere Erwartungen an die Zukunft wiederum bestimmen unser Verhalten.

Was tun?

Mit dem Wissen über die Informationsillusion können Sie Ihre wichtigen Entscheidungen besser reflektieren. Wie viele Informationen haben Sie aufgenommen? Wie zuversichtlich sind Sie bezüglich der Entscheidungsqualität? Welche Entscheidung schlägt eine Person Ihres Vertrauens vor, der Sie nur wenige, aber wichtige Informationen zum Sachverhalt geben? Kommen wir auf das Thema Software-Evaluierung zurück: Stecken Sie erstmal Ihre Energie in Diskussionen zur Reduktion und Bündelung von Anforderungen. Zeichnen Sie Wertströme auf, um herauszufinden, welche Kriterien schlussendlich Wertschöpfung anzeigen (ITIL 4 ist dafür eine gute Quelle). Seien Sie sparsam in der Anzahl der Kriterien und prüfen Sie Ihr Evaluierungs-Instrument (das wohl ein Spreadsheet sein wird) nach wissenschaftlichen Kriterien: Ist das Instrument zuverlässig? Wurde es ausreichend getestet? Prüfen die Kriterien das, was schlussendlich zur Wertschöpfung nötig ist? Erfolgten die Bewertungen objektiv?

Wir verknüpfen mit mind4service Wissenschaft und Service Management für praktische Lösungen.

Sie wollen das erstmal risikolos ausprobieren? Dann kommen Sie zu einem „mind4service“ Kurs. Wir verknüpfen mit mind4service Wissenschaft und Service Management für praktische Lösungen. Die Grundlagen über Wertströme in einem Service Value System erhalten Sie im ITIL 4 Foundation Kurs. Und natürlich unterstützen wir Sie gerne als Ratgeber beim Überwinden der Informationsflut.

Richard Friedl vor seinem Vortrag über mind4service bei Service Space 2016
Über den Autor:

Richard Friedl, MA ist leidenschaftlicher Sprecher. Und Zuhörer. Seit mehr als 30 Jahren im Service Management tätig hat er immer noch die Vorstellung des idealen “Miteinander”. Darüber spricht er in Vorträgen, davon erzählt er in Kursen, das beschreibt er in seinen Blogbeiträgen. Nebenbei fährt er leidenschaftlich gerne Motorrad, reist gerne zu Konzerten und zu interessanten Tauchgebieten.