Workshopergebnisse einzeln konsolidieren, nicht zu einer Stichprobe vermischen

Ein angenommener Verbund lässt die Krisenvorsorge in vier Workshops bewerten, jeweils mit anderer Gruppenzusammensetzung und anderem Kontext. Für die Abschlusspräsentation werden alle Einzelwertungen in eine gemeinsame Auswertung übernommen. Die Hoffnung ist, dass die größere Stichprobe das Ergebnis belastbarer macht. Tatsächlich geschieht das Gegenteil.

Unser veröffentlichtes Working Paper „Bewertung von organisationaler Krisen-Resilienz anhand des Resilienzrisikoreifegrades“ (Rico Kerstan und André Röhl, NBS Northern Business School, Nr. 1/2025) beschreibt den Grund: Die Bewertungen der Workshops wurden zwar methodisch gleich erhoben, doch Kontext und Gruppenzusammensetzung wichen voneinander ab. Das Zusammenfassen aller Bewertungen zu einer größeren Stichprobe vergrößert die Varianz und verwischt Priorisierung und Differenzierung. Vergleichbarkeit zwischen und innerhalb von Organisationen entsteht durch konsolidierte Einzelergebnisse von Expertenworkshops, nicht durch die Gesamtheit aller Einzelbewertungen.

Meine Empfehlung für die Programmsteuerung lautet deshalb: Jeder Workshop bleibt eine eigene Auswertungseinheit. Konsolidieren heißt hier, die Einzelbewertungen eines Workshops mit ihren Begründungen zusammenzuführen und zu einem begründeten gemeinsamen Ergebnis zu verdichten; plausibilisieren heißt, dieses Ergebnis an den Szenariobeschreibungen und den festgehaltenen Begründungen zu prüfen. In jedem Einzelbericht werden Zusammensetzung der Gruppe und betrachteter Kontext festgehalten; erst auf dieser Grundlage ist ein späterer Vergleich belastbar. Die übergreifende Zusammenschau vergleicht die konsolidierten Befunde, nicht die rohen Skalenwerte – etwa welche Szenarien in mehreren Workshops ein hohes Resilienzrisiko zeigen, also ein ungünstiges Verhältnis von Eintrittswahrscheinlichkeit und Schadensausmaß zu Widerstands- und Bewältigungsfähigkeit, oder wie sich Risiken zwischen Szenarien innerhalb der Organisation und Szenarien in ihrem Umfeld verteilen. Herangezogen werden dafür die Begründungen, die in den Einzelberichten festgehalten wurden.

Der Verzicht auf eine gepoolte Gesamtauswertung ist kein Genauigkeitsverlust. Das Verfahren ist ohnehin qualitativ, subjektiv und nur in sich konsistent; es beansprucht keine objektive Messung. Wer gleichwohl eine einzige Kennzahl über alle Workshops bildet, erweckt den Anschein statistischer Belastbarkeit, den die Datenlage nicht trägt.

Für ein Bewertungsprogramm sollte deshalb vorab festgelegt werden, wie jeder Workshop konsolidiert wird und wie die Einzelergebnisse übergreifend verglichen werden – und dass keine Gesamtstichprobe gebildet wird.