Fair Exam Prinzip

Fair Exam Prinzip

Die ICO veröffentlicht ihre Prüfungsfragen, und die Prüfung bleibt trotzdem eine echte Wissensprüfung. Möglich macht das das Fair-Exam-Prinzip. Es wurde von der ICO entwickelt; uns ist kein anderer Personenzertifizierer bekannt, der so prüft. Diese Seite erklärt es in vier Schritten:

  1. Das Problem: die Jagd nach den echten Fragen.
  2. Die Grundlage: wie ein Themengebiet und eine Prüfung aufgebaut sind.
  3. Der statistische Clou: wie jede Prüfung zusammengestellt wird.
  4. Die Lösung: das Fair-Exam-Prinzip und wie Sie sich damit vorbereiten.

1. Das Problem: die Jagd nach den echten Fragen

Der Zertifizierer kennt die echten Fragen und Antworten; Prüfungsteilnehmer wollen sie kennen, um zu bestehen, Trainer und akkreditierte Trainingsorganisationen (ATO), um vorzubereiten

Typische Klagen bei klassischen Prüfungen lauten:

„Probeprüfung und echte Prüfung sind nicht vergleichbar.“

„Die Probeprüfung ist viel leichter.“

„Das haben wir in der Schulung nicht besprochen.“

Hinzu kommt ein Problem im Aufbau der klassischen Einfachauswahl. Dort steht eine richtige Antwort neben drei falschen, den sogenannten Distraktoren. Wer solche Fragen übt, lernt immer auch die falschen Antworten mit: „Das ist falsch, das ist falsch, das ist falsch.“ Ist eine feste Fragenbank samt Lösungsschlüssel vollständig bekannt, kann bloßes Wiedererkennen zum Bestehen genügen. Deshalb halten Zertifizierer ihre Fragen in der Regel geheim, und genau das löst die Jagd aus.

2. Die Grundlage: der Aufbau eines Themengebiets

Prüfungs- und Rollenzertifikate

Ein Themengebiet umfasst mehrere Prüfungen. Für jede bestandene Prüfung gibt es ein Prüfungszertifikat, je nach Stufe FND (Foundation), PRO (Advanced) oder EXPR (Expert), wo angeboten. Ein Rollenzertifikat verbindet mehrere Prüfungszertifikate zu einer beruflichen Rolle. Verantwortlich für ein Themengebiet ist die ICO als Eigentümerin des Zertifizierungsprogramms (Scheme Owner). Die Fragen erstellt der Prüfungsausschuss mit Fachleuten für das jeweilige Themengebiet (siehe Grundsätze).

Die Namen folgen einem festen Muster:

  • Prüfungszertifikat: ICO + Themengebiet + Stufe, zum Beispiel „ICO ISMS 27001:2022 FND“. Statt einer Stufe kann ein Schwerpunkt stehen, etwa „NIS2 Security Compliance“.
  • Rollenzertifikat: ICO + Themengebiet + Rolle, zum Beispiel „ICO ISMS Auditor“. Ein Zusatz wie „nach ISO/IEC 27001:2022“ beschreibt, auf welche Norm sich das Zertifikat bezieht; er gehört nicht zum Namen.

Themengebiet ICO ISMS 27001:2022: Die Prüfungen FND und PRO führen zum ISMS Security Officer; mit NIS2 Security Compliance zum ISMS & NIS2 Expert; mit AMS 19011:2018 FND und PRO zum ISMS Auditor

Jede Prüfung hat ihr eigenes Format. Im Themengebiet ISMS 27001:2022:

Prüfung Dauer Fragen Bestehensgrenze Schwierigkeitsgrad
ICO ISMS 27001:2022 FND 45 Min. 30 60 % leicht
ICO ISMS 27001:2022 PRO 100 Min. 50 60 % mittel
ICO ISMS 27001:2022 NIS2 Security Compliance 30 Min. 20 60 % leicht

Der Schwierigkeitsgrad einer Prüfung legt fest, wie viele Antworten je Frage angezeigt werden. Er sagt nichts darüber, wie leicht oder schwer eine einzelne Frage ist (siehe Grundsatz 6):

Schwierigkeitsgrad Angezeigte Antworten je Frage
leicht bei allen Fragen 3
mittel bei der Hälfte der Fragen 3, bei der anderen Hälfte 4
schwer bei allen Fragen 4

Eine, mehrere oder alle angezeigten Antworten können richtig sein. Je mehr Antworten angezeigt werden, desto mehr Antwortmuster sind möglich und desto weniger hilft Raten (siehe „Raten lohnt sich nicht“).

Lehrplan, Kapitel und Gewichtung

Jede Prüfung hat einen Lehrplan, gegliedert in gewichtete Kapitel; die Gewichtungen ergeben zusammen 100 %. Alles, was Sie zur richtigen Beantwortung einer Frage brauchen, steht im zugehörigen Kapitel oder in einer dort verlinkten, öffentlich zugänglichen Quelle. Die Kapitelgewichtungen in der Grafik sind beispielhaft.

Aufbau einer Prüfung: Das Prüfungszertifikat hat einen Lehrplan, der Lehrplan gewichtete Kapitel, jedes Kapitel Fragen, jede Frage einen Antwortpool aus richtigen und falschen Antworten

Die Gewichtung eines Kapitels bestimmt, wie viele Fragen aus ihm in der Prüfung stammen, und gibt eine Orientierung für die empfohlene Unterrichtszeit. Für ein Kapitel mit 5 % heißt das:

  • In der Prüfung: 30 Fragen × 5 % = 1,5, also stammen 1 oder 2 Fragen aus diesem Kapitel.
  • In der Schulung: Bei 2 Tagen (2 × 8 Einheiten × 45 Minuten = 720 Minuten) ergibt das 720 × 5 % = 36 Minuten, also rund eine halbe Stunde empfohlene Unterrichtszeit. Bei 3 Tagen (1.080 Minuten) sind es 54 Minuten, also rund eine Stunde. Zeitangaben werden auf die Viertelstunde gerundet.

Die Unterrichtszeiten sind nur Empfehlungen. Wie, in welcher Reihenfolge und in welcher Zeit geschult wird, entscheidet die akkreditierte Trainingsorganisation (ATO) selbst; eine Agenda ist nicht vorgegeben. Sind die Teilnehmer schon vorgebildet, kann die Schulung auch kürzer sein, und man kann sich ebenso auf anderen Wegen vorbereiten, etwa im Selbststudium.

Wie weit die Fragenzahl je Kapitel von der Gewichtung abweichen darf, regelt die Prüfungsordnung in Abschnitt 4.4.

3. Der statistische Clou: wie jede Prüfung zusammengestellt wird

Eine Frage, ein Pool, viele Zusammenstellungen

Zu jeder Frage gehört ein Antwortpool aus richtigen und falschen Antworten. Die angezeigten Antworten können für jede Prüfung und jeden Probesatz neu zusammengestellt werden. Ein Beispiel, nur zur Veranschaulichung und keine echte Prüfungsfrage:

Frage: Was muss die Erklärung zur Anwendbarkeit (Statement of Applicability) nach ISO/IEC 27001:2022 enthalten?

Antwort Wo es steht
A die erforderlichen Maßnahmen richtig 6.1.3 d)
B die Begründung, warum diese Maßnahmen aufgenommen wurden richtig 6.1.3 d)
C die Angabe, ob die erforderlichen Maßnahmen umgesetzt sind oder nicht richtig 6.1.3 d)
D die Begründung für den Ausschluss von Maßnahmen aus Anhang A richtig 6.1.3 d)
E auch erforderliche Maßnahmen, die noch nicht umgesetzt sind richtig 6.1.3 d)
F auch erforderliche Maßnahmen, die nicht aus Anhang A stammen richtig 6.1.3 b) bis d)
G nur die Maßnahmen aus Anhang A, die bereits umgesetzt sind falsch 6.1.3 d)
H die Zustimmung der Risikoeigentümer zum Risikobehandlungsplan falsch verlangt 6.1.3 f)
I die Informationssicherheitspolitik falsch zu dokumentieren nach 5.2
J die Ergebnisse der Informationssicherheitsrisikobeurteilung falsch zu dokumentieren nach 8.2
K den Anwendungsbereich des ISMS falsch zu dokumentieren nach 4.3
L die Informationssicherheitsziele falsch zu dokumentieren nach 6.2

So führt der Weg zur Antwort. Ein Lehrplankapitel dazu könnte so aussehen:

Kapitel: Risikobehandlung (beispielhaft)

Quelle: ISO/IEC 27001:2022, Abschnitt 6.1.3 Informationssicherheitsrisikobehandlung

Wer dort nachschlägt, findet die richtigen Inhalte und erkennt damit auch jede falsche Antwort, ohne sie je gesehen zu haben. Die Grafik zeigt vier der 200 möglichen Sätze dieser Frage. Satz 1 und 2 sind als Probesätze veröffentlicht. Ein veröffentlichter Probesatz wird nicht als Prüfung eingesetzt. Wird eine Prüfung neu zusammengestellt, ist es bei dieser Zahl an Möglichkeiten ohnehin praktisch ausgeschlossen, dass sie zufällig genau einem Probesatz gleicht (siehe „Der Abstand zweier Sätze: das Delta“). Das Delta gibt an, wie viele der angezeigten Antworten sich gegenüber Satz 1 unterscheiden.

Aus einem Pool von 6 richtigen und 6 falschen Antworten zeigen Satz 1 bis 4 jeweils drei Antworten; Satz 1 und 2 sind als Probesätze veröffentlicht; das Delta zu Satz 1 beträgt 2, 3 und 1; insgesamt sind 200 Sätze möglich

Wie viele Zusammenstellungen es gibt

Die Zahl der möglichen Sätze einer Frage ist die Zahl aller Möglichkeiten, k Antworten aus dem Pool zu ziehen, minus die Möglichkeiten, die nur falsche Antworten enthalten:

Anzahl = n über k minus f über k = n! / (k! (n − k)!) − f! / (k! (f − k)!); n = Antworten im Pool, f = falsche Antworten im Pool, k = angezeigte Antworten je Frage; Ist f kleiner als k, ist f über k gleich 0; Beispiel: 12 über 3 minus 6 über 3 = 220 − 20 = 200

Mit der Poolgröße wächst die Zahl schnell (je zur Hälfte richtige und falsche Antworten):

Antworten im Pool 6 8 10 12 14 16 18
3 angezeigt 19 52 110 200 329 504 732
4 angezeigt 15 69 205 480 966 1.750 2.934

Eine Prüfung besteht aus vielen Fragen, und die Zahlen multiplizieren sich. Für eine Prüfung mit 30 Fragen, die alle denselben Pool haben, ergeben sich bei denselben Fragen so viele verschiedene Prüfungen:

Pool je Frage 3 angezeigt 4 angezeigt
3 richtige + 3 falsche 19³⁰ ≈ 2,3 × 10³⁸, rund 230 Sextillionen 15³⁰ ≈ 1,9 × 10³⁵, rund 190 Quintilliarden
4 richtige + 4 falsche 52³⁰ ≈ 3,0 × 10⁵¹, rund 3 Oktilliarden 69³⁰ ≈ 1,5 × 10⁵⁵, rund 15 Nonillionen
6 richtige + 6 falsche 200³⁰ ≈ 1,1 × 10⁶⁹, rund 1 Undezilliarde 480³⁰ ≈ 2,7 × 10⁸⁰, rund 270 Tredezillionen

Zum Vergleich: Eine Milliarde hat 10 Stellen, 200³⁰ hat 70. Eingeordnet zwischen bekannte Größen (Schätzungen, gerundet):

Was Anzahl
Sandkörner an den Stränden der Erde ≈ 7,5 × 10¹⁸, rund 7,5 Trillionen
Sterne im beobachtbaren Universum ≈ 10²² bis 10²⁴, 10 Trilliarden bis 1 Quadrillion
Prüfungen, Pool 3 + 3, 3 angezeigt ≈ 2,3 × 10³⁸
Atome der Erde ≈ 1,3 × 10⁵⁰, rund 130 Oktillionen
Prüfungen, Pool 4 + 4, 3 angezeigt ≈ 3,0 × 10⁵¹
Prüfungen, Pool 6 + 6, 3 angezeigt ≈ 1,1 × 10⁶⁹
Atome im beobachtbaren Universum ≈ 10⁸⁰, rund 100 Tredezillionen
Prüfungen, Pool 6 + 6, 4 angezeigt ≈ 2,7 × 10⁸⁰

Schon beim kleinsten Pool gibt es mehr mögliche Prüfungen als Sterne im Universum. Die Werte zählen nur, welche Antworten angezeigt werden, nicht ihre Reihenfolge. Sie sind theoretische Obergrenzen, denn die gesteuerte Verteilung (siehe unten) schließt einen Teil dieser Zusammenstellungen aus.

Der Abstand zweier Sätze: das Delta

Das Delta zweier Sätze gibt für eine Frage an, wie viele der angezeigten Antworten sich unterscheiden. Bei 3 angezeigten Antworten liegt es zwischen 0 (dieselben Antworten) und 3 (keine gemeinsame Antwort), bei 4 angezeigten zwischen 0 und 4. Ist der Pool klein, liegt das Höchstdelta darunter: Bei 6 Antworten im Pool und 4 angezeigten haben zwei Sätze immer mindestens 2 Antworten gemeinsam, das Delta ist also höchstens 2. Für eine ganze Prüfung werden die Deltas aller Fragen addiert; bei 30 Fragen mit 3 angezeigten Antworten ist das größtmögliche Delta also 90.

Werden zwei Sätze zufällig gezogen, ist das Delta einer Frage beim Pool oben (6 richtige + 6 falsche, 3 angezeigt) so verteilt:

Delta 0 1 2 3
Wahrscheinlichkeit 0,5 % 12,6 % 49,0 % 37,9 %

Am wahrscheinlichsten ist ein Delta von 2, im Mittel sind es 2,24. Für eine Prüfung mit 30 Fragen:

Pool je Frage angezeigt Ø Delta je Frage Ø Delta der Prüfung (von höchstens) Ø Fragen mit gleichen Antworten
3 richtige + 3 falsche 3 1,50 45 von 90 1,6 von 30
3 richtige + 3 falsche 4 1,33 40 von 60 2,0 von 30
4 richtige + 4 falsche 3 1,87 56 von 90 0,6 von 30
4 richtige + 4 falsche 4 2,00 60 von 120 0,4 von 30
6 richtige + 6 falsche 3 2,24 67 von 90 0,15 von 30
6 richtige + 6 falsche 4 2,67 80 von 120 0,06 von 30

Das wahrscheinlichste Delta der ganzen Prüfung liegt jeweils beim gerundeten Mittelwert. Dass zwei zufällige Sätze in allen 30 Fragen dieselben Antworten zeigen, also ein Delta von 0 haben, ist so unwahrscheinlich wie ein Treffer unter allen möglichen Prüfungen oben, beim Pool 6 + 6 mit 3 angezeigten Antworten 1 zu 200³⁰. Annahmen: Beide Sätze werden unabhängig gezogen, jede Zusammenstellung ist gleich wahrscheinlich, die gesteuerte Verteilung ist nicht berücksichtigt.

Gesteuerte Verteilung

Bei 3 angezeigten Antworten gibt es 7 Muster: alle drei richtig, zwei richtig (3 Muster) oder eine richtig (3 Muster). Die ICO achtet beim Zusammenstellen darauf, dass die Muster gleichmäßig verteilt sind. Bei 30 Fragen heißt das:

Richtige unter den 3 angezeigten Antworten Fragen
alle 3 rund 4
2 rund 13
1 rund 13

Damit kommt jedes einzelne Muster etwa gleich oft vor, und die Positionen der Antworten werden gemischt. Auf ein Antwortmuster zu setzen, lohnt sich nicht.

Probesätze zeigen nur einen Ausschnitt

Mit Probesätzen können Sie üben. Sie zeigen Ihnen einige der falschen Antworten, aber sie garantieren keinen vollständigen Überblick. Die echte Prüfung kann jederzeit eine falsche Antwort anzeigen, die Sie noch nie gesehen haben.

Raten lohnt sich nicht

Gewertet wird nur die vollständig richtige Auswahl: 1 Punkt, sonst 0 Punkte, ohne Teilpunkte und ohne Abzüge. So zählt jede Frage in jeder Zusammenstellung gleich viel, und die Gewichtung aus dem Lehrplan bleibt erhalten. Die verbindlichen Bewertungsregeln stehen in der Prüfungsordnung, Abschnitt 4.5.

Wahrscheinlichkeit, eine einzelne Frage durch Raten richtig zu beantworten:

Fragetyp Rechnung Wahrscheinlichkeit
Einfachauswahl, 3 Antworten, genau 1 richtig 1/3 rund 33 %
Einfachauswahl, 4 Antworten, genau 1 richtig 1/4 25 %
ICO, 3 Antworten, mindestens 1 richtig 1/(2³ − 1) = 1/7 rund 14 %
ICO, 4 Antworten, mindestens 1 richtig 1/(2⁴ − 1) = 1/15 rund 7 %

Über eine ganze Prüfung wird der Abstand riesig. Wahrscheinlichkeit, eine Prüfung mit 60 % Bestehensgrenze durch reines Raten zu bestehen:

Prüfung Einfachauswahl, 1 aus 4 ICO, 3 angezeigt ICO, 4 angezeigt
30 Fragen 1 zu rund 20.000 1 zu rund 107 Millionen 1 zu rund 37 Billionen
50 Fragen 1 zu rund 6,1 Millionen 1 zu rund 9,3 Billionen 1 zu rund 15 Trilliarden

Annahmen: rein theoretische Werte, keine Prüfungsdaten; jede Frage wird unabhängig blind geraten; mindestens eine angezeigte Antwort ist richtig; bei ICO wird eines der möglichen Antwortmuster gleich wahrscheinlich gewählt. Wer bei 30 Fragen mit jeweils 3 angezeigten Antworten immer dasselbe Muster markiert, etwa stets nur die erste Antwort, beantwortet bei der gesteuerten Verteilung der sieben Muster nur 4 oder 5 Fragen vollständig richtig. Die Bestehensgrenze von 18 ist so nie erreichbar.

4. Die Lösung: das Fair-Exam-Prinzip

Wer die Frage kennt, kennt bei der ICO noch nicht die Antwort. Deshalb kann die ICO ihre Fragen veröffentlichen, und damit verschiebt sich, was sich zu lernen lohnt:

  • Die richtigen Antworten sind erschließbar. Alle richtigen Antworten lassen sich indirekt finden: über die Schulungsunterlagen, den Lehrplan oder die zugrunde liegende Norm.
  • Falsche Antworten auswendig zu lernen ist keine verlässliche Vorbereitung. Die Antworten können für jede Prüfung neu zusammengestellt werden, und die Zahl der möglichen Zusammenstellungen ist riesig. Wer sich Distraktoren merkt, gewinnt wenig.
  • Die Frage zu kennen hilft beim Lernen. Sie wissen, wonach gefragt wird, können gezielt nachschlagen und sich aktiv vorbereiten.

Was Ihnen in jeder Zusammenstellung hilft, ist allein das Wissen, welche Aussagen richtig sind.

So bereiten Sie sich aktiv vor

  1. Frage ansehen. Sie wissen, welche Themen drankommen und wonach gefragt wird.
  2. Nachschlagen. Im zugehörigen Kapitel des Lehrplans, in den Schulungsunterlagen oder in der Norm finden Sie heraus, was richtig ist, wie im Beispiel oben in Abschnitt 6.1.3.
  3. Verstehen. Sie lernen den Inhalt, nicht eine Liste von Antworten.
  4. Prüfen, wo Sie stehen. Mit einem oder mehreren Probesätzen testen Sie, ob Sie die Frage auch mit anderen Antworten sicher beantworten.

Die Grundsätze

  1. In Prüfungen werden ausschließlich freigegebene Fragen eingesetzt. Für jedes Themengebiet erstellt ein Mitglied des Prüfungsausschusses eine Frage, ein anderes Mitglied gibt sie frei; beides geschieht mit KI-Unterstützung. Der Prüfungsausschuss ist dafür verantwortlich, dass jede eingesetzte Frage so freigegeben ist.
  2. Jede freigegebene Frage muss mindestens 3 richtige und 3 falsche Antworten haben.
  3. Die freigegebenen Fragen eines aktiven Prüfungszertifikats sollen im Durchschnitt mehr als 5 richtige und mehr als 5 falsche Antworten haben.
  4. Alles, was zur richtigen Beantwortung einer Frage nötig ist, steht im zugehörigen Kapitel des Lehrplans oder in einer dort verlinkten, öffentlich zugänglichen Quelle.
  5. Durch Raten soll eine freigegebene Frage in höchstens 15 % der Fälle richtig beantwortet werden.
  6. Beantworten Prüfungsteilnehmer, die sich mit Schulung oder im Selbststudium vorbereitet haben, eine Frage zu oft falsch, wird sie überprüft und verbessert. Zu oft heißt: bei einer leichten Frage in mehr als 3 % der Fälle, bei einer mittleren in mehr als 10 % und bei einer schweren in mehr als 20 %.
  7. Jede vollständig richtig beantwortete Frage gibt einen Punkt. Eine Frage gilt als falsch beantwortet, wenn eine falsche Antwort markiert ist oder nicht alle richtigen markiert sind; dann gibt es 0 Punkte, aber keinen Abzug und keine Teilpunkte.
  8. Alle eingesetzten Fragen sind veröffentlicht, auch wenn nicht jede veröffentlichte Frage in einem Prüfungssatz verwendet wird.
  9. Alle richtigen Antworten lassen sich im verlinkten Kapitel des Lehrplans nachschlagen (Lerneffekt).
  10. Einige, aber nicht alle falschen Antworten sind bekannt, zum Beispiel aus Probesätzen.

Verbindlich sind die Regeln der Prüfungsordnung.

Die Jagd endet

Beim Fair-Exam-Prinzip gibt es nichts mehr zu jagen. Prüfungsteilnehmer, Trainer und akkreditierte Trainingsorganisationen (ATO) kennen die Themen und die Fragen und können sich offen und gezielt vorbereiten. Bestehen kann, wer weiß, was richtig ist. Genau das bestätigt ein ICO-Zertifikat.