Fair Exam Prinzip
Die ICO veröffentlicht ihre Prüfungsfragen, und die Prüfung bleibt trotzdem eine echte Wissensprüfung. Möglich macht das das Fair-Exam-Prinzip. Es wurde von der ICO entwickelt; uns ist kein anderer Personenzertifizierer bekannt, der so prüft. Diese Seite erklärt es in vier Schritten:
- Das Problem: die Jagd nach den echten Fragen.
- Die Grundlage: wie ein Themengebiet und eine Prüfung aufgebaut sind.
- Der statistische Clou: wie jede Prüfung zusammengestellt wird.
- Die Lösung: das Fair-Exam-Prinzip und wie Sie sich damit vorbereiten.
1. Das Problem: die Jagd nach den echten Fragen
Typische Klagen bei klassischen Prüfungen lauten:
„Probeprüfung und echte Prüfung sind nicht vergleichbar.“
„Die Probeprüfung ist viel leichter.“
„Das haben wir in der Schulung nicht besprochen.“
Hinzu kommt ein Problem im Aufbau der klassischen Einfachauswahl. Dort steht eine richtige Antwort neben drei falschen, den sogenannten Distraktoren. Wer solche Fragen übt, lernt immer auch die falschen Antworten mit: „Das ist falsch, das ist falsch, das ist falsch.“ Ist eine feste Fragenbank samt Lösungsschlüssel vollständig bekannt, kann bloßes Wiedererkennen zum Bestehen genügen. Deshalb halten Zertifizierer ihre Fragen in der Regel geheim, und genau das löst die Jagd aus.
2. Die Grundlage: der Aufbau eines Themengebiets
Prüfungs- und Rollenzertifikate
Ein Themengebiet umfasst mehrere Prüfungen. Für jede bestandene Prüfung gibt es ein Prüfungszertifikat, je nach Stufe FND (Foundation), PRO (Advanced) oder EXPR (Expert), wo angeboten. Ein Rollenzertifikat verbindet mehrere Prüfungszertifikate zu einer beruflichen Rolle. Verantwortlich für ein Themengebiet ist die ICO als Eigentümerin des Zertifizierungsprogramms (Scheme Owner). Die Fragen erstellt der Prüfungsausschuss mit Fachleuten für das jeweilige Themengebiet (siehe Grundsätze).
Die Namen folgen einem festen Muster:
- Prüfungszertifikat: ICO + Themengebiet + Stufe, zum Beispiel „ICO ISMS 27001:2022 FND“. Statt einer Stufe kann ein Schwerpunkt stehen, etwa „NIS2 Security Compliance“.
- Rollenzertifikat: ICO + Themengebiet + Rolle, zum Beispiel „ICO ISMS Auditor“. Ein Zusatz wie „nach ISO/IEC 27001:2022“ beschreibt, auf welche Norm sich das Zertifikat bezieht; er gehört nicht zum Namen.
Jede Prüfung hat ihr eigenes Format. Im Themengebiet ISMS 27001:2022:
| Prüfung | Dauer | Fragen | Bestehensgrenze | Schwierigkeitsgrad |
|---|---|---|---|---|
| ICO ISMS 27001:2022 FND | 45 Min. | 30 | 60 % | leicht |
| ICO ISMS 27001:2022 PRO | 100 Min. | 50 | 60 % | mittel |
| ICO ISMS 27001:2022 NIS2 Security Compliance | 30 Min. | 20 | 60 % | leicht |
Der Schwierigkeitsgrad einer Prüfung legt fest, wie viele Antworten je Frage angezeigt werden. Er sagt nichts darüber, wie leicht oder schwer eine einzelne Frage ist (siehe Grundsatz 6):
| Schwierigkeitsgrad | Angezeigte Antworten je Frage |
|---|---|
| leicht | bei allen Fragen 3 |
| mittel | bei der Hälfte der Fragen 3, bei der anderen Hälfte 4 |
| schwer | bei allen Fragen 4 |
Eine, mehrere oder alle angezeigten Antworten können richtig sein. Je mehr Antworten angezeigt werden, desto mehr Antwortmuster sind möglich und desto weniger hilft Raten (siehe „Raten lohnt sich nicht“).
Lehrplan, Kapitel und Gewichtung
Jede Prüfung hat einen Lehrplan, gegliedert in gewichtete Kapitel; die Gewichtungen ergeben zusammen 100 %. Alles, was Sie zur richtigen Beantwortung einer Frage brauchen, steht im zugehörigen Kapitel oder in einer dort verlinkten, öffentlich zugänglichen Quelle. Die Kapitelgewichtungen in der Grafik sind beispielhaft.
Die Gewichtung eines Kapitels bestimmt, wie viele Fragen aus ihm in der Prüfung stammen, und gibt eine Orientierung für die empfohlene Unterrichtszeit. Für ein Kapitel mit 5 % heißt das:
- In der Prüfung: 30 Fragen × 5 % = 1,5, also stammen 1 oder 2 Fragen aus diesem Kapitel.
- In der Schulung: Bei 2 Tagen (2 × 8 Einheiten × 45 Minuten = 720 Minuten) ergibt das 720 × 5 % = 36 Minuten, also rund eine halbe Stunde empfohlene Unterrichtszeit. Bei 3 Tagen (1.080 Minuten) sind es 54 Minuten, also rund eine Stunde. Zeitangaben werden auf die Viertelstunde gerundet.
Die Unterrichtszeiten sind nur Empfehlungen. Wie, in welcher Reihenfolge und in welcher Zeit geschult wird, entscheidet die akkreditierte Trainingsorganisation (ATO) selbst; eine Agenda ist nicht vorgegeben. Sind die Teilnehmer schon vorgebildet, kann die Schulung auch kürzer sein, und man kann sich ebenso auf anderen Wegen vorbereiten, etwa im Selbststudium.
Wie weit die Fragenzahl je Kapitel von der Gewichtung abweichen darf, regelt die Prüfungsordnung in Abschnitt 4.4.
3. Der statistische Clou: wie jede Prüfung zusammengestellt wird
Eine Frage, ein Pool, viele Zusammenstellungen
Zu jeder Frage gehört ein Antwortpool aus richtigen und falschen Antworten. Die angezeigten Antworten können für jede Prüfung und jeden Probesatz neu zusammengestellt werden. Ein Beispiel, nur zur Veranschaulichung und keine echte Prüfungsfrage:
Frage: Was muss die Erklärung zur Anwendbarkeit (Statement of Applicability) nach ISO/IEC 27001:2022 enthalten?
| Antwort | Wo es steht | ||
|---|---|---|---|
| A | die erforderlichen Maßnahmen | richtig | 6.1.3 d) |
| B | die Begründung, warum diese Maßnahmen aufgenommen wurden | richtig | 6.1.3 d) |
| C | die Angabe, ob die erforderlichen Maßnahmen umgesetzt sind oder nicht | richtig | 6.1.3 d) |
| D | die Begründung für den Ausschluss von Maßnahmen aus Anhang A | richtig | 6.1.3 d) |
| E | auch erforderliche Maßnahmen, die noch nicht umgesetzt sind | richtig | 6.1.3 d) |
| F | auch erforderliche Maßnahmen, die nicht aus Anhang A stammen | richtig | 6.1.3 b) bis d) |
| G | nur die Maßnahmen aus Anhang A, die bereits umgesetzt sind | falsch | 6.1.3 d) |
| H | die Zustimmung der Risikoeigentümer zum Risikobehandlungsplan | falsch | verlangt 6.1.3 f) |
| I | die Informationssicherheitspolitik | falsch | zu dokumentieren nach 5.2 |
| J | die Ergebnisse der Informationssicherheitsrisikobeurteilung | falsch | zu dokumentieren nach 8.2 |
| K | den Anwendungsbereich des ISMS | falsch | zu dokumentieren nach 4.3 |
| L | die Informationssicherheitsziele | falsch | zu dokumentieren nach 6.2 |
So führt der Weg zur Antwort. Ein Lehrplankapitel dazu könnte so aussehen:
Kapitel: Risikobehandlung (beispielhaft)
Quelle: ISO/IEC 27001:2022, Abschnitt 6.1.3 Informationssicherheitsrisikobehandlung
Wer dort nachschlägt, findet die richtigen Inhalte und erkennt damit auch jede falsche Antwort, ohne sie je gesehen zu haben. Die Grafik zeigt vier der 200 möglichen Sätze dieser Frage. Satz 1 und 2 sind als Probesätze veröffentlicht. Ein veröffentlichter Probesatz wird nicht als Prüfung eingesetzt. Wird eine Prüfung neu zusammengestellt, ist es bei dieser Zahl an Möglichkeiten ohnehin praktisch ausgeschlossen, dass sie zufällig genau einem Probesatz gleicht (siehe „Der Abstand zweier Sätze: das Delta“). Das Delta gibt an, wie viele der angezeigten Antworten sich gegenüber Satz 1 unterscheiden.
Wie viele Zusammenstellungen es gibt
Die Zahl der möglichen Sätze einer Frage ist die Zahl aller Möglichkeiten, k Antworten aus dem Pool zu ziehen, minus die Möglichkeiten, die nur falsche Antworten enthalten:
Mit der Poolgröße wächst die Zahl schnell (je zur Hälfte richtige und falsche Antworten):
| Antworten im Pool | 6 | 8 | 10 | 12 | 14 | 16 | 18 |
|---|---|---|---|---|---|---|---|
| 3 angezeigt | 19 | 52 | 110 | 200 | 329 | 504 | 732 |
| 4 angezeigt | 15 | 69 | 205 | 480 | 966 | 1.750 | 2.934 |
Eine Prüfung besteht aus vielen Fragen, und die Zahlen multiplizieren sich. Für eine Prüfung mit 30 Fragen, die alle denselben Pool haben, ergeben sich bei denselben Fragen so viele verschiedene Prüfungen:
| Pool je Frage | 3 angezeigt | 4 angezeigt |
|---|---|---|
| 3 richtige + 3 falsche | 19³⁰ ≈ 2,3 × 10³⁸, rund 230 Sextillionen | 15³⁰ ≈ 1,9 × 10³⁵, rund 190 Quintilliarden |
| 4 richtige + 4 falsche | 52³⁰ ≈ 3,0 × 10⁵¹, rund 3 Oktilliarden | 69³⁰ ≈ 1,5 × 10⁵⁵, rund 15 Nonillionen |
| 6 richtige + 6 falsche | 200³⁰ ≈ 1,1 × 10⁶⁹, rund 1 Undezilliarde | 480³⁰ ≈ 2,7 × 10⁸⁰, rund 270 Tredezillionen |
Zum Vergleich: Eine Milliarde hat 10 Stellen, 200³⁰ hat 70. Eingeordnet zwischen bekannte Größen (Schätzungen, gerundet):
| Was | Anzahl |
|---|---|
| Sandkörner an den Stränden der Erde | ≈ 7,5 × 10¹⁸, rund 7,5 Trillionen |
| Sterne im beobachtbaren Universum | ≈ 10²² bis 10²⁴, 10 Trilliarden bis 1 Quadrillion |
| Prüfungen, Pool 3 + 3, 3 angezeigt | ≈ 2,3 × 10³⁸ |
| Atome der Erde | ≈ 1,3 × 10⁵⁰, rund 130 Oktillionen |
| Prüfungen, Pool 4 + 4, 3 angezeigt | ≈ 3,0 × 10⁵¹ |
| Prüfungen, Pool 6 + 6, 3 angezeigt | ≈ 1,1 × 10⁶⁹ |
| Atome im beobachtbaren Universum | ≈ 10⁸⁰, rund 100 Tredezillionen |
| Prüfungen, Pool 6 + 6, 4 angezeigt | ≈ 2,7 × 10⁸⁰ |
Schon beim kleinsten Pool gibt es mehr mögliche Prüfungen als Sterne im Universum. Die Werte zählen nur, welche Antworten angezeigt werden, nicht ihre Reihenfolge. Sie sind theoretische Obergrenzen, denn die gesteuerte Verteilung (siehe unten) schließt einen Teil dieser Zusammenstellungen aus.
Der Abstand zweier Sätze: das Delta
Das Delta zweier Sätze gibt für eine Frage an, wie viele der angezeigten Antworten sich unterscheiden. Bei 3 angezeigten Antworten liegt es zwischen 0 (dieselben Antworten) und 3 (keine gemeinsame Antwort), bei 4 angezeigten zwischen 0 und 4. Ist der Pool klein, liegt das Höchstdelta darunter: Bei 6 Antworten im Pool und 4 angezeigten haben zwei Sätze immer mindestens 2 Antworten gemeinsam, das Delta ist also höchstens 2. Für eine ganze Prüfung werden die Deltas aller Fragen addiert; bei 30 Fragen mit 3 angezeigten Antworten ist das größtmögliche Delta also 90.
Werden zwei Sätze zufällig gezogen, ist das Delta einer Frage beim Pool oben (6 richtige + 6 falsche, 3 angezeigt) so verteilt:
| Delta | 0 | 1 | 2 | 3 |
|---|---|---|---|---|
| Wahrscheinlichkeit | 0,5 % | 12,6 % | 49,0 % | 37,9 % |
Am wahrscheinlichsten ist ein Delta von 2, im Mittel sind es 2,24. Für eine Prüfung mit 30 Fragen:
| Pool je Frage | angezeigt | Ø Delta je Frage | Ø Delta der Prüfung (von höchstens) | Ø Fragen mit gleichen Antworten |
|---|---|---|---|---|
| 3 richtige + 3 falsche | 3 | 1,50 | 45 von 90 | 1,6 von 30 |
| 3 richtige + 3 falsche | 4 | 1,33 | 40 von 60 | 2,0 von 30 |
| 4 richtige + 4 falsche | 3 | 1,87 | 56 von 90 | 0,6 von 30 |
| 4 richtige + 4 falsche | 4 | 2,00 | 60 von 120 | 0,4 von 30 |
| 6 richtige + 6 falsche | 3 | 2,24 | 67 von 90 | 0,15 von 30 |
| 6 richtige + 6 falsche | 4 | 2,67 | 80 von 120 | 0,06 von 30 |
Das wahrscheinlichste Delta der ganzen Prüfung liegt jeweils beim gerundeten Mittelwert. Dass zwei zufällige Sätze in allen 30 Fragen dieselben Antworten zeigen, also ein Delta von 0 haben, ist so unwahrscheinlich wie ein Treffer unter allen möglichen Prüfungen oben, beim Pool 6 + 6 mit 3 angezeigten Antworten 1 zu 200³⁰. Annahmen: Beide Sätze werden unabhängig gezogen, jede Zusammenstellung ist gleich wahrscheinlich, die gesteuerte Verteilung ist nicht berücksichtigt.
Gesteuerte Verteilung
Bei 3 angezeigten Antworten gibt es 7 Muster: alle drei richtig, zwei richtig (3 Muster) oder eine richtig (3 Muster). Die ICO achtet beim Zusammenstellen darauf, dass die Muster gleichmäßig verteilt sind. Bei 30 Fragen heißt das:
| Richtige unter den 3 angezeigten Antworten | Fragen |
|---|---|
| alle 3 | rund 4 |
| 2 | rund 13 |
| 1 | rund 13 |
Damit kommt jedes einzelne Muster etwa gleich oft vor, und die Positionen der Antworten werden gemischt. Auf ein Antwortmuster zu setzen, lohnt sich nicht.
Probesätze zeigen nur einen Ausschnitt
Mit Probesätzen können Sie üben. Sie zeigen Ihnen einige der falschen Antworten, aber sie garantieren keinen vollständigen Überblick. Die echte Prüfung kann jederzeit eine falsche Antwort anzeigen, die Sie noch nie gesehen haben.
Raten lohnt sich nicht
Gewertet wird nur die vollständig richtige Auswahl: 1 Punkt, sonst 0 Punkte, ohne Teilpunkte und ohne Abzüge. So zählt jede Frage in jeder Zusammenstellung gleich viel, und die Gewichtung aus dem Lehrplan bleibt erhalten. Die verbindlichen Bewertungsregeln stehen in der Prüfungsordnung, Abschnitt 4.5.
Wahrscheinlichkeit, eine einzelne Frage durch Raten richtig zu beantworten:
| Fragetyp | Rechnung | Wahrscheinlichkeit |
|---|---|---|
| Einfachauswahl, 3 Antworten, genau 1 richtig | 1/3 | rund 33 % |
| Einfachauswahl, 4 Antworten, genau 1 richtig | 1/4 | 25 % |
| ICO, 3 Antworten, mindestens 1 richtig | 1/(2³ − 1) = 1/7 | rund 14 % |
| ICO, 4 Antworten, mindestens 1 richtig | 1/(2⁴ − 1) = 1/15 | rund 7 % |
Über eine ganze Prüfung wird der Abstand riesig. Wahrscheinlichkeit, eine Prüfung mit 60 % Bestehensgrenze durch reines Raten zu bestehen:
| Prüfung | Einfachauswahl, 1 aus 4 | ICO, 3 angezeigt | ICO, 4 angezeigt |
|---|---|---|---|
| 30 Fragen | 1 zu rund 20.000 | 1 zu rund 107 Millionen | 1 zu rund 37 Billionen |
| 50 Fragen | 1 zu rund 6,1 Millionen | 1 zu rund 9,3 Billionen | 1 zu rund 15 Trilliarden |
Annahmen: rein theoretische Werte, keine Prüfungsdaten; jede Frage wird unabhängig blind geraten; mindestens eine angezeigte Antwort ist richtig; bei ICO wird eines der möglichen Antwortmuster gleich wahrscheinlich gewählt. Wer bei 30 Fragen mit jeweils 3 angezeigten Antworten immer dasselbe Muster markiert, etwa stets nur die erste Antwort, beantwortet bei der gesteuerten Verteilung der sieben Muster nur 4 oder 5 Fragen vollständig richtig. Die Bestehensgrenze von 18 ist so nie erreichbar.
4. Die Lösung: das Fair-Exam-Prinzip
Wer die Frage kennt, kennt bei der ICO noch nicht die Antwort. Deshalb kann die ICO ihre Fragen veröffentlichen, und damit verschiebt sich, was sich zu lernen lohnt:
- Die richtigen Antworten sind erschließbar. Alle richtigen Antworten lassen sich indirekt finden: über die Schulungsunterlagen, den Lehrplan oder die zugrunde liegende Norm.
- Falsche Antworten auswendig zu lernen ist keine verlässliche Vorbereitung. Die Antworten können für jede Prüfung neu zusammengestellt werden, und die Zahl der möglichen Zusammenstellungen ist riesig. Wer sich Distraktoren merkt, gewinnt wenig.
- Die Frage zu kennen hilft beim Lernen. Sie wissen, wonach gefragt wird, können gezielt nachschlagen und sich aktiv vorbereiten.
Was Ihnen in jeder Zusammenstellung hilft, ist allein das Wissen, welche Aussagen richtig sind.
So bereiten Sie sich aktiv vor
- Frage ansehen. Sie wissen, welche Themen drankommen und wonach gefragt wird.
- Nachschlagen. Im zugehörigen Kapitel des Lehrplans, in den Schulungsunterlagen oder in der Norm finden Sie heraus, was richtig ist, wie im Beispiel oben in Abschnitt 6.1.3.
- Verstehen. Sie lernen den Inhalt, nicht eine Liste von Antworten.
- Prüfen, wo Sie stehen. Mit einem oder mehreren Probesätzen testen Sie, ob Sie die Frage auch mit anderen Antworten sicher beantworten.
Die Grundsätze
- In Prüfungen werden ausschließlich freigegebene Fragen eingesetzt. Für jedes Themengebiet erstellt ein Mitglied des Prüfungsausschusses eine Frage, ein anderes Mitglied gibt sie frei; beides geschieht mit KI-Unterstützung. Der Prüfungsausschuss ist dafür verantwortlich, dass jede eingesetzte Frage so freigegeben ist.
- Jede freigegebene Frage muss mindestens 3 richtige und 3 falsche Antworten haben.
- Die freigegebenen Fragen eines aktiven Prüfungszertifikats sollen im Durchschnitt mehr als 5 richtige und mehr als 5 falsche Antworten haben.
- Alles, was zur richtigen Beantwortung einer Frage nötig ist, steht im zugehörigen Kapitel des Lehrplans oder in einer dort verlinkten, öffentlich zugänglichen Quelle.
- Durch Raten soll eine freigegebene Frage in höchstens 15 % der Fälle richtig beantwortet werden.
- Beantworten Prüfungsteilnehmer, die sich mit Schulung oder im Selbststudium vorbereitet haben, eine Frage zu oft falsch, wird sie überprüft und verbessert. Zu oft heißt: bei einer leichten Frage in mehr als 3 % der Fälle, bei einer mittleren in mehr als 10 % und bei einer schweren in mehr als 20 %.
- Jede vollständig richtig beantwortete Frage gibt einen Punkt. Eine Frage gilt als falsch beantwortet, wenn eine falsche Antwort markiert ist oder nicht alle richtigen markiert sind; dann gibt es 0 Punkte, aber keinen Abzug und keine Teilpunkte.
- Alle eingesetzten Fragen sind veröffentlicht, auch wenn nicht jede veröffentlichte Frage in einem Prüfungssatz verwendet wird.
- Alle richtigen Antworten lassen sich im verlinkten Kapitel des Lehrplans nachschlagen (Lerneffekt).
- Einige, aber nicht alle falschen Antworten sind bekannt, zum Beispiel aus Probesätzen.
Verbindlich sind die Regeln der Prüfungsordnung.
Die Jagd endet
Beim Fair-Exam-Prinzip gibt es nichts mehr zu jagen. Prüfungsteilnehmer, Trainer und akkreditierte Trainingsorganisationen (ATO) kennen die Themen und die Fragen und können sich offen und gezielt vorbereiten. Bestehen kann, wer weiß, was richtig ist. Genau das bestätigt ein ICO-Zertifikat.
