Fair Exam Prinziep

Dank des Fair-Exam-Prinzips kann die ICO ihre Prüfungsfragen teilweise veröffentlichen, und die Prüfung bleibt trotzdem eine echte Prüfung. Eine ICO-Prüfung lässt sich nicht auswendig lernen: Zuverlässig bestehen kann nur, wer das Wissen hat. Das Fair-Exam-Prinzip wurde von der ICO entwickelt. Uns ist kein anderer Personenzertifizierer bekannt, der so prüft.

Bekannte Fragen, echte Prüfung

Wer die Frage kennt, kennt bei der ICO noch nicht die Antwort. Zu jeder Frage gehört ein großer Pool aus richtigen und falschen Antworten, und für jede Prüfung wird neu gezogen, welche davon angezeigt werden. Eine, mehrere oder alle angezeigten Antworten können richtig sein.

Damit verschiebt sich, was sich zu lernen lohnt:

  • Die richtigen Antworten sind erschließbar. Alle richtigen Antworten lassen sich indirekt finden: über die Schulungsunterlagen, den Lehrplan oder die zugrunde liegende Norm.
  • Falsche Antworten auswendig zu lernen ist sinnlos. Die Antworten rotieren, und die Zahl der möglichen Zusammenstellungen ist riesig. Wer sich Distraktoren merkt, gewinnt wenig.
  • Die Frage zu kennen hilft beim Lernen. Sie wissen, wonach gefragt wird, können gezielt nachschlagen und sich aktiv vorbereiten.

Bei der klassischen Einfachauswahl ist es umgekehrt. Dort steht eine richtige Antwort neben drei falschen, den sogenannten Distraktoren. Wer solche Fragen übt, lernt immer auch die falschen Antworten mit: „Das ist falsch, das ist falsch, das ist falsch.“ Ist eine feste Fragenbank samt Lösungen bekannt, genügt bloßes Wiedererkennen zum Bestehen.

Links die klassische Einfachauswahl mit einer richtigen Antwort und drei Distraktoren, die man mit auswendig lernt; rechts das Fair-Exam-Prinzip, bei dem die Antworten aus einem Pool rotieren und man durch Nachschlagen das Richtige lernt

Warum es sich nicht lohnt, falsche Antworten zu merken

Jede Frage, die in einer Prüfung eingesetzt werden darf, hat mindestens 3 richtige und 3 falsche Antworten, im Durchschnitt mehr als 5 richtige und mehr als 5 falsche. Schon aus 6 richtigen und 6 falschen Antworten lassen sich 200 verschiedene Dreier-Zusammenstellungen mit mindestens einer richtigen Antwort ziehen. Bei 30 solchen Fragen multipliziert sich das auf rund 10⁶⁹ mögliche Prüfungen mit denselben Fragen, einer Zahl mit 70 Stellen.

Eine Frage mit ihrem Pool aus 6 richtigen und 6 falschen Antworten; Probesatz A, Probesatz B und die echte Prüfung ziehen daraus jeweils andere drei Antworten

Mit Probesätzen können Sie üben. Sie zeigen Ihnen einige der falschen Antworten, aber nie alle. Die echte Prüfung kann jederzeit eine falsche Antwort anzeigen, die Sie noch nie gesehen haben, oder ausschließlich richtige Antworten. Auch auf Antwortmuster ist kein Verlass: Die drei angezeigten Antworten werden gleichverteilt zufällig aus allen gültigen Zusammenstellungen gezogen, und ihre Positionen werden gemischt. Bei einem Pool wie im Bild sind in einer Prüfung mit 30 Fragen im Mittel rund 3 Fragen vollständig richtig, je rund 13,5 Fragen haben zwei beziehungsweise eine richtige Antwort.

Was Ihnen in jeder Zusammenstellung hilft, ist allein das Wissen, welche Aussagen richtig sind.

So bereiten Sie sich aktiv vor

  1. Frage ansehen. Sie wissen, welche Themen drankommen und wonach gefragt wird.
  2. Nachschlagen. Im zugehörigen Kapitel des Lehrplans, in den Schulungsunterlagen oder in der Norm finden Sie heraus, was richtig ist.
  3. Verstehen. Sie lernen den Inhalt, nicht eine Liste von Antworten.
  4. Prüfen, wo Sie stehen. Mit einem oder mehreren Probesätzen testen Sie, ob Sie die Frage auch mit anderen Antworten sicher beantworten.

Ein Beispiel

Das folgende Beispiel dient nur der Veranschaulichung, es ist keine echte Prüfungsfrage.

Frage: Was muss die Erklärung zur Anwendbarkeit (Statement of Applicability) nach ISO/IEC 27001:2022 enthalten?

Ein Auszug aus einem möglichen Antwortpool:

  • Richtig: die erforderlichen Maßnahmen.
  • Richtig: die Begründung, warum diese Maßnahmen aufgenommen wurden.
  • Richtig: die Angabe, ob die erforderlichen Maßnahmen umgesetzt sind oder nicht.
  • Richtig: die Begründung für den Ausschluss von Maßnahmen aus Anhang A.
  • Falsch: nur die Maßnahmen aus Anhang A, die bereits umgesetzt sind.
  • Falsch: die Zustimmung der Risikoeigentümer zum Plan für die Behandlung von Informationssicherheitsrisiken.
  • Falsch: die Informationssicherheitspolitik.

Wer Abschnitt 6.1.3 d) der Norm nachschlägt, findet dort genau die vier richtigen Inhalte. Damit erkennt er auch jede falsche Antwort, ohne sie je gesehen zu haben: Die Erklärung zur Anwendbarkeit enthält alle erforderlichen Maßnahmen, auch nicht umgesetzte und auch solche, die nicht aus Anhang A stammen; die Zustimmung der Risikoeigentümer verlangt 6.1.3 f) zum Risikobehandlungsplan; die Informationssicherheitspolitik regelt Abschnitt 5.2. In der Prüfung werden aus einem solchen Pool nur einige Antworten angezeigt, und welche, ändert sich von Prüfung zu Prüfung.

So stellt die ICO sicher, dass die Prüfung fair bleibt

Alles ist im Lehrplan verankert

Jede Prüfung hat einen Lehrplan, gegliedert in gewichtete Kapitel. Alles, was Sie zur richtigen Beantwortung einer Frage brauchen, steht im zugehörigen Kapitel oder in einer dort verlinkten, öffentlich zugänglichen Quelle. Die Grafik zeigt den Aufbau am Beispiel des Themengebiets ICO ISMS 27001:2022; die Kapitelgewichtungen sind beispielhaft.

Aufbau eines Themengebiets am Beispiel ICO ISMS 27001:2022: Die Prüfungszertifikate FND und PRO führen zum Rollenzertifikat; in jeder Prüfung gehören zum Lehrplan gewichtete Kapitel, zu jeder Frage ein Antwortpool aus richtigen und falschen Antworten

Die Gewichtung eines Kapitels bestimmt Schulung und Prüfung gleichermaßen. Bei einem Lehrplan mit 720 Minuten Unterricht (zwei Tage mit je acht Einheiten à 45 Minuten) entfällt auf ein Kapitel mit 5 % rund eine halbe Stunde empfohlene Schulungszeit, und in der Prüfung stammt ein entsprechend kleiner Teil der Fragen aus diesem Kapitel. Wie weit die Fragenzahl je Kapitel von der Gewichtung abweichen darf, regelt die Prüfungsordnung in Abschnitt 4.4.

Unabhängige Freigabe

Eine Frage kommt erst in eine Prüfung, wenn ein Mitglied des Prüfungsausschusses sie freigegeben hat. Wer eine Frage geschrieben hat, darf sie nicht selbst freigeben.

Große Antwortpools

Die Antwortpools sind so groß, dass gilt: Durch reines Raten lässt sich eine Frage im Durchschnitt höchstens in rund 15 % der Fälle richtig beantworten.

Fragen werden laufend verbessert

Beantworten gut vorbereitete Prüfungsteilnehmer eine Frage zu oft falsch, wird sie überprüft und verbessert. Zu oft heißt: bei einer leichten Frage in mehr als 3 % der Fälle, bei einer mittleren in mehr als 10 % und bei einer schweren in mehr als 20 %.

Eindeutige Bewertung

Gewertet wird nur die vollständig richtige Auswahl, ohne Teilpunkte und ohne Abzüge. So zählt jede Frage in jeder Zusammenstellung gleich viel, und die Gewichtung aus dem Lehrplan bleibt erhalten. Die verbindlichen Bewertungsregeln stehen in der Prüfungsordnung, Abschnitt 4.5.

Raten lohnt sich nicht

Weil eine, mehrere oder alle Antworten richtig sein können und nur die vollständig richtige Auswahl zählt, liegt die Trefferquote beim Raten schon bei einer einzelnen Frage weit unter der klassischen Einfachauswahl, und über eine ganze Prüfung wächst der Abstand auf mehrere Zehnerpotenzen.

Balkendiagramm: Wahrscheinlichkeit, eine einzelne Frage durch Raten richtig zu beantworten, klassisch 1 aus 3 und 1 aus 4 im Vergleich zum ICO-Prinzip mit drei oder vier angezeigten Antworten

Diagramm mit logarithmischer Skala: Wahrscheinlichkeit, eine ganze Prüfung mit 30 oder 50 Fragen und 60 % Bestehensgrenze durch reines Raten zu bestehen, klassisch 1 aus 4 im Vergleich zum ICO-Prinzip, zufällig und bestmöglich geraten

Annahmen: rein theoretische Werte, keine Prüfungsdaten; jede Frage wird unabhängig blind geraten; mindestens eine angezeigte Antwort ist richtig; nur vollständig richtig beantwortete Fragen zählen; die angezeigten Antworten werden gleichverteilt zufällig aus den gültigen Zusammenstellungen gezogen und ihre Positionen gemischt. Ganze Prüfung mit drei angezeigten Antworten je Frage; „zufällig“ heißt, eines der 7 möglichen Antwortmuster wird gleich wahrscheinlich gewählt, „bestmöglich“ heißt, immer dasselbe Antwortmuster mit genau einer oder zwei markierten Positionen bei einem Pool aus 6 richtigen und 6 falschen Antworten (15 % je Frage; wer immer alle drei markiert, erreicht nur 10 %).

Die Jagd nach den echten Fragen endet

Der Zertifizierer kennt die echten Fragen; Prüfungsteilnehmer sowie Trainer und ATO wollen sie kennen

Typische Klagen bei klassischen Prüfungen lauten:

„Probeprüfung und echte Prüfung sind nicht vergleichbar.“

„Die Probeprüfung ist viel leichter.“

„Das haben wir in der Schulung nicht besprochen.“

Beim Fair-Exam-Prinzip gibt es nichts mehr zu jagen. Prüfungsteilnehmer, Trainer und akkreditierte Trainingsorganisationen (ATO) kennen die Themen und einen Teil der Fragen und können sich offen und gezielt vorbereiten. Bestehen kann, wer weiß, was richtig ist. Genau das bestätigt ein ICO-Zertifikat.