De Item Response Theory (IRT) is een hele belangrijke innovatie op het gebied van de psychometrie. De theorie is nu zo ongeveer 50 jaar oud, aangenomen dat IRT uitgevonden is door Lord en Novick in het boek uit 1968: “Statistical Theories of Mental Test Scores”, is IRT nog erg weinig in gebruik en een mysterie voor vele behandelaren.

Classical Test Theory (CTT) is ongeveer 100 jaar oud en is nog steeds de meest gebruikte vorm van testen afnemen bij patiënten. Het is simpel in gebruik en kan door vele mensen gebruikt worden, zonder een formele training in psychometrie. De meeste statistieken zijn beperkt tot gemiddelden, proporties en correlaties, maar deze simpliciteit betekent ook dat het niet beschikt over de complexiteit van een aantal zeer belangrijke meetproblemen. Hieronder noemen we een paar van die problemen:

1. Populatie afhankelijkheid

Metingen van Classical Test Theory (CTT) vragenlijsten zijn allemaal afhankelijk van de (onderzoeks)populatie en onbruikbaar voor een andere populatie. Bij IRT vragenlijsten zijn populatie onafhankelijk binnen een lineaire transformatie, wat betekent dat twee verschillende populaties op dezelfde grafiek afgetekend kunnen worden voor vergelijking onderling.

2. Test afhankelijkheid

CTT resultaten zitten vast aan een bepaalde test vorm en werken niet goed in numerieke analyses, gevoed door meervoudige vragenlijsten, lineair realtime testen of adaptief testen.

3. Zwak in linken en vergelijken

CTT heeft weliswaar een aantal manieren om meerdere formulieren met elkaar te linken, maar de resultaten zijn erg zwak ten opzichte van IRT.

4. Meten van de populatiebandbreedte

CTT Testen zijn gemaakt voor de gemiddelde patiënt (1SD) en niet voor de patiënten die daar buiten vallen, hele milde of hele zware gevallen worden niet opgepikt in CTT testen. De metingen, die in dat bereik vallen zijn veelal onbetrouwbaar.

5. Geen correctie voor gokken

CTT testen houden geen rekening met gokken (niet begrijpen of te simpel) of sociaal wenselijke antwoorden.

6. Moeilijkheid van de vragen

Met de moeilijkheidsgraad, zoals ervaren door de patiënt, wordt bij CTT testen geen rekening gehouden, wat dus de meting minder valide maakt.

7. Adaptief testen

CTT testen ondersteunen in vrijwel alle gevallen, geen adaptieve testmethodiek, ze zijn vrijwel altijd statisch, met een vast aantal vragen.