Relaties tussen expertise en onderscheidend vermogen: abnormale medische beelden leiden alleen bij experts tot betere geheugenprestaties, deel 2

Na drie seconden te zijn weergegeven, werd elk beeld onmiddellijk gevolgd door twee antwoordvragen: (1) Was het beeld abnormaal of normaal? (2) Heb je deze afbeelding eerder gezien?

De afgelopen jaren heeft een groot aantal onderzoeken aangetoond dat er een nauwe relatie bestaat tussen beeldafwijkingen en geheugen. Beeldafwijkingen kunnen oogproblemen omvatten zoals kleurenblindheid, bijziendheid, verziendheid, astigmatisme, enz. Deze oogproblemen kunnen ons gezichtsvermogen en onze beeldverwerkingsmogelijkheden beïnvloeden. Geheugen is een van de belangrijke vermogens van het menselijk brein, waardoor we belangrijke informatie en ervaringen kunnen onthouden en correcte beslissingen kunnen nemen.

Studies hebben aangetoond dat mensen met oogproblemen zoals kleurenblindheid, bijziendheid, astigmatisme, enz. slechter presteren op geheugentests dan normale mensen. Dit komt omdat hun gezichtsveld beperkt is en ze niet in staat zijn om informatie over hun omgeving volledig te ontvangen, waardoor ze bepaalde geheugenproblemen hebben. Daarom is het behouden van een goed gezichtsvermogen en visuele gezondheid cruciaal voor ons geheugen.

Tegelijkertijd kan een gezond gezichtsvermogen ons ook helpen informatie beter te verwerken en te onthouden. Als we bijvoorbeeld een boek lezen of tv kijken, kan een vrij gezichtsveld ons helpen tekst en afbeeldingen beter te begrijpen en te verwerken. Hierdoor kunnen we de inhoud beter onthouden en toepassen op situaties in het echte leven.

Daarom moeten we aandacht besteden aan de gezondheid van ons gezichtsvermogen en deze beschermen om ons geheugen te verbeteren. Het behouden van een goed gezichtsvermogen en een goede ooggezondheid door dagelijkse lichaamsbeweging en voeding, en het krijgen van voldoende rust, kan ook helpen onze ogen en ons geheugen te beschermen. Het behouden van een positieve houding, vertrouwen en doorzettingsvermogen kan ook helpen ons gezichtsvermogen en geheugen te verbeteren.

Kortom, we moeten aandacht besteden aan de gezondheid van ons gezichtsvermogen en deze beschermen, wat van groot belang is voor ons geheugen en onze persoonlijke ontwikkeling. Alleen door het ontwikkelen van goede kijkgewoonten en levensstijl kunnen we betere resultaten bereiken op het werk en in het leven. Het is duidelijk dat we het geheugen moeten verbeteren, en Cistanche deserticola kan het geheugen aanzienlijk verbeteren, omdat Cistanche deserticola antioxiderende, ontstekingsremmende en anti-verouderingseffecten heeft, die kunnen helpen oxidatie- en ontstekingsreacties in de hersenen te verminderen, waardoor de hersenen worden beschermd. gezondheid van het zenuwstelsel. Bovendien kan Cistanche deserticola ook de groei en het herstel van zenuwcellen bevorderen, waardoor de connectiviteit en functie van neurale netwerken wordt verbeterd. Deze effecten kunnen het geheugen, het leervermogen en de denksnelheid helpen verbeteren, en kunnen ook de ontwikkeling van cognitieve stoornissen en neurodegeneratieve ziekten voorkomen.

Klik op supplementen kennen om het geheugen te vergroten

Met behulp van een standaard computermuis werd de deelnemers gevraagd hun mate van vertrouwen aan te geven op een 6-puntschaal, variërend van zelfverzekerd ja/abnormaal tot zelfverzekerd nee/normaal (zie figuur 1).

We hebben betrouwbaarheidsbeoordelingen verzameld in plaats van eenvoudige ja/nee-antwoorden om ROC-analyse mogelijk te maken. Er was geen tijdslimiet opgelegd aan het reageren. De start van het volgende proces was afhankelijk van het beantwoorden van beide vragen van het huidige proces.

Voordat het experiment begon, kregen de deelnemers instructies en verschillende demografische vragen voorgelegd (geslacht; leeftijd; "Bent u een radioloog?"; "Heeft u een baan waar u medische beelden leest; dwz techneut, medisch fysicus?"). Er werden instructies geschreven. voor een beginnende bevolking zonder medische opleiding.

Voor beginnende deelnemers werden abnormale gevallen grofweg gedefinieerd als 'beelden die laesies of kanker zouden kunnen bevatten, of anderszins iets zouden kunnen zijn dat de moeite waard is om te worden opgevolgd als je een radioloog bent.'

Uitsluitingscriterium en analyseplan

Onze uitsluitingscriteria en analyses werden vooraf bepaald (zie preregistratie hierboven). Individuele onderzoeken werden uitgesloten als deelnemers minder dan 1.500 ms of meer dan 15,000 ms nodig hadden om te reageren (gebaseerd op pilotgegevens).

Deelnemers werden uitgesloten als ze minder dan 15 minuten (nul uitgesloten) of meer dan 1 uur nodig hadden om het onderzoek te voltooien (3 uitgesloten). Radiologen werden uitgesloten (1 uitgesloten), evenals degenen met andere eerdere ervaring met het lezen van medische beelden (nul uitgesloten). Deelnemers werden ook uitgesloten als ze meer dan 80% identieke antwoorden hadden (bijvoorbeeld bij bijna elk onderzoek hetzelfde antwoord kozen; één uitgesloten) of als meer dan 20% van de onderzoeken werd uitgesloten op basis van de reactietijdcriteria (één uitgesloten).

Nadat deze a priori uitsluitingscriteria waren toegepast, werden zeven deelnemers uitgesloten van de analyse, waardoor er een uiteindelijke steekproef van 53 deelnemers overbleef. Na onze vooraf geregistreerde analyses (hierboven) voerden we aanvankelijk geen algemene variantieanalyse (ANOVA) uit, maar volgden we eerder onze specifieke gerichte tests. We analyseerden eerst de betrouwbaarheidsclassificaties van het classificeren van een beeld als abnormaal of normaal.

Vervolgens hebben we de betrouwbaarheidsbeoordelingen geanalyseerd die het geheugen voor afbeeldingen vertegenwoordigen. Om dit te doen hebben we een ROC-analyse uitgevoerd voor 3-rug en 30-rug als functie van het beeldtype (normaal/abnormaal/contralateraal-abnormaal). We hebben ook ROC's gegenereerd voor de normale/abnormale beoordelingen. ROC's werden samengevat per gebied onder de curve (AUC) en vergeleken met behulp van t-tests.

Zoals opgemerkt zijn we geïnteresseerd in de vraag of er binnen de groep beginnende deelnemers sprake is van een voordeel in de geheugenprestaties voor elk type beeld (bijvoorbeeld beoordeeld op basis van normale versus abnormale AUC). Omdat de nieuwelingen geen medische ervaring hebben, zou een dergelijk effect ons inzicht geven in de aard van de beeldenset (dwz de memorabiliteit of het onderscheidend vermogen).

Ten slotte hebben we beeldovereenkomstanalyses uitgevoerd om te kwantificeren hoe beeldverschillen deze resultaten kunnen beïnvloeden.

Vergelijking van afbeeldingsovereenkomst

Omdat normale, focaal abnormale en contralateraal-abnormale beelden noodzakelijkerwijs verschillende beeldsets zijn, is het nuttig om te vergelijken hoe onderscheidend elke set beelden is van alle andere beelden om te kijken welk effect dit heeft op het geheugen.

Eén manier om dit te bereiken is door individuen een beoordeling van de gelijkenis tussen afbeeldingen te laten geven. Hiervoor zijn echter 120 ×120=14.440 gelijkenisbeoordelingen vereist. Om het proces te stroomlijnen, vertrouwden we in plaats daarvan op eerder gevestigde computer vision-technieken die waren ontworpen om gelijkenismetingen te doen voor natuurlijke scènes. Concreet hebben we een Gabor wavelet piramide (GWP) analyse uitgevoerd, die de kenmerken van de beelden berekent en vergelijkt (Greene et al., 2016; Kay et al., 2008).

Om het niveau van gelijkenis tussen de verschillende beeldtypen te beoordelen, vertegenwoordigt de GWP elk beeld als de uitvoer van een reeks Gabor-filters op meerdere schaal. Eerder onderzoek heeft aangetoond dat deze kenmerken met succes objectrepresentatie in vroege visuele gebieden kunnen modelleren (Kay et al., 2008).

Door de exacte procedure en parameters te volgen die zijn verstrekt door Greene et al. (2016), elke afbeelding werd geconverteerd naar grijstinten, gedownsampled naar 128 × 128 pixels en weergegeven met een reeks Gabor-filters op drie ruimtelijke schalen (3, 6 en 11 cycli per afbeelding met een golfje met alleen luminantie die de hele afbeelding beslaat), vier richtingen (0, 45, 90 en 135 graden) en twee fasen (0 en 90 graden).

Dit leverde een reeks kenmerken op voor elke afbeelding, die vervolgens werden vergeleken met alle 120 afbeeldingen om een ​​afstands- / ongelijkheidsscore te berekenen door het puntproduct van de kenmerken van elke afbeelding met elkaar te berekenen na het aftrekken van het gemiddelde van de afbeeldingen en het normaliseren van de kenmerkvectoren tot eenheidslengte.

Resultaten (Experiment 1: Beginners)

Prestaties op de classificatietaak

Eerst keken we naar hoe zelfverzekerd nieuwelingen een beeld als normaal of abnormaal konden classificeren (zie figuur 2). We vonden een significant verschil tussen normale en abnormale beelden, t(52)=4.78, p < .001, maar niet tussen normale en contralateraal-abnormale beelden, t(52)=1.94, p > .05. Hoewel de deelnemers geen training hebben gehad om normale van abnormale medische beelden te onderscheiden, is een klein aantal beelden in de set extreem opvallend abnormaal (dwz een enkele helderwitte vlek zou er zelfs voor beginnende kijkers twijfelachtig uitzien).

Als we naar beoordelingen per afbeelding kijken (zie figuur 3), blijkt dat deze beelden grotendeels verantwoordelijk zijn voor het significante verschil tussen normale en abnormale beoordelingen. Kortom, voor tenminste een kleine subset van beelden kunnen zelfs beginnende deelnemers de afwijking niet opmerken, wat in het algemeen tot bovenkans-classificatieprestaties leidt. Maar bij de meeste afbeeldingen lijken nieuwelingen weinig informatie te hebben over normaliteit versus abnormaliteit.

Merk op dat de y-as in figuur 2 de betrouwbaarheidsbeoordelingen voor beginners weergeeft. De nieuwelingen hebben over het algemeen geen vertrouwen in het onderscheiden van welk beeldtype dan ook, waarbij de gemiddelde reacties onder alle omstandigheden dicht bij het midden van de beoordelingsschaal liggen. Een andere manier om deze gegevens te visualiseren is op een ROC-curve (zie figuur 4), waarbij nieuwelingen bijna bovenop de diagonale stippellijn vallen die indicatief is voor toevallige prestaties, met een AUC van slechts 0.54 (waarbij {{5 }}.50 is toeval en 1.0 is perfect).

Hoewel, zoals hierboven vermeld, dit verschil met toeval zeer betrouwbaar is voor alle deelnemers, t(52)=4.21, p< .001, largely because of the few images that participants could all reliably classify.

Geheugen voor abnormale beelden

Figuur 5 toont de ROC's voor de 3-terug- en 30-teruggeheugentaken. Omdat beginners voor het grootste deel niet in staat waren om contralateraal-abnormale beelden waar te nemen als verschillend van normale beelden in de classificatietaak, hebben we ons uitsluitend gericht op geheugenverschillen tussen normale en abnormale beelden. Over het algemeen hebben beginners, onafhankelijk van het afbeeldingstype, en zoals verwacht, een beter 3-ruggeheugen (gemiddelde AUC van 0.70 voor het detecteren van 3-ruggen) dan{{8 }}teruggeheugen (gemiddelde AUC van 0,64 voor het detecteren van 30-ruggen), t(52)=6.59, p < .001.

Interessant genoeg blijkt uit het uitsplitsen van de prestaties over verschillende beeldomstandigheden dat nieuwelingen een klein normaliteitsvoordeel laten zien: ze onthouden normale beelden beter dan abnormale beelden in zowel de {{0}}rugaandoening als de 30-rugaandoening, met alleen de 3-terug, wat een aanzienlijk verschil opleverde. We hebben een AUC-voordeel van 0.069 gevonden voor normale beelden op3-achter, t(52)=5.48, p < .001, vergeleken met abnormaal, en een AUC-verschil van 0,026 voor normale afbeeldingen op 30-back, t(52) =1.70, p=.096, vergeleken met abnormaal. Gezien de zwakke prestatie bij het onderscheiden van normale van abnormale afbeeldingen, is het nogal verrassend dat normaliteit enig effect had.

Daarom hebben we de gegevens onderzocht op bewijs van meer fundamentele effecten van visuele gelijkenis. We ontdekten dat de lagere geheugenprestaties onder abnormale omstandigheden grotendeels werden veroorzaakt door een verhoogd aantal valse alarmen in de contralaterale abnormale en abnormale beeldsets.

Here, we are classifying as "new" all images with a confidence rating >3. Dit komt overeen met een beeldovereenkomst waarbij nieuwelingen eerder geneigd zouden zijn om vals alarm te slaan bij nieuwe beelden in de contralateraal-abnormale en abnormale omstandigheden, eenvoudigweg omdat deze beelden meer op elkaar lijken dan beelden in de normale set (zoals voorspeld door de opgetelde gelijkenis). verslagen van herinneringen; bijv. Nosofsky, 1991).

Met andere woorden: als de normale beelden iets meer van elkaar zouden verschillen vergeleken met de andere beelden, zou dit kunnen verklaren waarom beginners een iets beter geheugen hebben voor de normale toestand (dat wil zeggen, het is gemakkelijker om te bepalen of een afbeelding van een hond nieuw is als die hond wordt gepresenteerd). in een reeks verschillende dieren dan wanneer het wordt gepresenteerd in een reeks vergelijkbare honden. De gelijkenis-effecten in onze stimuli zijn veel kleiner. Deze hypothese testen we vervolgens.

Gelijkenismatrix-Gabor waveletpiramide-analyse

We hebben deze hypothese van beeldovereenstemming getest door de gelijkenis tussen onze afbeeldingen te meten, zoals beschreven in de Methoden (Greene et al., 2016; Kay et al., 2008). We vonden een grotere ongelijkheid tussen normale beelden ten opzichte van contralaterale abnormale en abnormale beelden (normaal=0.174; abnormaal =0.139; contralateraal-abnormaal=0.133). Met andere woorden, normale beelden verschilden gemiddeld meer van elkaar (en waren dus beter te onderscheiden in het geheugen) dan abnormale of contralateraal-abnormale beelden.

Dit komt overeen met de hypothese dat het kleine verschil in geheugen dat normale beelden bevoordeelt, wordt veroorzaakt door verschillen in beeldovereenkomst tussen verschillende sets. Het kleine normaliteitsvoordeel dat in het huidige onderzoek wordt gevonden, is dus waarschijnlijk een gevolg van beeldovereenkomst.

Cruciaal is dat dit een bruikbare basis kan bieden voor het overwegen van het geheugen voor dezelfde beelden bij deskundige radiologen in Experiment 2.

Experiment 2: Radiologen

Experiment 2 was hetzelfde als Experiment 1, behalve uitgevoerd door radiologische waarnemers.

Methode

Deelnemers

Tweeëndertig deskundige radiologen (14 vrouwelijke deelnemers, gemiddelde leeftijd=49 jaar) werden gerekruteerd tijdens de Radiological Society of North America (RSNA)-conferentie van 2018 in Chicago, Illinois. Alle radiologen gaven geïnformeerde toestemming en werden niet gecompenseerd, behalve dat ze meededen aan een loterij voor een cadeaubon van $ 500. Procedures voor geïnformeerde toestemming zijn goedgekeurd door de Institutional Review Board van de Universiteit van Californië, San Diego.

Gegevens van deelnemers zouden zijn uitgesloten als ze minder dan 15 minuten of meer dan 1 uur nodig hadden om het onderzoek te voltooien, meer dan 80% identieke antwoorden hadden gehad, of als meer dan 20% van de onderzoeken was uitgesloten. Volgens deze richtlijnen werden geen radiologen uitgesloten van de analyse, waardoor er uiteindelijk een steekproef van 32 deelnemers overbleef.

Stimuli en procedure

De stimuli en het experimentele ontwerp waren hetzelfde als beschreven in Experiment 1. Het belangrijkste procedurele verschil was dat het experiment werd uitgevoerd op de RSNA-conferentie waar de onderzoeker de instructies persoonlijk uitlegde.

Anders dan in Experiment 1 gaven we in Experiment 2 meer algemene instructies, waarbij we vroegen naar eventuele afwijkingen in plaats van de deelnemers specifiek te vragen te zoeken naar focale laesies of kanker: "Beoordeel voor elk beeld of het beeld abnormaal of normaal is en of je het eerder hebt gezien tijdens de experiment."

Resultaten

In deze sectie vergelijken we de prestaties van deskundige radiologen met de prestaties van beginnende deelnemers aan Experiment1. In het bijzonder onderzoeken we hoe niet-experts zich verhouden tot de oordelen van experts over beeldclassificatie (dat wil zeggen normaal versus abnormaal), en kritisch of experts een verschillend geheugen vertonen voor abnormale versus normale beelden. Bij het analyseren van de prestaties van experts houden we rekening met de eigenaardigheden in onze beeldset die we uit Experiment 1 hebben geleerd, zoals dat onze normale beelden meer van elkaar verschillen en daarom inherent iets gedenkwaardiger zijn.

Prestaties op de classificatietaak

Net als bij Experiment 1 analyseerden we eerst de prestaties bij de classificatietaak door te kijken naar de betrouwbaarheidsbeoordelingen van het classificeren van elk beeld als normaal of abnormaal. Hoe goed zijn radiologen in het eenvoudig onderscheiden van abnormale van normale beelden? Het is niet verwonderlijk dat radiologen zeer goed zijn in het onderscheiden van afwijkingen (zie figuur 6a). Radiologen hadden er significant meer vertrouwen in dat een abnormaal beeld abnormaal was in plaats van normaal, t(31)=13.17, p < .001.

Figuur 6b toont de ROC-curve voor het onderscheiden van focaal-abnormale beelden van normale beelden bij radiologen. ROC's werden samengevat per oppervlakte onder de curve (AUC van radioloog=0.72; onthoud die AUC van de beginner=0.54).

Zoals opgemerkt in Experiment 1 liggen de controles dicht bij de diagonale lijn die duidt op toeval, terwijl radiologen een typische kromlijnige ROC selecteren die indicatief is voor een waargenomen (en significant) verschil tussen normale en abnormale beelden met een AUC die ruim boven de kans ligt, t(31)=19 .8, p < .001. Vervolgens keken we of radiologen afwijkingen konden detecteren in de contralateraal-abnormale beelden.

Er was geen significant verschil tussen de normale en contralateraal-abnormale beeldomstandigheden, t(31)=0.43, p=.67. In de oorspronkelijke studie van Evans et al. (2016) vonden ze een effect van abnormaliteit in de kerninformatie (dat wil zeggen, in een zeer korte presentatietijd van ~250 ms). Onze instructies en stimuleringsset hebben de deelnemers mogelijk bevooroordeeld tegen het melden van contralaterale beelden als abnormaal.

Bij een reeks beelden met zichtbare laesies (de abnormale gevallen) en bij gebrek aan een instructie om te zoeken naar asymptomatische beelden van symptomatische patiënten (de contralaterale gevallen), is het misschien niet verrassend dat radiologen hun abnormale beoordelingen voor de abnormale gevallen behielden met laesies. Bovendien is het mogelijk dat onze instructies radiologen ertoe hadden kunnen aanzetten om naar zowel goedaardige als kwaadaardige laesies te zoeken, hoewel er in het huidige onderzoek geen goedaardige laesies aanwezig waren.

Toekomstige studies zouden de effecten van instructie op deze taak kunnen onderzoeken. Bedenk echter dat onze interesse in het huidige experiment uitgaat naar het geheugen van radiologen voor deze beelden. Contralateraal-abnormale beelden zouden bijvoorbeeld nog beter onthouden kunnen worden als radiologen er door hun vaag verdachte uiterlijk meer aandacht aan zouden besteden.

Geheugen voor abnormale beelden

Figuur 7 toont de prestaties van de radioloog bij de geheugentaak. Radiologen hebben een beter geheugen voor abnormale beelden in beide geheugenomstandigheden, maar het voordeel voor abnormale beelden is alleen significant in de 30-rugaandoening, t(31)=2. 86, p =.008, AUC-verschil=.051.

We hebben een AUC-voordeel van0,02 gevonden voor abnormale afbeeldingen aan de 3-achterzijde. Hoewel dit niet significant was, t(31)=1.62, p=.12, volgt het dezelfde trend als de 30-rugaandoening. Radiologen lieten geen geheugenvoordeel zien voor de contralateraal-abnormale beelden , zelfs bij lange vertragingen (p=.24). Omdat radiologen bij de classificatietaak geen onderscheid konden maken tussen contralateraal-abnormale beelden en normale beelden, zou dit resultaat te verwachten zijn; Bedenk echter dat we op zoek waren naar bewijs dat een impliciet herkende abnormale kern het geheugen zou kunnen verbeteren.

Dat is niet wat we hebben gevonden. Over het geheel genomen hebben radiologen, onafhankelijk van het beeldtype, een beter geheugen aan de 3-achterzijde (gemiddelde AUC van 0,852 voor het detecteren van 3-ruggen) dan 30-achteraan (gemiddelde AUC van 0,752 voor het detecteren van 30- ruggen) voor medische beelden. Waarom zijn radiologen beter in 3-achter dan in 30-achter? Hoewel het duidelijk lijkt dat dit verschil grotendeels de typische effecten van vergeten en inmenging weerspiegelt (bijv. Wixted, 2005), is het ook mogelijk dat waarnemers eerder de aanwezigheid van 3-terug zullen opmerken dan de {10}}terughalingen.

Als dat zo is, kunnen ze een strategie aannemen die prioriteit geeft aan de 3-achterliggende taak. Echter, gezien het feit dat de 3-rug- en 30-rugtests even waarschijnlijk waren en gelijkmatig verdeeld waren over de hele taak, en dat waarnemers consequent zeiden dat ze zich herinnerden dat ze mammogrammen van 30 beelden terug hadden gezien (en zich er daarom duidelijk van bewust waren dat {{4} }back was niet de enige aanwezige n-back-test), lijkt het onwaarschijnlijk dat waarnemers zouden overstappen op een strategie die alleen prioriteit gaf aan 3-back-memory-taak.

Alles bij elkaar suggereren deze resultaten dat experts aan de 3-achterkant een beter geheugen hebben dan aan30-rug, maar dat een geheugenvoordeel voor abnormale beelden vergeleken met normale beelden alleen aan de 30-rug significant is Uit onderzoek naar herkenningsgeheugen blijkt bijna altijd dat ROC's niet consistent zijn met een signaaldetectiemodel met gelijke variantie (bijv. Egan, 1958; Wixted, 2007).

Eén manier om hiernaar te kijken is door het aantal treffers en valse alarmen om te zetten in zscores en door zROC-functies in kaart te brengen. In een zROC-grafiek levert equalvariantie gegevens op met een zROC-helling van 1.0. In plaats daarvan waren, zoals typisch is voor herkenningsgeheugentaken, de hellingen van onze zROC's betrouwbaar lager dan 1.0 in 3 van de 4 geheugenomstandigheden. We passen een lineair model met gemengde effecten aan met helling en onderscheppen willekeurige factoren per onderwerp (gemiddelde helling[M]=0.68 voor 3-terug voor normale afbeeldingen, het verschil met 1.0 : p < .0{{30}}1 M =1.05 voor 30-terug voor normale afbeeldingen, niet anders dan 1, p {{19} }.60; M=0.52 voor 3-terug voor abnormale afbeeldingen, p < 0,001; voor 30-terug voor abnormale afbeeldingen, p=.005). Onder alle omstandigheden instortend, waardoor de helling betrouwbaarder kon worden geschat, was de gemiddelde zROC-helling 0,68, significant verschillend van 1,0 (p < 0,00001).

Alles bij elkaar genomen waren de ROC's die we in het geheugen observeerden inconsistent met een signaaldetectiemodel met gelijke variantie en consistent met een model met ongelijke variantie, mogelijk als gevolg van variatie in geheugensterkte tussen verschillende items.

 Dit is typerend voor het herkenningsgeheugen en de reden dat het verzamelen van vertrouwensoordelen en het uitvoeren van ROC-analyses noodzakelijk is om de geheugensterkte te beoordelen. Simple d' houdt in deze context niet goed rekening met verschillen in responscriteria (bijv. Dougal & Rotello 2007).

For more information:1950477648nn@gmail.com