lesje in statistiek

Er waren veel leuke bijeenkomsten bij het Parapsychology Summer Study Program (dat inmiddels al vijf dagen geleden is afgelopen), en de bijeenkomst met Jessica Utts behoorde daar zeker ook toe. (Links op de foto met het roze t-shirt)

Nadat Christine en zij de computer aan de praat hadden gekregen, ontvingen we een lesje in statistiek. Een van haar punten was het nut van een meta-analyse. Ze vertelt dit verhaal ook regelmatig aan collegezalen vol statistici, zei ze, met een leuke draai aan het einde van haar verhaal. Het artikel (pdf) kun je hier lezen.

Er zijn diverse onderzoeken gedaan naar het verband tussen aspirine en hartaanval. Veel van die onderzoeken lieten wel een trend in een bepaalde richting zien (als je aspirine gebruikt heb je minder kans op een hartaanval), maar lieten geen statistisch significant resultaat zien. Je kunt dan een beter inzicht krijgen in het effect van een medicijn door een meta-analyse te doen en de resultaten van de verschillende studies (voorzover ze voldoende op elkaar lijken) met elkaar te combineren. In het geval van aspirine en hartaanval liet de meta-analyse overtuigend zien dat aspirine inderdaad een positief effect had. Een soortgelijke meta-analyse is toen gedaan met het Ganzfeld onderzoek (zie een van mijn vorige posts). Ondanks diverse experimenten zonder significante resultaten liet de meta-analyse zien dat er sprake was van een effect dat groter was dan dat van de gezamenlijke aspirine-onderzoeken. Het Ganzfeld-onderzoek is door de samenwerking met goochelaars en skeptici (zie mijn post 'goochelarij') in de loop der jaren steeds meer fool-proof geworden, maar de effectgroottes (hitrates van nog steeds 1 op 3 in plaats van de verwachte 1 op 4) bleven desondanks hetzelfde.
Al met al dus voldoende aanleiding om deze 'anomalie', dit vreemde verschijnsel, nader te onderzoeken, wat we dus ook doen.

Verder leerden we spelenderwijs over het nut van het combineren van resultaten door zelf met 'dierenogen' te gooien. Je weet wel, van die dingen die je in een handwerkwinkel koopt en die je op een knuffelbeestje kunt bevestigen. (zie foto). Ieder gooiden we twintig keer en noteerden het totaal aantal 'oog'. Daarna combineerden we onze resultaten met die van vier anderen, en vervolgens met die van de hele groep, en je ziet hoe het betrouwbaarheidsinterval steeds meer krimpt, zodat een serie niet-significante resultaten uitmondt in een duidelijk (statistisch) significant resultaat met 47% 'oog' (in plaats van de verwachte 50%).