Helemaal fout is beter dan goed fout

"Under the assumption". Credit: http://researchinprogress.tumblr.com

“Under the assumption”. Credit: http://researchinprogress.tumblr.com

Onderzoek vereist in meer of mindere mate, afhankelijk van het vakgebied, het maken van assumpties. Het kan zeer vakgebiedsafhankelijk zijn en ik hou er geen spreadsheet over bij maar ik hoor wel eens het argument dat een assumptie ‘moet gemaakt worden’ omdat ‘er geen gegevens zijn’. Goed fout vind ik, en wel hierom.

Soms kunnen bestaande gegevens aangeven hoe waarschijnlijk een assumptie is. Prima zo: wetenschap is niet zwart/wit en er bestaan tal van technieken om de grijsheid van de onderliggende aannames in rekening te brengen. Soms geven bestaande gegevens aan dat de gemaakte assumptie helemaal fout zit. Prima zo: dat impliceert kennis en dus de mogelijkheid om na te denken over of en hoe deze foute assumptie de conclusies kan verkleuren. Soms zijn er helemaal geen gegevens om ook maar iets te zeggen over het nonsensgehalte van een assumptie. Laat in dat geval extra studies aanrukken om deze gegevens te genereren. Indien dergelijke studies (financieel, praktisch, etc) onmogelijk zijn, start met jezelf los te weken van de vraag die je eigenlijk niet kan beantwoorden en zoek een andere leuke vraag. Er zijn er genoeg, geen nood.

De afwezigheid van gegevens als argument voor een assumptie: zoals ik reeds zei hangt de waarschijnlijkheid om deze techniek aan te treffen allicht af van het vakgebied. Ik vermoed dat men hem het vaakst terugvindt in domeinen met een sterke link naar beleid zoals bijvoorbeeld ecotoxicologie en ecologie (toevallig mijn vakgebieden). In beleid gelden andere regels dan in wetenschap, waar urgente situaties vragen om snelle beslissingen. Een beleidsmaker kan niet zomaar even een ‘andere leuke vraag’ kiezen (ook al weet ik zeker dat velen dat zouden willen). Echter, wetenschappers zijn geen beleidsmakers! Het argument ‘we moeten toch iets doen in de afwezigheid van gegevens’ houdt dus daarom geen steek.

Indien we de vrijheid hebben om het geweer van schouder te veranderen en dus een andere vraag te kiezen, waarom zijn we dan geneigd om toch te blijven vasthouden aan een niet te beantwoorden vraag? Indien het thema ongemeen spannend en fascinerend is, speelt allicht de aantrekkingskracht van een ‘holy grail’ een belangrijke rol. In andere gevallen gaat het helaas om een economische overweging: te veel tijd en geld is gespendeerd om de leap of faith richting publicatie niet te maken.

Wat zijn jullie ervaringen? Herkennen jullie dit argument? Vinden jullie het wèl ok?

13 reacties

  1. Eerst en vooral: die cat-gif is schitterend! Daar kan ik uren naar kijken; zeer therapeutisch! 😉
    Ik heb ooit (toen de dieren nog spraken) een student gehad op EMBL-EBI, die ik na amper twee weken zover kreeg dat hij in uiterste wanhoop uitriep: ‘If I always have to check every assmption, I will never get any science done!’ Ik heb die uitspraak toen meteen uitgetyped en in groot formaat uitgeprint en boven mijn burau gehangen. De persoon in kwestie is nu overigens ‘data scientist’ bij Apple ;).
    Wat wel leuk is aan wetenschap is dat veel onderzoek erin bestaat om de mogelijke ‘assumption space’ (heb ik hier een neologisme uitgevonden? ;)) in de hoek te drummen; veel experimenten zijn erop gebaseerd om te bepalen wat nu precies de grenzen zijn van de mogelijke assumpties. Want: hoe kleiner die assumptie ruimte wordt, hoe beter we worden in het opstellen van goede modellen.
    Ook leuk wat meta-wetenschap betreft, is dat assumpties vaak de menselijkheid van de wetenschapper in de verf zetten. De ‘cosmological constant’ van Einstein is een mooi voorbeeld (https://en.wikipedia.org/wiki/Cosmological_constant) en om bij dezelfde fotogenieke wetenschapper te blijven, wat dacht je van zijn verwerping van ‘quantum entanglement’ onder de gevleugelde uitspraak: “I, at any rate, am convinced that He [God] does not throw dice” (https://en.wikipedia.org/wiki/Bohr%E2%80%93Einstein_debates).

    • Wat wel leuk is aan wetenschap is dat veel onderzoek erin bestaat om de mogelijke ‘assumption space’ (heb ik hier een neologisme uitgevonden? ;)) in de hoek te drummen; veel experimenten zijn erop gebaseerd om te bepalen wat nu precies de grenzen zijn van de mogelijke assumpties. Want: hoe kleiner die assumptie ruimte wordt, hoe beter we worden in het opstellen van goede modellen.

      –> Ja, een goed experimenteel design voorkomt het maken van assumpties. Gisteren nog 4 uur aan bezig geweest met m’n postdoc, zalig vind ik dat. Het wordt lastiger als je (zoals ik vaak doe, en velen met mij) parasiteert op bestaande, door anderen zorgvuldig geproduceerde, data :) In dat geval moet je omgekeerd werken denk ik: welke vraag verkleint de assumption space? Leuk neologisme trouwens!

  2. Hoi Frederik, weer een prima post! Heb je er bij het ontwerpen van je experiment ook over nagedacht wat de assumptions zijn op experimenteel gebied? Een in vitro (maar ook in vivo) experiment uitvoeren om parameters te zoeken voor een in silico model – soms is het toch een beetje de lamme die de blinde helpt. Waarbij je dan terug uitkomt bij je eerste punt – nl. dat je deze experimenten doet ‘omdat er niets anders beschikbaar is’. Maar misschien is het een spiraal en geen vicieuze cirkel waardoor we uiteindelijk toch uitkomen waar we moeten zijn :-).

    • Heb je er bij het ontwerpen van je experiment ook over nagedacht wat de assumptions zijn op experimenteel gebied? Een in vitro (maar ook in vivo) experiment uitvoeren om parameters te zoeken voor een in silico model – soms is het toch een beetje de lamme die de blinde helpt.

      –> Schitterende vergelijking Lies! Ik denk dat het hier belangrijk is om je in vitro/vivo resultaten niet te extrapoleren en dus je experiment/model niet voor te stellen als ‘de werkelijkheid’. Ik ben meestal al blij als ik snap wat er in mijn flesjes gebeurt :)

  3. Waar ik een groter probleem mee heb dan met het maken van veronderstellingen, is met het maken van /impliciete/ veronderstellingen. (Ik gebruik liever “veronderstelling” dan “assumptie”…)

    Een klassieker bij de impliciete veronderstelling is de reflex “we kunnen dit aspect verwaarlozen”. Zulke reflexen zijn vaak niet duidelijk voor de onderzoekers zelf, en kunnen leiden tot een onvolledige specificatie van een uitgevoerd experiment. Ik denk specifiek aan iets dat ik gisteren tegenkwam via twitter: https://twitter.com/kolfschooten/status/618408671610060800
    Het komt er (in het beste geval) op neer dat de onderzoekers aangenomen hebben dat alle details die ze weglieten uit de beschrijving van het experiment niet relevant zouden zijn. Nu weigeren ze hun data te geven zodat niemand dat onafhankelijk kan verifiëren.

    Eens alle veronderstellingen op tafel liggen, zijn er volgens mij drie mogelijkheden:
    (1) het is geweten dat de veronderstellingen kloppen, en dan haal je er literatuur bij om aan te tonen dat ze kloppen.
    (2) het is geweten dat ze niet kloppen; jammer – onderzoek in de vuilbak. (Dat had je dan beter vooraf kunnen doen, tenzij je nog niet hard gewerkt hebt.)
    (3) er is niets geweten. Als je dan een interessante conclusie hebt, lijkt me dat ook geen probleem. Dan let je bij het publiceren wel goed op om te specificeren welke veronderstellingen niet geverifieerd zijn, en poneer je je resultaat als een hypothese die verder onderzoek verdient. Vervolgonderzoek kan zich dan richten op de veronderstellingen.

    • (2) het is geweten dat ze niet kloppen; jammer – onderzoek in de vuilbak. (Dat had je dan beter vooraf kunnen doen, tenzij je nog niet hard gewerkt hebt.)

      –> Ben ik eerder oneens mee, om 2 redenen: (1) Het kan zijn dat de veronderstelling betrekking heeft op een proces dat de resultaten weinig/niet beïnvloed. In de ecologie zijn er tal van voorbeelden (bv deze). (2) Het kan ook dat de resultaten op een informatieve manier ongeldig zijn. Het kan bvb interessant zijn om te weten dat, als ik foute veronderstelling X maak, ik tot conclusie Y kom.

      (3) er is niets geweten. Als je dan een interessante conclusie hebt, lijkt me dat ook geen probleem. Dan let je bij het publiceren wel goed op om te specificeren welke veronderstellingen niet geverifieerd zijn, en poneer je je resultaat als een hypothese die verder onderzoek verdient. Vervolgonderzoek kan zich dan richten op de veronderstellingen.

      –> Akkoord, maar dan zou ik eerder geneigd zijn om niet 1 maar een hele resem aan veronderstellingen te maken omtrent het onbekende proces en te kijken hoe de conclusie verandert met de gemaakte veronderstelling.

      • He, wat een interessant gesprek in de commentaren van een blog :-)

        Eerst een reactie op je commentaar over ongeldige veronderstellingen:

        –> Ben ik eerder oneens mee, om 2 redenen: (1) Het kan zijn dat de veronderstelling betrekking heeft op een proces dat de resultaten weinig/niet beïnvloed. In de ecologie zijn er tal van voorbeelden (bv deze).
        —–> Als je de veronderstelling niet nodig hebt, hoef je ze m.i. ook niet te maken. Dat was een geval dat ik niet beschouwde.

        (2) Het kan ook dat de resultaten op een informatieve manier ongeldig zijn. Het kan bvb interessant zijn om te weten dat, als ik foute veronderstelling X maak, ik tot conclusie Y kom.
        —–> Dat kan interessant zijn in bepaalde situaties, maar het lijkt me heel moeilijk om uit te leggen wat je daar precies uit leert. Zal zeker zeer duidelijk moeten opgeschreven worden en gemotiveerd.

        In ieder geval terechte kanttekeningen.

      • En dan nu een reactie op je derde punt (wanneer er niets geweten is):

        –> Akkoord, maar dan zou ik eerder geneigd zijn om niet 1 maar een hele resem aan veronderstellingen te maken omtrent het onbekende proces en te kijken hoe de conclusie verandert met de gemaakte veronderstelling.
        ——–> Dat zou ideaal zijn, maar ook niet-ideaal onderzoek kan goed genoeg zijn om iets uit bij te leren. In principe akkoord dus, maar ik kan me inbeelden dat er (zowel valabele als discutabele) situaties zijn waarbij mensen zich (moeten) beperken. Ik denk aan geldgebrek, tijdgebrek, luiheid, publicatiedruk,…

  4. Mooie post en interessante discussie! Ik wil het punt dat Giovanni aanhaalt nog wat extra in de verf zetten. Net zoals een ethics statement zou het expliciet maken van veronderstellingen een integraal onderdeel van een discussie sectie van een wetenschappelijke bijdrage moeten zijn. Een goed artikel onderscheidt zich meestal – althans voor mij – door de beperkingen van het experiment, de analyse etc duidelijk in kaart te brengen. Het opkloppen van titels en het abstract waarbij er meestal geen ruimte is voor de beperkingen dragen hier echter niet toe bij.

    • Helemaal mee eens Niel. Doet me denken aan een discussie met een collega (ergens 2009 denk ik) die ‘tegen modelleren was’ en liever ‘statistiek deed’, uiteraard gebruik makend van kant-en-klare software waar een paar mouseclicks een p-waarde opleveren. Het feit dat een lineaire regressie ook een model is ging aan hem voorbij. De onderliggende veronderstellingen ook. Dus: iedereen aan de code, zo weet je wat je aan het doen bent :) Kritische kanttekening: het blind gebruik van R-pakketten is even erg als de mouseclick-approach hoor..

      • Frederik, als onderdeel van een bende verwoede coders, ben ik helemaal akkoord, maar hergebruik van bestaande code is uiteraard essentieel om vooruit te geraken. De kritische ingesteldheid waarop je alludeerd is uiteraard wel super belangrijk – vandaar ook de idee om overal zoveel mogelijk ‘negenproeven’ in te lassen (oftwel de wat minder grondige ‘does output make sense’ test), of met gesimuleerde data eerst een of meerdere ‘unit tests’ uit te voeren van elke (cruciale) component.
        Opmerkelijk genoeg weten studenten tegenwoordig niet wat dat is, de ‘negenproef’. Ik haal dat concept elk jaar met klem aan in mijn cursus Informatica II (om de bovenvermelde reden; ik trek trouwens ook luidkeels ten strijde tegen assumpties allerhande in mijn lessen), en de studenten komen dan collectief uit de lucht vallen. Vind ik altijd bijzonder pijnlijk; het is zulk een basisvaardigheid voor een wetenschapper om zelfkritisch en -waar mogelijk- zelfcorrigerend te zijn!

        • Ja, uiteraard is hergebruik nodig om vooruit te geraken, maar het is wel belangrijk om te weten wat er achter de schermen gebeurt.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *