Jaarlijst-analyse 2010.

In het december/januarinummer van Oor staan zoals gebruikelijk de jaarlijstjes en het onverbiddelijke eindoordeel. Smullen voor de lijstofielen – waartoe ik mijzelf al enige decennia mag rekenen. Dit jaar evenals in 2009 en 2008 een top-20, aangevuld met een ‘bubbling under’ lijst die zelfs tot de vijftigste plaats doorloopt.
Echter, hoe relevant zijn deze cijfers? Kun je wel tot in het oneindige blijven doortellen en rangschikken, of moet je ergens een duidelijke streep trekken om de zaken een beetje serieus betekenisvol te houden?
De onder commerciële druk steeds meer op populistische golven meedeinende dagbladjournalistiek weet er ook raad mee. Denk aan al die berichtjes over ‘wetenschappelijk onderzoek’ die zo gemakkelijk weg lezen: Hoe vaak de Nederlander het per week doet. Dat de kans op hart- en vaatziekten bij twee glazen wijn per dag aanzienlijk afneemt. Dat de iPad het favoriete sinterklaaskado i onder acht- tot elfjarigen en noem maar op. Nieuws dat zich goed leent voor een pakkende kop en twee of drie aanvullende regels. Maar wat zeggen zulke onderzoeksresultaten werkelijk? Wat was er eigenlijk onderzocht en hoe omvangrijk was het onderzoek? En in opdracht van wie werd het onderzoek uitgevoerd?
Laat ik mij hier echter tot de popalbum-jaarlijstjes beperken. Het aardige is dat ik de ‘analyse’ dit jaar voor de vijfde keer uitvoer (2005, 2007, 2008, 2009, 2010) wat – ervan uitgaande dat de groep deelnemers over die periode grofweg constant is – weldegelijk enig inzicht begint op te leveren. Een weekend tellen, hertellen en toetsen aan wat statistische principes leverde het volgende op.

Om te beginnen de top-20 zoals die in de Oor #12 (dec 2010/jan 2011) verschenen is (met een kleine correctie!) , maar nu met het behaalde puntenaantal – nummer één in ieder lijstje kreeg 10 punten, nummer twee 9, etc. Plus tussen haakjes het aantal keren dat het album genomineerd werd.

1 Arcade Fire – The Suburbs 106 (16)
2 The National – High Violet 93 (12)
3 The Black Keys – Brothers 77 (10)
4 Gonjasufi – A Sufi and a Killer 63 (9)
5 Beach House – Teen Dream 56 (9)
6 Ariel Pink’s Haunted Graffiti 48 (7)
7 Spoon – Transference 47 (8)
8 Tame Impala – Innerspeaker 46 (9)
9 The Tallest Man on earth – The Wild Hunt 46 (7)
10 Vampire Weekend – Contra 43 (8)
11 Flying Lotus – Cosmogramma 43 (6)
12 Gorillaz – Plastic Beach 39 (7)
13 John Grant – Queen of Denmark 39 (6)
14 Joanna Newsom – Have One on Me 38 (5)
15 Wavves – King of the Beach 37 (6)
16/17 Avi Buffalo – Avi Buffalo 36 (6)
16/17 Villagers – Becoming a Jackall 36 (6)
18/19 The Soft Pack – The Soft Pack 29 (4)
18/19 Sufjan Stevens – The Age of Adz 29 (4)
20 Balthazar – Applause 28 (5)

En dan nog even:
21 MGMT – Congratulations 26 (4)
22 Caribou – Swim 25 (7)
23 No Age – Everything In Between 25 (5)
24 Deerhunter – Halcion Digest 25 (4)
25 Broken Bells – Broken Bells 24 (5)
26 Mount Kimble – Crooks & Lovers 23 (4)
27 The Drums – The Drums 22 (4)
28/29 Big Boi – Sir Lucous Left Foot… The Son of… 22 (3)
28/29 The Roots – How I got over 22 (3)
30 The Gaslight Anthem – American Slang 21 (3)

De oplettende lezer ziet dat nrs. 1 t/m 22 overeenkomen met de Oorlijst pas bij nummers 23 en 24 treedt er een verwisseling op, evenals bij Big Boi en The Drums. Ik heb –zoals in bovenstaande lijst te zien is – bij gelijk puntenaantal het aantal nominaties laten prevaleren. Misschien dat de Oorredactie van een andere hiërarchie is uitgegaan.

Voordat ik het over de relevantie van deze lijst ga hebben eerst even een opmerking over de wijze van samenstellen. Doorslaggevend is hier het puntenaantal en bij gelijk puntenaantal is het aantal nominaties bepalend. Er is echter ook iets te zeggen voor een telling waarbij het aantal nominaties het zwaarste weegt en daarna pas – bij gelijk aantal nominaties – het totaal aantal punten dat een album scoort. Immers: de lijstjessamenstellers hechten minstens zoveel aan de vraag welke tien platen in hun lijstje komen – en dus in Oor afgedrukt worden – als aan de precieze volgorde van dat lijstje. Onderbouwing voor die gedachte vond ik in het verleden en ook dit jaar weer bij het lezen van de blogs van diverse samenstellers. De vraag welke albums de top-10 überhaupt zouden halen leverde meer getob op dan de exacte positie van de tien geselecteerde albums.

Een alternatieve Top 20 waarbij het aantal nominaties doorslaggevend is zou er zo uitzien:

1 Arcade Fire – The Suburbs (16) 106
2 The National – High Violet (12) 93
3 The Black Keys – Brothers (10) 77
4 Gonjasufi – A Sufi and a Killer (9) 63
5 Beach House – Teen Dream (9) 56
6 Tame Impala – Innerspeaker (9) 46
7 Spoon – Transference (8) 47
8 Vampire Weekend – Contra (8) 43
9 Ariel Pink’s Haunted Graffiti (7) 48
10 The Tallest Man on earth – The Wild Hunt (7) 46
11 Gorillaz – Plastic Beach (7) 39
12 Caribou – Swim (7) 25
13 Flying Lotus – Cosmogramma (6) 43
14 John Grant – Queen of Denmark (6) 39
15 Wavves – King of the Beach (6) 37
16/17 Avi Buffalo – Avi Buffalo (6) 36
16/17 Villagers – Becoming a Jackall (6) 36
18 Joanna Newsom – Have One on Me (5) 38
19 Balthazar – Applause (5) 28
20 No Age – Everything In Between (5) 25

en verder:
21 Broken Bells – Broken Bells (5) 24
22/23 The Soft Pack – The Soft Pack (4) 29
22/23 Sufjan Stevens – The Age of Adz (4) 29
24 MGMT – Congratulations (4) 26
25 Deerhunter – Halcion Digest (4) 25
26 Mount Kimble – Crooks & Lovers (4) 23
27 The Drums – The Drums (4) 22
28/29 Big Boi – Sir Lucous Left Foot… The Son of… (3) 22
28/29 The Roots – How I got over (3) 22
30 The Gaslight Anthem – American Slang (3) 21

De opvallendste verschillen tussen de beide lijsten zijn, dat Ariel Pink drie plaatsen naar beneden duikelt en vooral Caribou, dat maar liefst tien plaatsen stijgt – een album dat relatief veel deelnemers per se in hun lijstje wilden noemen, maar zelden echt hoog in een lijst werd gezet.
Enkele albums, zoals die van Yeasayer en Grinderman, zouden op basis van hun vier nominaties hier in de top-30 hebben gestaan. Hun totale puntenaantal was echter in beide getallen minder dan twintig. Dat kun je met twee deelnemers bij elkaar sprokkelen en wil ik dientengevolge niet meer als relevant meetellen.

Dan nu het echte werk. De relevantie van de lijst en de vraag hoe significant de verschillen zijn. Daarvoor gaan we terug naar de oorspronkelijke – maar wel gecorrigeerde – Oorlijst.

Wat de relevantie betreft:

– Er deden dit jaar vijftig samenstellers mee aan de jaarlijstjes. Dat is significant minder dan in 2009, toen er nog zestig deelnemers waren en 2008 met maar liefst 64 samenstellers. In 2007 waren er eveneens 50 samenstellers. In 2006 en 2005 werd er in beide gevallen door 44 samenstellers deelgenomen. Hoe meer deelnemers, hoe betrouwbaarder de statistiek en hoe meer mogelijkheden om de resultaten succesvol te analyseren en interpreteren.

– Die 50 deelnemers van 2010 hadden in theorie in totaal 10 x 50 = 500 verschillende albums kunnen nomineren. Ze nomineerden in totaal 270 albums, wat neerkomt op 5,40 ‘unieke albums’ per samensteller. Hoe meer unieke albums per lijstje, hoe meer de samenstellers van elkaar verschillen in hun opvatting wat de belangrijke platen van het jaar zijn. Ter vergelijking: In 2009 werd 5,53 uniek album pet samensteller genoemd. In 2008 was dat cijfer 5,03. In 2007 was het 5,56 en in 2005 was het 5,64. Daaruit mag je concluderen dat de samenstellers het in 2010 ietsje meer met elkaar eens waren dan in 2009, maar dat verschil is nauwelijks significant te noemen. Ook de jaren daarvoor was het beeld niet signicant anders.

– Van de 270 albums die in totaal genomineerd werden door de samenstellers van 2010, werden er maar liefst 188 slecht één keer genoemd. Dat is 70%. Op albums die slechts één keer genoemd worden is nauwelijks serieuze statistiek beoefenen. Één keer genomineerd worden is niet zelden een toevalstreffer. Wat ons bij de jaarlijsten interesseert zijn die albums waarover wellicht niet alle, maar toch veel samenstellers het eens zijn. Kortom 188 van de 270 genomineerde albums zijn eigenlijk slechts ‘ruis’ binnen de statistiek. De 70% ruis blijkt overigens tamelijk constant door de jaren heen. In 2009 was het ook exact 70%; de jaren daarvoor 1 of 2 procentjes meer of minder. Echter geen significante verschillen.

– Maar doen de 82 resterende albums, die dus twee of meer keer genomineerd zijn, er dan allemaal statistisch wel toe? Ook daar kun je serieuze vraagtekens bij zetten. Maar om dat te kunnen doen moet je eerst enkele premissen vaststellen:

– Statistiek berust uiteraard op cijfers. ‘Harde cijfers’ wordt wel gezegd. En ‘cijfers liegen niet’. Maar cijfers kunnen wel onzin verkopen als je ze niet op de juiste wijze interpreteert. En die interpretatie berust op aannames en afspraken die in de logica ook wel ‘premissen’ worden genoemd. Uit de individuele lijstjes van 50 recensenten, journalisten en programmeurs – kortom insiders – wordt de lijst samengesteld van albums die er toe doen. Stel nu eens dat je als minimumcriterium – of premisse – vaststelt dat een album interessant genoeg is om verder over te discussiëren als dat album door tien procent van de samenstellers wordt genomineerd (wat dus betekend dat negentig procent van de samenstellers de plaat in kwestie niet eens de moeite vind om ook maar op de tiende plaats in zijn of haar lijstje te zetten!). Daarmee is de lat voor een ‘relevant album’ toch behoorlijk laag gehouden lijkt mij. Door minimaal tien procent genomineerd betekent in het geval van de Oorjaarlijst 2010: door 5 samenstellers. Een blik op de Oor-lijst leert dan dat er onder de gedeelde plaats 16/17 – Avi Buffalo / Villagers – een dikke streep getrokken moet worden. Hoewel er iets voor te zeggen is om hier de ‘alternatieve, op het aantal nominaties gebaseerde, lijst te hanteren. Dan staat de streep een paar platsen lager onder nummer 21 (Broken Bells). Vorig jaar moest die streep nog een stuk ‘hoger’ getrokken worden – respectievelijk onder plaats 9 en 14 – dat wil zeggen dat er aantal platen waarop door minimaal 10% van de deelnemers gestemd is groter is dan vorig jaar – en dat verschil is significant – wat wijst op meer eensgezindheid.

– Dit geeft wel aan dat de ‘Bubbling Under lijst’ – de nummers 21 tot nummer 50 zoals Oor die ook publiceert, voor een belangrijk deel een wassen neus is. Na plaats 25 (Broken Bells) wordt het statistisch allemaal erg twijfelachtig en is er absoluut geen sprake meer van relevatie. Hot Chip staat bijvoorbeeld op nummer 50; maar als er nog één samensteller was geweest die dat album op nummer 1 in z’n persoonlijke lijstje had gezet, was dat album zomaar 25 plaatsen omhoog geschoten tot vlak onder Broken Bells. Kortom, vergeet de plaatsen 26 t/m 50 in de Bubbling Under-lijst; die tellen statistisch al helemaal niet meer mee.

– Maakt verder niet uit, want het zijn natuurlijk de bovenste platen die er echt toe doen. Maar hoeveel doen ze er toe? Ik heb hierboven mijn ‘één op tien’ premisse voor relevantie toegelicht. Laten we het echter nu eens niet over ‘relevante’, maar over ‘echt belangrijke’ platen hebben. Albums waar werkelijk over gesproken wordt in het popcircuit. Albums waarover iedereen wel een mening heeft. Wat voor criterium leg je daarvoor aan? Dat is natuurlijk wederom een aanname, een premisse. Omdat ik deze analyse in m’n eentje zit te typen is het volgende niet echt een ‘consensus’, maar ik hoop dat de lezer mijn aanname begrijpt. Ik stel, evenals voorgaande jaren, voor dat een ‘belangrijk album’ een album is dat door minimaal één op de vier samenstellers überhaupt de moeite waard wordt gevonden om in zijn of haar eindlijstje op te nemen – dat impliceert dus dat drie van de vier samenstellers zo’n album niet noemen. Ook die lat is toch niet onredelijk hoog gelegd, lijkt mij. Dan zijn de belangrijke albums die albums die minimaal 12 keer – naar beneden afgerond dus – genomineerd worden. Wat je dan overhoudt is de top-2 van bovenstaande lijst. Conclusie: Alleen m.b.t. Arcade Fire en The National bestaat er onder de Nederlandse recensenten en programmeurs die meededen aan de Oor-poll de consensus dat dat albums zijn die er werkelijk toe deden in 2010.

– Even ter vergelijking: In 2009 kwamen er ook twee albums uit die er volgens deze premissen werkelijk toe deden (The XX en Grizzly Bear). In 2008 waren dar er drie (TV on the Radio, Fleet Foxes en Vampire Weekend). In 2007 ook drie (Arctic Monkeys, Amy Winehouse en Arcade Fire)

– Ook interessant is de vaststelling hoeveel consensus er bestaat m.b.t. de nummer één positie. Je zou het aantal nominaties gedeeld door het aantal samenstellers het ‘nominatie quotiënt’ (NQ) kunnen noemen. En het aantal behaalde punten gedeeld door het maximaal haalbare aantal punten de ‘score quotiënt’ (SQ). Hoe hoger de quotiëntwaarde des te meer consensus er bestaat m.b.t. die plaat als ‘plaat van het jaar’. Als we kijken naar de nummer één albums van de afgelopen vier jaar, dan zien we:

Jaar album SQ NQ
2010 Arcade Fire 0,21 0,32
2009 The XX 0,18 0,27
2008 TV on the Radio 0,21 0,33
2007 Arctic Monkeys 0,20 0,28

Dit zijn geen grote verschillen, al is het verschil tussen 2010 en 2009 statistisch toch wel significant te noemen. Je kunt aan de hand van de statistiek vaststellen dat er onder de samenstellers in 2010 ietsje meer eensgezindheid was over de nummer één positie van Arcade Fire dan vorig jaar m.b.t. The XX. Maar het betreft hier een nuance.

Ook over de significantie van het rangorde in de jaarlijstje van 2009 kan nog wel wat opgemerkt worden:

– Bij de statistiek van wetenschappelijke meetresultaten is ‘significantie’ een belangrijk begrip. Een rekenmachine is een dom ding. Die berekent alle mogelijke gegevens die je er in stopt tot talloze cijfers na de komma. Maar je hebt alleen wat aan gemeten verschillen als je zeker weet dat dat verschil niet het gevolg is van toeval of van onnauwkeurigheden in de meetmethode of –apparatuur. Als je in de biologie de verontreiniging van slootwater wilt meten moet je er rekening mee houden dat ook water dat we als ‘schoon’ beschouwen nog een zekere hoeveelheid verontreiniging bevat. Moeilijker wordt het al met het analyseren van door enquètes verkregen kwantitatieve gegevens in de menswetenschappen. Als je honderd mensen interviewt en 49 zeggen dat ze prettig wonen in hun wijk terwijl 51 procent van de bewoners van dezelfde wijk zegt zich onprettig te voelen, is de conclusie dat een meerderheid zich onprettig voelt onzorgvuldig. Bij zo’n enquète spelen er zoveel verontreinigende factoren mee, dat die twee stemmen verschil absoluut geen significant onderscheid veroorzaken – al is het maar dat ‘klagers’ doorgaans eerder hun verhaal kwijt willen dan mensen met wie het prima gaat.. Als 90 mensen zeggen zich onprettig te voelen en 10 mensen prettig, dan kun je echter wel betrouwbaar van een duidelijke meerderheid spreken. Bij onze jaarlijstjes ligt het natuurlijk wel ietsje subtieler. Maar een redelijke aanname is dat een verschil significant is als die niet door één extra samensteller kan worden beïnvloed. Eén extra samensteller staat voor een verschil van maximaal 10 punten.

– Een blik op de jaarlijst 2010 leert dan dat de kloof tussen nummer 1 en 2 – Arcade Fire en The National – met 13 punten verschil zeker significant te noemen is. Tussen The National en nummer 3 The Black Keys is zelfs zestien punten verschil. En tussen The Black Keys en nummer vier, Gonjasufi, veertien punten verschil. Stuk voor stuk significante verschillen die niet veroorzaakt kunnen zijn door voornoemd gedefinieerde ‘ruis’. Het bevestigt de overtuigende positie van Arcade Fire en The National. De verschillen tussen Gonjasufi en Beach House en vervolgens tussen Beach House en Ariel Pink, respectievelijk 7 en 8 punten, voldoen al niet meer strikt aan de ’10 punten eis’. Daarna wordt het pas echt interessant: De elf albums van nummer 6 tot nummer 17 – van Ariel Pink tot de gedeelde positie voor Avi Buffalo en Villagers – vallen allemaal binnen een bereik van 12 punten. Oftwel: één extra poll-deelnemer die een van deze albums een 10 geeft kan bijvoorbeeld Joanna Newsom van plaats 14 naar plaat 7 laten schieten. De onderlinge verschillen zijn absoluut niet significant meer. Vergelijk het met een hardloper die met een teenlengte of een wielrenner die met een banddikte verschil wint. Die is niet per se sterker. Slimheid en geluk spelen daarbij een grote rol. Tussen plaats 16/17 en 18/19 zit weer en iets groter – maar ook nog niet werkelijk significant – gaatje van 7 punten. En vanaf dat moment, plaats 18/19 is iedere werkelijke significantie is puntenverschillen tussen de albums in de lijst verdwenen.

En verder nog:

– Er zijn nog wat andere aardige conclusies te trekken, zonder inhoudelijk op de keuzes van de samensteller in te hoeven gaan. De ‘meest representatieve’ en de ‘meest excentrieke’ samensteller, bijvoorbeeld. Wat eerstgenoemde betreft: Er is in 2010 één samensteller die bij wie alle tien genomineerde albums ook door minstens één andere deelnemer is genoemd. Die ‘meest representieve’ deelnemer is Joey Ruchtie van Rotown. Wellicht aardig om nog te vermelden dat vier albums uit zijn top-10 ook in de totaal top10 trug te vinden zijn. Vorig jaar waren er twee deelnemers zonder ‘unieke’ nominaties: Johan Gijsen van Tivoli en Jasper van Vugt van Oor. En 2008 waren er nog zes deelnemers zonder ‘unieke’ albums: Peter van Brummelen, Tom Engelshoven, Menno Pot, Arnold Scheepmaker, Ron van der Sterren en Atze de Vries. Er zijn dit jaar overigens zes samenstellers met maar één uniek album: Erik van den Berg, Gijsbert Kamer, Robert Meijerink, Marco Petersen, Koen Poolman, Menno Pot, Joris Rietbroek en Brit Stubbe.

– De meest excentrieke deelnemer is uiteraard die wiens lijstje het minst overeenkomt met enig ander lijstje. Dat was zowel in 2009 als in 2008 Marcel Haerkens. Dit jaar heeft hij echter niet aan de grote lijstjestombola deelgenomen en gaat de titel naar drie deelnemers die ieder negen albums nomineerden die door geen van de anderen genoemd werden: René Megens, Theo Ploeg en Tim Veerwater.

Tenslotte nog enkele trivia:
– Op een totaal van 270 genomineerde albums waren er in 2010 21 producten van eigen bodem (Daarbij reken ik ook deels Nederlandse albums als De Dijk + Solomon Burke, Solex + John Spencer en Spinvis + Geke Arnaert mee, omdat die toch uitsluitend of grotendeels voor de Nederlandse markt bestemd zijn). Dat is 8 %. Een gelijk percentage als in 2009 en 2008. Geen van de 21 genomineerde Nederlandse albums haalde echter de top 20 – of zelfs de in Oor gepubliceerde top 50! En dat is een verschil met vorig jaar. In 2009 stonden er nog 3 vaderlandse albums in de top-20 (Moss, Anne Soldaat, De Staat) en in 2008 was dat er één. In 2008 werden 10 van de 26 genomineerde Nederlandse albums door méér dan één samensteller genoemd. In 2009 waren dat er 14 van de 26. In 2010 zijn dat er 6 op de 21. En geen enkel Nederlands album werd in 2010 door meer dan twee samenstellers genoemd. Waaruit we de conclusie mogen trekken dat geen enkele van de 21 genomineerde Nederlandse albums in 2010 er als werkelijk statistisch relevant uitspringt.

– Een laatste feitje: Bij de 60 samenstellers van de jaarlijst 2009, vorig jaar, zat geen enkele vrouw. De Oorredactie heeft zich dat blijkbaar aangetrokken, want dit jaar, 2010, waren dat er weer drie, net als in 2008. In 2007 en 2006 waren het er 2. Ik laat een ieder zijn/haar eigen conclusie. En uiteraard zijn het doorgaans mannen die hun tijd doden met onbenulligheden als lijstjes, voetbal en religie. Maar, zoals ik ook vorig jaar al vaststelde, het maakt natuurlijk wel nieuwsgierig waar de andere helft van de Nederlandse bevolking naar luistert.

Tot volgend jaar maar weer,

Peter Bruyn