Management Team constateert in de Top 100 van beste adviesbureaus – net als onlangs Incompany – dat de economische crisis invloed heeft op de traditionele machtsverhoudingen in de advocatuur. Cliënten kijken kritischer naar de prijs-kwaliteitverhouding, en middelgrote en kleine gespecialiseerde advocatenkantoren profiteren daarvan. Maar waarom staat de nummer 1 van Management Team, Nysingh, bij de Incompany100 op nummer 22? En waarom komt omgekeerd Baker & McKenzie, de nummer 1 van Incompany, bij Management Team niet voor in de ranglijst?
De verschillen tussen beide rankings zijn groot. De nummer 4 van Incompany, Holla Poelman, komt niet voor in de MT100. De nummer 5 van Management Team, Hekkelman, staat in de Incompany-ranglijst op nummer 14. En zo is er nog een lange reeks voorbeelden te noemen. Alleen Stibbe staat bij zowel Incompany als Management Team op nummer 3.
MT-redactiechef Thomas Braun vindt de verschillen lastig te verklaren. “Ook in onze eigen onderzoeken zie je vaak enorme variaties ten opzichte van de jaren ervoor. Het punt is dat managers niet gevraagd wordt uit te leggen waaróm ze een bepaalde beoordeling geven. Dat zou meer helderheid scheppen, we zijn dat in de toekomst ook van plan.”
Ook bij de Incompany100 zijn de jaarlijkse verschillen behoorlijk groot. De vraag is hoe je dit soort rankings als kantoor en cliënt moet interpreteren. Woordvoerder Roel Laumans van MT-winnaar Nysingh: “Natuurlijk zijn we blij als we eerste worden en niet blij als we 22ste worden. We herkennen ons ook veel meer in de MT-ranking, op basis van intern onderzoek dat we hebben uitgevoerd. Maar ondanks het feit dat deze onderzoeken publicitair heel interessant kunnen zijn wanneer een kantoor goed scoort, is het is heel moeilijk om de betrouwbaarheid van dit soort rankings in te schatten. Ik weet bijvoorbeeld niet hoeveel respondenten commentaar hebben geleverd op Nysingh. Dat kunnen er 12 zijn geweest, of 35.”
“De onderzoeksmethoden van Incompany en Management Team zijn heel anders,” zegt ook hij. “Ik kan niet zeggen dat ik het ene onderzoek betrouwbaarder vindt dan het andere. Absoluut niet.”
Niet te vergelijken
Managing partner René Gerhardus van Incompany stelt dat je de Incompany100 en de MT100 niet met elkaar kunt vergelijken. “Ten eerste is de steekproef van Incompany groter,” zegt hij. “Dat zie je bijvoorbeeld aan het aantal organisaties dat de ranking haalt. Bij Incompany halen 33 advocatenkantoren onze drempel van minimaal 15 commentaren, terwijl bij Management Team 14 advocatenkantoren hun ondergrens van 12 bereiken. Met onze ondergrens van 15 commentaren hadden op hun ranglijst misschien maar 9 of 10 advocatenkantoren gestaan.”
De tweede verklaring is de methodiek, legt Gerhardus uit. “Bij Incompany bepaalt het gemiddelde oordeel op 18 aspecten het overallcijfer, en dus de positie in de ranking. Bij Management Team worden de antwoorden ‘uitstekend’, ‘zeer goed’ en ‘goed’ bij elkaar opgeteld in een topbox, waarbij het bedrijf met het hoogste percentage bovenaan staat.
Bij Management Team hebben negatieve antwoorden geen invloed, want antwoorden als ‘slecht’ en ‘redelijk’ tellen niet mee in de topbox. In Incompany drukt een zeer ontevreden klant wél zwaar op het gemiddelde cijfer. Ik vermoed dat Nysingh bij Management Team op de eerste plaats is belandt omdat het leed bij een bepaalde groep klanten niet is meegeteld. Dat is mijn voorzichtige conclusie.” Gerhardus benadrukt dat beide methoden vaak worden toegepast, en dat zowel de Incompany100 als de MT100 zijn uitgevoerd door gerenommeerde onderzoeksbureaus.
Feit blijft dat lezers van deze onderzoeken met grote vraagtekens achterblijven. Roel Laumans van Nysingh: “Wat ik zelf zou doen, is het minimale aantal respondenten ophogen naar bijvoorbeeld dertig. Dan wordt de kans op willekeur en grote schommelingen kleiner.”
Management Team 100, de top vijf van advocatenkantoren:
1: Nysingh (bij Incompany op 22)
2: KienhuisHoving (bij Incompany op 10)
3: Stibbe (ook in Incompany op nr. 3)
4: Dirkzwager (bij Incompany op 12)
5: Hekkelman(bij Incompany op nr. 14)
InCompany 100, de top vijf van advocatenkantoren:
1: Baker & McKenzie (staat niet in de top 14 van MT100)
2: Holland van Gijzen (op nr 8 in MT100)
3: Stibbe (staat ook op nr. 3 in MT100)
4: Holla Poelman (staat niet in de top 14 van MT100)
5. Trip (nummer 11 in MT100)