Met datacollectie bedoelen we het stellen van vragen en het opslaan van antwoorden. Er zijn veel datacollectiemethoden. Maar eerst dit even: hoe meer je kunt luisteren, hoe beter het is! EFM verzamelt klantfeedback dus in grote volumes. Immers, we willen voor alle relevante doorsnijdingen van de organisatie over voldoende data beschikken om zinvol te kunnen rapporteren en betrouwbare verbetersuggesties te kunnen geven. Denk bijvoorbeeld aan rapportage op medewerkerniveau, of aan de afhandeling van klachten over de eerste rekening van een nieuwe klant voor een bepaalde dienst. Dat zijn kleine doelselecties waarvoor je een minimum aantal waarnemingen wilt hebben om zinnige uitspraken te kunnen doen.

Voor EFM zijn, verspreid over alle contactkanalen, duizenden of tienduizenden interviews per maand dus volkomen normaal. Telefonische onderzoeken (CATI), om maar niet te spreken van papieren interviews (PAPI), zijn vanwege de kosten voor EFM geen optie. Dan blijven dus over: IVR, SMS, online en mobiel/online. In deze artikelenreeks passeren alle voor EFM geschikte datacollectiemethoden de revue. Ze worden beoordeeld op nieuwe criteria en criteria die in het vorige artikel ter sprake kwamen omdat ze evident zijn voor EFM. We beginnen met SMS.

Hoge respons, maar kostenefficiënt?
Gartner zag in 2006 grote voordelen in SMS, toen het schreef dat 94% van alle SMS’jes werd gelezen en dat 82% binnen 1 uur werd beantwoord. Wat het bureau vergat te zeggen, is dat die cijfers niet op EFM-onderzoek van toepassing zijn. Zeker is wel dat SMS een hoge respons genereert. Maar kostenefficiënt is SMS niet echt. Zelfs met een response van 40% reageert 60% van de mensen niet op een uitnodiging voor feedback via SMS. Kortom, 60% van de kosten voor een uitnodigings-SMS gaat in rook op. Daarbij komt nog dat we in Nederland geen gratis SMS-nummers kennen, en de klant dus meebetaalt aan de feedback. Geen sterk punt.
Het grote aantal interviews, zelfs als ze kort zijn, levert een flinke kostenpost op. Want voor iedere vraag is één SMS nodig, net als voor ieder antwoord. Bij een interview van 1 uitnodiging en 3 vragen komen we uit op 7 SMS’jes, antwoorden meegerekend. En omdat we met grote aantallen werken tikt het snel aan. Reken maar uit: 20.000 uitnodigingen per maand, 35% response, dus 7.000 complete interviews van 3 vragen leveren al meer dan 50.000 SMS’jes op. De kosten zijn dus hoog, variabel, terugkerend en niet voorspelbaar.

Actionability
Respect voor de klant is in het vorige artikel als een belangrijk punt in EFM naar voren gekomen. Respondenten noemen SMS een opdringerig medium, blijkt uit onderzoek naar SMS als datacollectietool voor onderzoeksdoeleinden. Daar staat tegenover dat een SMS-vragenlijst kort is: doorgaans niet langer dan 3 tot 4 vragen, waarbij de klant zelf bepaalt wanneer hij antwoordt. Dat is vanuit klantperspectief prima, maar voor de onderzoeker allerminst. Want 3 of 4 vragen zijn voor onderzoeksdoeleinden niet genoeg.
De actionability van SMS-surveys is daardoor laag. Je kunt zo weinig met de scores. Een key driveranalyse, op zichzelf nog steeds niet actionable, heeft ook weinig zin bij 3 of 4 vragen waarvan er meestal één nog een ‘open vraag’ is. Die open antwoorden kun je natuurlijk wel linken aan de NPS of tevredenheidsvraag. In combinatie met tekstanalysetools kun je dan proberen duizenden open antwoorden naar inzichten te vertalen. Maar stel je daar niet teveel van voor. Tag-clouds, wordles en tekststatistieken zien er misschien cool uit, actionable zijn ze allerminst. Ze vertellen je niet in welke volgorde je de zaken aan moet pakken en ook niet precies wát je moet doen. Ze geven hooguit wat kleur aan de scores.
Bovendien heb ik als onderzoeker weinig vertrouwen in de nauwkeurigheid van tekst-miningtools (zeker niet in onze taal) en kun je met de open einden niets anders dan ze doorlezen en eventueel classificeren. Via SMS kom je dus niet verder dan meten; managen van de customer experience lukt gewoon niet door de beperkte diepgang van de data (zie deel 1, vorige editie).

Achtergronddata
Voor EFM zijn achtergronddata erg belangrijk. Want je wilt de context van de feedback weten: van welke klant, klantsegment, product, de contactreden, de klantwaarde, et cetera, om later flexibel de data te kunnen doorsnijden met het doel te leren wat je moet doen om te verbeteren. Bij een ‘outbound’ SMS-uitnodigingsproces heb je die achtergronddata beschikbaar, niet als je SMS ‘inbound’ gebruikt. Dan nodig je klanten uit om een SMS naar een bepaald nummer te sturen om daarna met het interview te beginnen. Daar kun je bijvoorbeeld QR-codes bij gebruiken. Dan zijn geen achtergronddata beschikbaar en weet je - zonder extra handelingen - dus niet van welke klant de feedback is, waar de klant was, wat hij deed, et cetera.
Een ander groot nadeel van een ‘inbound’ proces is wat we in onderzoek ‘zelfselectie’ noemen. Zelfselectie levert vertekende data op, in dit geval door polarisatie. Er zijn namelijk relatief meer waarnemingen aan de uiteinden van de schaal, omdat klanten met uitgesproken positieve en negatieve ervaringen eerder zullen reageren. (Ook social media leiden extreem zwaar onder het fenomeen zelfselectie. De polarisatie van data is enorm. Interessant om naar te luisteren misschien, maar (nog) niet zo actionable als gestructureerde feedback. Het ontbreekt aan achtergronddata en er is geen gestructureerde feedbackdata om de tekst aan te linken en te helpen interpreteren. Tekst- en sentimentanalyse zijn wel mogelijk, maar ik beschreef al waarom ik er niet zo’n fan van ben.)
Sneller dan e-mail
Bij EFM willen we zoveel mogelijk feedback verzamelen. Het responspercentage is daarbij een sleutelfactor. Respons is bij SMS doorgaans hoog. Bijna iedereen leest het en nog sneller dan e-mail. Hierdoor is het zonder twijfel een succesvolle methode om klanten uit te nodigen tot het geven van feedback, ook voor een mobiel-online interview als je geen of onvoldoende e-mailadressen hebt. Want je kunt met SMS een hyperlink versturen die naar een mobiel-online survey linkt. De penetratie van smartphones en mobiel internet zijn in Nederland hoog genoeg voor zo’n aanpak.
Het demografisch profiel van de respondent geeft bij SMS geen reden tot zorg. Volgens onderzoek van Pingitore en Seldin van JD Power & Associates is er geen reden om aan te nemen dat er afwijkingen zijn, omdat SMS kennelijk breed wordt gebruikt. Mannen zijn iets oververtegenwoordigd, ouderen iets ondervertegenwoordigd en de rest is feitelijk prima. Daarmee scoort SMS iets slechter dan mobiel-online.

160 tekens
Vraagtypen en antwoordschalen zijn in EFM zeer bepalend voor de waarde van je data en wat je ermee kunt. Ordinale vragen (rangschikking, bijvoorbeeld een schaal van 1 tot 5) zijn zonder meer geschikt voor SMS. Dat geldt ook voor open vragen. Maar nominale vragen (naamgeving, bijvoorbeeld een lijstje met root-causes voor detraction) zijn niet mogelijk via SMS. En die vragen worden juist bij EFM veel gebruikt om root-causes vast te stellen en te prioriteren. In één SMS kun je namelijk maar 160 tekens kwijt. Dat is al weinig voor een ordinale vraag waarin je de vraag én de schaal moet uitleggen. Maar 160 tekens zijn zonder meer te weinig voor een nominale vraag. Je kunt SMS-jes koppelen, maar dat is duur en (nog) niet iedere mobiele telefoon kan dat aan. Het gevolg is dat feitelijk alleen korte ordinale vragen en open vragen zijn te stellen. Dat maakt de mogelijkheden van SMS voor onderzoeksdoeleinden beperkt.
De verklarende waarde (eigenlijk de determinatiecoëfficiënt R²) is een getal dat informatie geeft over de mate waarin een onderzoeksmodel de werkelijke data benadert. Die verklarende waarde is door het geringe aantal vragen, de beperking in vraagsoort en schaal te laag om serieus genomen te worden.

SMS-internetplatform
Indien je in meerdere landen een onderzoek met SMS wilt uitvoeren, komt er een schakel bij en stijgen de kosten. Om die te vermijden, kun je met een SMS-aanbieder samenwerken die een wereldwijd SMS-internetplatform aanbiedt, waardoor je met meerdere telecomoperators tegelijkertijd samenwerkt. Controleer dan tevens of in sommige landen voor het ontvangen van een SMS moet worden betaald. En vergeet ten slotte niet de lokale SMS-gedragscode te controleren. Voor Nederland hebben we er ook een.

Beperkingen
De haalbare interviewlengte is normaliter geen probleem voor EFM. Sowieso zijn de interviews kort. Want hoewel een goed EFM-systeem uit een bibliotheek van honderden vragen kan putten, stelt het alleen de relevante vragen. Bij gebruik van nominale vraagtypen kan het dan beperkt blijven tot 5 of 6 vragen. Omdat SMS geen nominale vragen aankan én de ‘completion-rate’ van het kanaal ook nog eens het laagst is van alle datacollectiemethoden - de respondent begint al na 3 tot 4 vragen af te haken - is SMS als datacollectiemethode voor EFM zinloos. In specifieke situaties is SMS als onderzoeksmedium heel bruikbaar. Zo ken ik een studie in Kenia en Tanzania waarbij tienduizenden boeren dagelijks via SMS hun data opsturen in een longitudinale dagboekstudie. Er is daar simpelweg geen andere manier om met de boeren te communiceren. In Zuid Afrika, delen van Azië en het Verenigd Koninkrijk wordt SMS meer gebruikt voor onderzoek dan in Nederland. De reden? Het betreft gratis SMS-nummers.

Samenvattend
Via SMS kun je de customer experience oppervlakkig meten. Maar SMS stelt je niet of nauwelijks in staat de customer experience te managen. Door de grote volumes wordt SMS vrij duur, niet klantvriendelijk, zijn er geen root-causes mee bloot te leggen en heeft zelfs een key-driveranalyse weinig zin. SMS geeft onvoldoende diepte waardoor de actionability zwaar onder druk komt te staan. Hierdoor adviseer ik SMS voor EFM niet als interviewmedium te gebruiken. SMS is wel geschikt om klanten uit te nodigen voor een mobiel-online interview.

Tekst: Rob Huijboom