Patiëntervaringen meten met open vragen: hoe krijg je snel inzicht in verbeterpunten?

Op deze pagina vindt u een aantal artikelen over waardegedreven zorg. Bijvoorbeeld over het meten van uitkomsten, waaronder PROMs, en het vormen van Integrated Practice Units, maar ook over samenwerken binnen waardegedreven zorg.

Binnen het LUMC ligt een schat aan patiëntervaringen te wachten op analyse. Deze ervaringen zijn gemeten met vragenlijsten, die open vragen bevatten om patiënten de gelegenheid te bieden hun ervaring toe te lichten.

Het kost veel tijd om deze gegevens te analyseren en om de antwoorden te lezen, labelen en categoriseren. In het tijdperk van digitalisering kan artificial intelligence (AI) een uitkomst bieden. Simone Cammel, Customer Engineer Google, bekeek samen met Hileen Boosman, Programmamanager VBHC deelprogramma Wetenschap, LUMC, naar de bruikbaarheid van Natural Language Processing (NLP) om deze analyse (semi)-automatisch uit te voeren en zo verbeterpunten op te sporen.

Wat hebben Simone en Hileen  gedaan?

Om de bruikbaarheid van NLP, niet te verwarren met neurolinguistisch programmeren, te onderzoeken keken ze naar de open antwoorden van 23.000 patiënten op de vragen ‘wat ging opvallend goed tijdens uw opname?’ en ‘wat ging minder goed tijdens uw opname?’. Vervolgens keken ze of de gebruikte NLP-methode ook toe te passen is op de antwoorden van 2600 patiënten die behandeld zijn in een ander ziekenhuis: het Haaglanden Medisch Centrum (HMC).

Hoe hebben Simone en Hileen dit gedaan?

De kwaliteit van de data speelt een grote rol in de kwaliteit van de resultaten; ‘garbage in is garbage out’. Een eerste belangrijke stap was dan ook het verhogen van de kwaliteit. Dit houdt onder andere het automatisch corrigeren van spelfouten en het verwijderen van niet-tekstuele tekens in. Door middel van sentimentanalyse labelden de onderzoekers ieder antwoord op een schaal van heel positief tot heel negatief. Vervolgens is ‘topic modelling’ gebruikt om onderwerpen te destilleren uit de opgeschoonde antwoorden. Hierbij is rekening gehouden met het feit dat sommige woorden vrijwel hetzelfde betekenen, zoals ‘dokter en ‘arts. Omdat onderwerpen die bestaan uit slechts één woord (bijv. ontslag) vaak te algemeen zijn om richting te geven aan kwaliteitsverbetering, is daarnaast gekeken naar zogenaamde ‘n-grams’. Een n-gram is een combinatie van woorden die het subonderwerp weergeven (zie voorbeeld). Om inzicht te krijgen in de belangrijkste onderwerpen voor het vieren (behouden wat je doet), verbeteren of monitoren (checken of het goed blijft gaat) hebben de onderzoekers de indicator ‘impact’ gebruikt. Deze indicator is gebaseerd op een combinatie van waarschijnlijkheid (frequentie) en ernst (sentiment).

Voorbeeld: N-gram analyse term operatie
Operatie: 4 N-grams:
1. Narcose oog operatie;
2. Wachtruimte operatie;
3. Onzekerheid gedurende tijd van operatie;
4. Het uur voor de operatie.

 
 

Als laatste stap is de NLP-methode gebruikt om de ervaringen van patiënten uit het HMC in kaart te brengen. Naast vergelijkbare onderwerpen kon het model ook unieke onderwerpen opsporen die door patiënten uit het LUMC niet genoemd waren. Het lijkt er dan ook op dat niet elk ziekenhuis een eigen team van datawetenschappers nodig heeft, maar dat het mogelijk is NLP-methoden te delen. 

Conclusie van de studie

NLP kun je gebruiken om onderwerpen te distilleren uit vrije tekstvelden in  vragenlijsten over patiëntervaringen. Op basis hiervan krijg je snel inzicht in ervaringen om te vieren, verbeteren of monitoren. De formulering van de open vraag speelt een belangrijke rol in de uitkomsten van de analyse. Daarom wordt in het LUMC momenteel geëxperimenteerd met alternatieve vraagstellingen die mogelijk meer geschikt zijn voor analyse met NLP. 

Auteurs

Simone Cammel, Customer Engineer Google
Hileen Boosman, Programmamanager VBHC deelprogramma Wetenschap, LUMC

Contact

Hileen Boosman | h.boosman@lumc.nl

Referentie volledige artikel

Cammel, S.A., De Vos, M.S., van Soest, D. et al. How to automatically turn patient experience free-text responses into actionable insights: a natural language programming (NLP) approach. BMC Med Inform Decis Mak 20, 97 (2020). https://doi.org/10.1186/s12911-020-1104-5

Afbeeldingen

Twitter

0  reacties

Volg Linnean online

  

Over ons

Het Linnean Initiatief is een landelijk netwerk van koplopers en aanjagers van waardegedreven zorg. 

Lees meer

Linnean-netwerk

Ook deelnemen aan het Linnean-netwerk?
Sluit u aan bij het netwerk.

Contact

Stichting Linnean Initiatief
KvK: 75738007

Neem vooral contact met ons op voor meer informatie, tips of suggesties.

linnean@zinl.nl
Contact

 

 

Cookie-instellingen
Cookie-instellingen sluiten

Cookie-instellingen

Deze website maakt gebruik van cookies. Lees meer over cookies in onze cookieverklaring.


Deze cookies verzamelen nooit persoonsgegevens en zijn noodzakelijk voor het functioneren van de website.

Deze cookies verzamelen gegevens zodat we inzicht krijgen in het gebruik en deze website verder kunnen verbeteren.

Deze cookies zijn van aanbieders van externe content op deze website. Denk aan film, marketing- en/of tracking cookies.