Vraag

Antwoord

Algemeen

· Voor het realiseren van waardegedreven zorg is het toch niet noodzakelijk om patiëntervaringen in de spreekkamer te bespreken?

Dit ligt aan uw focus. Als u onder waardegedreven zorg samen beslissen verstaat, is dit zeker een optie om de kwaliteit voor het individu te verbeteren. Als u groepsscores wilt vergelijken om de kwaliteit van zorg te verbeteren, dan niet. Zie ook het voorbeeld van Marinella Offerman vanaf minuut 09:34.

· Welke vragen kunnen wij stellen om waarden in de zorg uit te vragen aan patiënten?

Denk hierbij aan de drie goede vragen: https://3goedevragen.nl/. In onderzoeksverband kunt u focusgroepen houden of via vragenlijsten waarden uitvragen. Bekijk de webcast vanaf minuut 2:25:12.

· Wat is het grootste obstakel om patiënten zelf mee te laten beslissen in de gezondheidszorg?

Zorgverleners zijn geneigd om na 15 seconden het woord van patiënten over te nemen. Neem de tijd om patiënten te laten vertellen wat zij belangrijk vinden.

· Hoe kunnen we (het gebruik van)de PREM verder ontwikkelen?

Er zijn al veel PREMs. Zie vragen 12 - 16 van het PREM zakboekje. Kies een PREM of delen ervan en ga deze vooral gebruiken.

· Kunnen we PREMs binnen verschillende zorgpaden met elkaar vergelijken en is eenzelfde PREM wel toepasbaar op verschillende zorgpaden?

Er zijn algemene PREMs, zoals voor Medisch specialistische zorg. Kijk vooral naar welke PRE (patiënt gerapporteerde ervaringen) u wilt meten passend bij het zorgpad en patiëntenpopulatie.

· Beperkt waardegedreven zorg niet de autonomie van de medisch specialist ?

Met waardegedreven zorg wordt waarschijnlijk samen beslissen bedoeld. Onderzoek laat zien dat door met patiënten samen te beslissen ze minder spijt hebben over hun keuze en dat de tijdsbesteding binnen het gesprek anders is. Alles draait om voor de patiënt de best passende keuze te maken.

· De zes pijlers van positieve gezondheid gebruiken om de patiëntervaringen gedurende het gehele traject te meten en te evalueren. De patiënt neemt hierin de regie, niet het ziekenhuis, Hoe denken de PREM-deskundigen hierover?

De patiënt centraal stellen is het uitgangspunt. Hiervoor kunnen verschillende methoden gebruikt worden. Positieve gezondheid is er daar één van.

· Hoe differentieer je in patiënten ‘noden’?

Denk hierbij aan de drie goede vragen https://3goedevragen.nl/ . In onderzoeksverband kunt u focusgroepen houden of via vragenlijsten waarden uitvragen. Bekijk de webcast vanaf minuut 2:25:12. Voor methoden kunt u ook kijkene op https://participatiekompas.nl/ of Co-creatie Impact Kompas 

· Hoe is deze 'hotel maat' te gebruiken voor een valide vergelijk / score voor ziekenhuis performance?

De PREMs, toen CQ-index genoemd, is in het verleden gebruikt om scores van zorginstellingen te vergelijken. Zie hiervoor een tool op zorginzicht.nl

· Op welke wijze zet je PREMS zo effectief mogelijk in?

PREMs kun je op verschillende manieren gebruiken, op individueel niveau, maar ook op groepsniveau. Afhankelijk van uw doel, kunt u hiervoor keuzes maken. Zie ook de vragen en antwoorden in het PREM zakboekje.

· Hoe kun je uitkomsten van PREM koppelen/gebruiken voor de PROM?

PREMs meten de kwaliteit van zorg, het proces. PROMs meten de uitkomsten. Afhankelijk van de onderwerpen in de vragenlijsten kunt u kijken of er een interactie tussen beide mogelijk is. Zie ook het antwoord op vraag 24 van het PREM zakboekje.

· Hoe ga je om met de diversiteit aan wensen van verschillende vakgroepen en afdelingen?

Daar moet u een keuze in maken. Of u laat het vrij, hierdoor krijgt u verschillende vragenlijsten. U kunt een deel standaardiseren, bijvoorbeeld een module met vragen die voor alle vakgroepen en afdelingen gelijk is (kan per jaar verschillen, afhankelijk van de speerpunten van een organisatie), of u kiest een vragenlijst die voor iedereen gelijk is.

Anonimiteit

· Kunnen PREMs die niet anoniem afgenomen worden wel worden vertrouwd?

De ervaringen van Monique Klerkx zijn hierin positief. Patiënten (vrouwen en jongeren) geven zeker hun mening. Bekijk de webcast vanaf minuut 31:13.

Marinella Offerman geeft aan dat KNO-patiënten (62+ jaar en man) dit wel lastig vinden omdat ze de relatie niet op het spel willen zetten. Deze relatie duurt minimaal 5 jaar. Ze bekijken meer de data op groepen, wat er wordt gedacht over aspecten van de zorg. Ze nodigen mensen wel uit als ze een minder prettige ervaring hebben. Bekijk de webcast vanaf minuut 39:01.

Kijk goed naar uw doel en uw doelgroep en bepaal aan de hand daarvan of anoniem wel/niet gewenst is.

· Uitgangspunt bij PREMs is vaak dat patiënten anoniem hun feedback kunnen geven: hoe verhoudt dit uitgangspunt zich tot het bespreken van PREMs met de patiënt?

Dit uitgangspunt is afkomstig van de tijd dat we met de CQ-index groepen ervaringen vergeleken. Dit was voor het doel benchmarken. Als u een ander doel centraal zet, bijvoorbeeld kwaliteit van zorg verbeteren voor iedere patiënt, dan is dit zeker een optie. In het PREM zakboekje -vraag 12 stellen we dat u deze keuze aan de patiënt kunt voorleggen. Bekijk ook de webcast vanaf minuut 2:21:54.

· PREMs worden veelal anoniem uitgevraagd. Worden in deze voorbeelden hier vanaf gezien? in welke vorm zijn PREMs opgenomen in een dashboard? gekoppeld aan enige klinische data?

In het voorbeeld van geboortezorg wordt hier inderdaad vanaf gezien. De PREM-scores zijn zichtbaar in MijnAmphia, zowel voor zorgverlener als patiënt. De klinische data zijn hieraan gekoppeld, dit geeft een meerwaarde aan de vragenlijsten. Bekijk meer over integraal geboortezorg dossier vanuit minuut 25:40 en koppeling met ander data vanaf minuut 29:48. Bekijk de webcast vanaf minuut 31:13 over eerlijkheid van invullen.

Erasmus MC toont de Zorgmonitor tijdens de webcast, bekijk dit vanaf minuut 08:09

Wat is de meerwaarde van het bespreken van de PREM met de patiënt? Durft de patiënt dan nog eerlijk te zijn over zijn ervaringen, aangezien de patiënt toch afhankelijk is van de behandelaar/ het ziekenhuis? Dat is de kracht van anoniem reageren, denk ik? Daarnaast heb ik de vraag hoe je ervoor kunt zorgen dat de patiënt niet overvraagd wordt en hoe zorg je ervoor dat de verschillende vragen elkaar aanvullen/ versterken in plaats van dubbel uitvragen. Instellingsbreed worden vragenlijsten uitgezet, maar ook op afdelingsniveau, voor bepaalde accreditaties moet je specifieke gegevens verzamelen, etc. 

Door de PREMs te bespreken creëert u meerwaarde voor de patiënt, de patiënt is hierover eerlijk bij het voorbeeld van geboortezorg. Over meerdere vragenlijsten, zie antwoord op vraag 23 van het PREM zakboekje.

Over het bespreken van de resultaten in de spreekkamer (1:1) en de meerwaarde hiervan  vertelt Marinella Offerman meer tijdens de webcast, zie vanaf minuut 8:55. Het vergroot de kwaliteit van zorg, versterkt de positie van de patiënt omdat hij een betere gesprekspartner is en je maakt de zorg toekomstbestendig.

Over meerdere PREMs, zie vanaf minuut 10:30.

Hebben jullie veel gesproken over het niet-anoniem invullen en het kunnen herleiden van vragenlijsten voor zwangeren?

Monique zag dit als een kans voor de cliënt om haar ervaringen te melden. Haar het gevoel geven gehoord te geven en haar aandacht geven voor haar wensen. Ze ziet het zelf ook als een kans. Bekijk de webcast vanaf minuut 34:43.

Randvoorwaarden

· Hoe zorg je er voor dat je patiënt niet vragenlijstjes-moe wordt?

Door patiënten te vertellen waarvoor je de resultaten gebruikt, zijn zij vaak bereid vragenlijsten in te vullen. Daarnaast dient per zorgorganisatie rekening gehouden te worden met welke patiënten de vragenlijsten ontvangen. Zie ook antwoord op vraag 23 van het PREM zakboekje.

· Hoe de verschuiving te maken van afdelingsspecifieke naar aandoeningsspecifieke PREMS? Wat mis je dan? Wat kun je doen tegen overbevraging?

 Er zijn diverse aandoeningsspecifieke PREM-vragenlijsten. Zie zorginzicht.nl of metenpatientervaringen.nl. Zie antwoord op vraag 13 PREM zakboekje.

· Op welke momenten meet je PREMs?

Dit is per aandoening/sector verschillend. Vaak direct nadat de zorg geboden is of mensen uit de zorg zijn. Kijk ook naar vragen 7-12 over PREM implementeren van het PREM zakboekje

Rol van...

· Waardegedreven zorg en PREMs; welke rol speelt de mantelzorger en hoe wordt deze betrokken? Met welke kleine stappen zouden we nu moeten implementeren om al snel resultaat te zien (zodat de patiënt dit resultaat ook daadwerkelijk ervaart)

 Bij een aantal PREM-vragenlijsten worden ouders of naasten gevraagd. Dit is afhankelijk van het onderwerp en de doelgroep van de vragenlijst. Dit is een keuze.

· Hoe maken we PREMs overzichtelijk? Wat zijn de 5 belangrijkste vragen om te stellen?

De vijf belangrijkste vragen verschillen per doel en doelgroep. Vaak bevat een PREM vragen over communicatie (luisteren, aandacht, vertrouwen in deskundigheid), informatievoorziening, bejegening, samen beslissen (bespreken voor- en nadelen) en samenwerking tussen zorgverleners of afdelingen.

· Hoe adresseren we grote populaties patiënten? Hoe zorgen we ervoor dat we de zorgverzekeraars doordringen met de toegevoegde waarde van PREMs in waardegedreven zorg en hun rol daarin?

Het uitvragen van vragenlijsten moet altijd gezien worden in het kader van het beoogde doel. Als u wilt benchmarken, zijn grotere groepen nodig, dan al wilt u de kwaliteit van zorg voor een afdeling verbeteren.

Hoe verbeter je op basis van resultaten van de PREM?

In de webcast over patiëntparticipatie vertelde Dayenne Zwaagman hierover. Bekijk het fragment hier terug. Bekijk daarnaast de antwoorden op vraag 30 en 31 van het PREM zakboekje.

Gebruik van resultaten

· Hoe gebruik je de PREM-resultaten nu goed binnen het ziekenhuis? Zowel de antwoorden op open- als gesloten vragen. Zijn daar goede, praktische voorbeelden van? En zijn er ziekenhuizen die PREM-resultaten koppelen aan andere uitkomstdata en op die manier naar (PREM overstijgende) trends in kwaliteitsonderwerpen kijken?

LUMC ziet PREMs als één van de zeven bronnen om kwaliteit van zorg te verbeteren.

Daarnaast zijn er een aantal verhalen opgehaald:
-Haaglanden Medisch Centrum
-Maartenskliniek - leren van elkaar
-PREM wijkverpleging
-Inzicht in verbeterpunten

· Hoe worden PREMs in de praktijk laagdrempelig en begrijpelijk uitgevraagd?

Bekijk het antwoord op vraag 11 PREM zakboekje of het voorbeeld van Haaglanden Medisch Centrum

· Aandachtspunten/tips voor het uitwisselen van gegevens tussen afdelingen en/of instellingen

In het voorbeeld van geboortezorg wordt alles geregistreerd in één omgeving: MijnAmphia. Bekijk ook meer over integraal geboortezorg dossier vanuit minuut 25:40 en over buddy-spreekuur vanaf minuut 26:36.

· Hoe kunnen we de uitvraag van patiëntwaarderingen zo inrichten in Cure dat het enerzijds zo direct mogelijke informatie geeft voor verbetering maar anderzijds geen overload qua inzet van tijd / mensen vraagt?

Veel werk (vragenlijsten versturen, herinneringen, dashboards) kan geautomatiseerd verlopen.

· Wat is de 'beste' PREM-meetmethode? Wat zijn de vereisten daarvoor? Is het CARE?

Er is niet één beste methode. Dit is afhankelijk van uw doel en doelgroep.

· In welke mate leiden de resultaten uit de PREMs tot procesinterventies?

Data op groepsniveau kunnen gebruikt worden om processen te verbeteren. Ook kunnen dit aanknopingspunten zijn om eerst bijvoorbeeld nog een focusgroep te houden om te doorgronden waarom patiënten dit wensen.

· Wat draagt de inzet van de zorgprofessionals bij aan het welzijn/bevinden/gezondheid/vitaliteit van de patiënt (cliënt/burger/mens)) Waarom en hoe gebruik je PREMs in de spreekkamer?

De PREM is net als de PROM of klinische maten één van de bronnen om zorg te verbeteren. PREMs gaan over de kwaliteit van zorg, het proces van zorgverlening. Bekijk de webcast vanaf minuut 2:22:39.

Transparantie / openbaarheid van gegevens

· Hoe wordt transparantie naar de patiënt toe gerealiseerd? Niet alleen op n=1 niveau, maar ook op geaggregeerd niveau?

Het terugrapporteren van de informatie naar de patiënt kan op meerdere manieren. Lees antwoorden op vraag 25-29 van het PREM zakboekje.

· Hoe zetten we (generieke) PREMs in in de patient journey en hoe maken we de uitkomsten transparant?

PREMs kunnen ingezet worden op momenten dat het relevant is. Daarnaast kunt u resultaten individueel terugkoppelen, via een nieuwsbrief, via de website of ze bespreken met de cliëntenraad.

· Hoe kunnen patiënten toegang krijgen tot de resultaten van de PREM, voor transparantie en keuze-informatie?

De resultaten van sommige PREM-vragenlijsten worden beschikbaar gesteld via het openbaar register van Zorginstituut Nederland. Dit gebeurt voor de PREM oncologie. Daarnaast zijn ervaringen beschikbaar via ZorgkaartNederland.

· Wat kan een brancheorganisatie doen om het gebruik van de PREM te stimuleren, en zorgaanbieders de voordelen van de PREM doen inzien?

Verhalen ophalen van zorgaanbieders die ermee werken en hun verhaal vertellen. Vaak moeten ze deze meerwaarde zelf ervaren. Dat ze via de vragenlijst iet te weten te komen, wat ze hiervoor niet wisten. Daarnaast zou het onderdeel moeten zijn van de zorgverlening. Dat het meten en bespreken van ervaringen standaard bij hun werk hoort.

· Welke aanvulling zou wenselijk zijn om patiënt ervaringen nog beter in beeld te krijgen en welke acties worden er nu al op basis van de PREM uitkomsten opgezet in instellingen?

In de webcast over patiëntparticipatie vertelde Dayenne Zwaagman hierover. Bekijk het fragment hier terug. Bekijk daarnaast de antwoorden op vraag 30 en 31 van het PREM zakboekje.

· PREM gebruiken zorgprofessionals bij WGZ om verbeterkansen te ontdekken, dan na doorvoeren van verbetering wil je ook nogmaals je PREM vragenlijst uitzetten. Dan hoop je op verbetering natuurlijk. Maar wat zijn dan de Minimally Important Change en Smallest detectable change van de vragenlijsten? Zijn ze geschikt om veranderingen te detecteren?

Lees hiervoor het artikel van Mattanja Triemstra over Doelspecifieke versies van CQ-index meetinstrumenten: korter, krachtiger, en specifieker meten?

Deelsessie 1 Conceptualiseren van waardegedreven zorg

· Welke woorden komen er bij u op als u denkt aan waardegedreven zorg?

Uitkomsten, patiëntcentraal, patiënt gericht, samen beslissen. Bekijk de webcast vanaf minuut 43:36.

· Welke concepten van waardegedreven zorg passen volgens u bij een oncologisch behandelvoorstel-gesprek?

Samen beslissen, kwaliteit van leven, uitkomsten, PROM. Positieve gezondheid, duidelijkheid, bedenktijd en informatie. Bekijk de webcast vanaf minuut 51:13.

· Welke concepten van waardegedreven zorg passen volgens u bij een follow-up gesprek?

Kwaliteit van leven, uitkomsten, PREMs, wensen, samen beslissen, prognose, verwachtingen. Bekijk de webcast vanaf minuut 52:56.

· Hoe zou u onderstaande concepten prioriteren [voor PREM waardegedreven zorg]?

Samen Beslissen, kwaliteit van leven, uitkomsten, informatie en positieve gezondheid. Deze willen we toevoegen aan een ziekte-specifieke PREM, die concepten die voor patiënten van waarde zijn. Bekijk de webcast vanaf minuut 55:23.

· Hoe zou u onderstaande concepten prioriteren [voor follow-up na behandeling]?

Kwaliteit van leven, prognose, uitkomsten, tevredenheid/ PREM, prognose, samen beslissen. Samen Beslissen staat in deze fase minder voorop. Bekijk de webcast vanaf minuut 59:25.

· Prognose behoort bij een behandelgesprek, dat is toch geen doel op zich?

Hoe je over een prognose communiceert, beïnvloedt de ervaringen van de patiënt, dit kun je daarom uitvragen in een PREM. Bekijk de webcast vanaf minuut 1:01:34.

· Is het meten van waardegedreven zorg een doel op zich?

U meet waardegedreven zorg omdat u zorg waardegedreven wilt maken, u wilt de patiënt centraal zetten. Dit weet u door dit aan de patiënt te vragen. Door dit op groepsniveau te bekijken, kunt u de zorg verbeteren. Bekijk de webcast vanaf minuut 1:04:56.

· Waarom geen patiënten bij conceptualisering? Heb je je eigen blinde vlek niet op deze manier?

We hebben de patiënten betrokken bij de patiëntreis. Hier vroegen we welke momenten voor hen belangrijk waren. Voor patiënten is het lastig om te bepalen wat waardegedreven zorg is, we denken dat expert daartoe beter in staat zijn. Patiënten waren op een andere manier betrokken. Bekijk de webcast vanaf minuut 1:05:34.

· Moeten het data-gedreven keuzes zijn?

Er is een itembank ontwikkeld. Als u plafondeffecten vindt, dan moet u dit item verwijderen en omwisselen met een andere. Daarnaast is er een patiëntenpanel van 120 mensen. Aan hen kunt u ook vragen waar de focus op moet liggen om de kwaliteit van zorg te verbeteren. Bekijk de webcast vanaf minuut  1:06:25.

· Wat maakt de PREM tot een zorgspecifieke PREM?

In de Picker instrument wordt in het algemeen vragen gesteld. Erasmus MC geeft aan dat voor hun patiënten specifiekere dingen belangrijk zijn. Bijvoorbeeld over het bespreken van de prognose. Dat is belangrijk als je dit type kanker hebt. Dit is niet relevant als je een andere ziekte hebt die niet levensbedreigend is. Bekijk de webcast vanaf minuut 1:07:59.

Wat vraag je in een panel en wat in de PREMs?

Het panel bekijkt bepaalde thema’s op de polikliniek (meerdere vragen neerleggen over informatie, deskundigheid professional), wat vindt u van een bepaald thema om te verbeteren? WGZ PREM is een kortere vragenlijst die we vast in e-PRO structuur meenemen. Bekijk de webcast vanaf minuut 1:10:09.

· Naast patiënten worden ook naasten of mantelzorgers ook meegenomen?

Dat wordt momenteel niet gedaan. Ze onderzoeken wel het effect op naasten van hoofd kanker patiënten. Bekijk de webcast vanaf minuut 1:11:27.

· Levert deze heel zorgvuldige opbouw van de PREM echt verrassende items op?

Daar is nu nog geen antwoord op te geven. Als we dit niet vinden, hebben we een goede onderbouwing. Bekijk de webcast vanaf minuut 1:12:12.

Deelsessie 2 AI en PREM

· Welke verschillende middelen zijn er om vrije tekst in PREM's met behulp van AI te onderzoeken? Zijn er bijvoorbeeld vrij beschikbare algoritmes voor Nederlandse tekst?

Er zijn in het veld van Natural Language Processing veel verschillende methodes om open teksten te analyseren. Bijna al deze methodes zijn vrij beschikbaar, maar u moet wel in Python of R (of iets dergelijks) kunnen programmeren om de methodes toe te passen op je eigen data. De meeste methodes zijn taalonafhankelijk, dus ook op Nederlandse PREM teksten te gebruiken. Op websites zoals www.towardsdatascience.com staan hele goede artikelen over hoe je NLP toepast, vaak ook met de code erbij. Bekijk de webcast vanaf minuut 1:20:01.

· Kop het gelijk in: Hoe start je AI PREM

De AI-PREM zit nog niet in een mooi programma, dus op dit moment kan de AI-PREM alleen gestart worden door de code op mijn laptop te 'runnen'. Als u gebruik zou willen maken van de AI-PREM, neem dan contact met Marieke van Buchem op, dan kunnen jullie daar verder over praten.

· Hoe worden de categorieën bepaald?

Het model bekijkt welke woorden vaak samen voorkomen. Woorden die vaak samen voorkomen worden samen in een categorie gezet (geclusterd) en bepalen zo dus de onderwerpen die vaak besproken worden door patiënten. Bekijk de webcast vanaf minuut 1:23:40.

· Is het model ook voor andere analyses van tekst te gebruiken?

De gebruikte techniek is heel generiek en het model achter de AI-PREM zou de onderwerpen kunnen bepalen in elke dataset met teksten. Wel is het dus specifiek een 'Topic Model', dus het kan geen andere analyses dan het bepalen van de onderwerpen.

· Hoe kom je antwoorden op het spoor die aanleiding geven voor concrete verbeteringen; bijvoorbeeld van een patiënt die toevallig ook expert is op een bepaald terrein?

Eerst wilden we eerst naar alleen het negatieve commentaar laten analyseren, maar het is juist goed om ook aan het team te laten zien wat er goed gaat. Ook door het analyseren kun je de resultaten beter plaatsen. Bekijk de webcast vanaf minuut 1:28:08 en 1:36:26 over een concreet verbeterpunt over het wachten tot de uitslag van scans.

We weten niets van de karakteristieken van de patiënt, maar kunnen wel zien hoe vaak bepaalde onderwerpen genoemd zijn en daarmee prioritering aanbrengen in verbeterpunten.

· Worden er ook correlaties gelegd (tussen items/achtergrondvariabelen)? Of is het iets meer 'eendimensionaal'?

Het model kijkt alleen naar de ingevoerde teksten en legt dus geen correlaties met andere items of achtergrondvariabelen.

· Is het mogelijk om mbv de AI outliers te visualiseren?

Ja, u kunt zien welke teksten buiten alle clusters vallen en doorklikken naar de ruwe tekst data.

· Wat is de betrouwbaarheid van het model?

We hebben het model gevalideerd met ‘mensenwerk’, of zij het type sentiment als het onderwerp konden destilleren. We zijn nu bezig met het afronden van de interne validatie. De resultaten zullen binnenkort te lezen zijn in een wetenschappelijke publicatie. Bekijk de webcast vanaf minuut 1:30:00.

· Wordt het model nog extern gevalideerd?

We hebben de interne validatie net afgerond en willen het model de komende tijd extern (bij andere zorgpaden en ziekenhuizen) valideren. Bekijk de webcast vanaf minuut 1:30:36  en 1:41:12.

· Wat betekent het onderwerp, specifiek: hoe zie je over welk onderwerp mensen feedback geven?

Per vraag bepaalt het model wat de belangrijkste onderwerpen zijn. Een onderwerp staat dus voor iets wat vaak genoemd wordt door patiënten in hun antwoord op deze vraag. Bekijk de webcast vanaf minuut 1:31:11.

· Hoe ga je hier vervolgens mee aan de slag, bijvoorbeeld met teams?

De onderwerpen die het model teruggeeft, bevatten soms hele concrete verbeterpunten, maar soms is er ook nog een interpretatieslag nodig om tot een concreet verbeterpunt te komen. Met de lijst van verbeterpunten kan een verbetercyclus worden gestart. Een optie zou bijvoorbeeld zijn om eens in de drie maanden naar de resultaten van de AI-PREM te kijken en hier de verbetercyclus op aan te passen. Bekijk de webcast vanaf minuut 1:33:54 en 1:36:26 over een concreet verbeterpunt over het wachten tot de uitslag van scans.

· Hebben jullie andere tekstanalyse software overwogen/vergeleken?

Wij hebben tot nu toe geen geschikte Nederlandse software kunnen vinden voor de analyse van open teksten. Dit is ook de reden dat we hier zelf mee aan de slag zijn gegaan.

Wordt aan ieder antwoord één sentiment gekoppeld, of is het mogelijk dat zowel negatief als positief in een antwoord onderscheiden worden (bijvoorbeeld meestal werkten ze goed samen, maar op de poli ging dat niet goed)?

Op dit moment is het niet mogelijk om meerdere sentimenten toe te wijzen aan een antwoord. Dit is sowieso een uitdaging in de NLP, waar nog geen kant-en-klare oplossing voor is in het Nederlands. We hopen dit wel toe te kunnen voegen in de toekomst, maar tot die tijd hebben we besloten om alle teksten waar ook maar iets negatiefs in staat als negatief te bestempelen, omdat je hier uiteindelijk je verbeterpunten uit wilt halen. Bekijk de webcast vanaf minuut 1:34:59.

· Is het een soort factoranalyse op woorden?

Heel grofweg wel. De code is openbaar en op te vragen bij Marieke van Buchem. 

· Kun je deze figuren ook in een eigen dashboard weergeven?

Op dit moment nog niet, maar dat is wel het doel waar we naar streven.

· Als er zulke kleine aantallen zijn van patiënten, heeft dit model in de praktijk dan meerwaarde boven een mondelinge of schriftelijke feedback?

U moet inderdaad altijd een afweging maken tussen het nut van het toepassen van een model. Als het u 15 minuten kost om alle antwoorden door te lezen, kunt u zich afvragen of de AI-PREM de moeite waard is. Bekijk de webcast vanaf minuut 1:34:10.

· Zien jullie bias met betrekking tot patiënten die reageren? Met name jongere patiënten?

De vragenlijst is tot nu toe alleen in een onderzoekssetting uitgezet. Daarin zien we dat hoge opgeleiden iets vaker reageren, maar geen effect van leeftijd.

· Zijn het alleen maar open vragen?

De AI-PREM bevat nu 5 open vragen, maar je zou het natuurlijk in combinatie met een PREM met gesloten vragen kunnen gebruiken.

· Hoe gaan jullie met talen om?

Het model achter de AI-PREM is taalonafhankelijk en zal dus ook op andere talen werken. Omdat het model kijkt naar woorden die vaak samen voorkomen is het wel belangrijk dat alle antwoorden in dezelfde taal geschreven zijn. Een makkelijke oplossing is om de niet-Nederlandse antwoorden naar het Nederlands te vertalen (dit zou automatisch kunnen).

· Waarom is gekozen voor dit model, boven andere opties? Welke andere opties zijn er?

We hebben voor het huidige model gekozen omdat dit de beste, meest concrete onderwerpen terug gaf. Er zijn nog andere methodes waarmee u onderwerpen uit teksten kunt halen, maar die waren voor deze dataset niet geschikt.

Deelsessie 3 PREM bespreken in de spreekkamer

PREMs bespreken in de spreekkamer is…

75% prima en 25% neutraal, zie het gesprek tussen Monique Klerkx en de deelnemers vanaf minuut 1:44:57.

Hebben de cliënten de mogelijkheid om de PREM anoniem in te vullen?

Jazeker, de cliënten mogen de vragenlijst invullen, het hoeft niet. Als ze het vervelend vinden, of zich onveilig voelen, dan kunnen de vragen overslaan of de vragenlijst niet invullen. Bekijk de webcast vanaf minuut 35:14 en vanaf minuut 1:53:06.

Ik ben benieuwd hoe jullie omgaan met het analyseren van de PREMs. Namelijk, dat iemand na afloop van de afspraak de PREMs invullen. Hoe gaan jullie daarmee om?

Er zijn nog niet veel ingevulde PREM vragenlijsten terug ontvangen. Hier zijn ook daarom nog geen ervaringen mee. Bekijk de webcast vanaf minuut 1:55:22.

Wat is het voordeel van PREMs bespreken?

Kort cyclische feedback, kwaliteit, betrokkenheid, ruimte voor toelichting, patiënt kan verhaal kwijt, direct actie ondernemen. Bekijk de webcast vanaf minuut 1:58:18.

Vragen jullie ook aan patiënten/cliënten of ze hun ervaringen wel willen bespreken in de spreekkamer?

Monique Klerkx vraagt of zwangeren hun ervaringen willen bespreken in de spreekkamer. Bekijk de webcast vanaf minuut 2:08:16.      

Waarom moeten we geen PREMs bespreken in de spreekkamer? [Mentimeter-vraag]

Wel evaluatie bespreken, geen argumenten hiervoor, sociaal wenselijke antwoorden. Bekijk de webcast vanaf minuut 2:10:41.

Meegever uit de kijkers over het gerbuiken van reacties verzameld via ZorgkaartNederland.

Bekijk de reactie van Robbert van Aken van Mediquest over 1500 reacties hoe dit vanuit het Tergooi ziekenhuis opgepakt wordt. Bekijk de webcast vanaf minuut 2:11:12. Mieke Stam vanuit Perined biedt klinische data aan en wil ook cliëntervaringen bieden. Ze werken samen met Mediquest aan een pilot, de nieuwe PREM van CPZ. Zo kun je landelijk zien hoe je scoort. Die PREM wordt postpartum uitgevraagd.

Veel patiënten delen al ervaringen via ZorgkaartNederland, maken jullie daar ook gebruik van?

Nee, er is slechts 1 ervaring op ZorgkaartNederland. Monique haalt veel meer informatie uit de vragenlijsten die ze uitvraagt. Bekijk de webcast vanaf minuut 2:14:21

Tijdens sessie gestelde vragen

Hoe heb je patiënten betrokken bij de AI-PREM?

De vragenlijst is gemaakt samen met patiënten en daarbij getest op begrijpelijkheid. Bekijk vanaf minuut 21:29

Wat was het doel van de AI-PREM?

Het doel van de AI-PREM is het faciliteren van de analyse van open vragen in de PREM. Deze antwoorden blijven nu vaak onbenut omdat handmatige analyse hiervan erg tijdsintensief is, terwijl er hele waardevolle informatie in zit. Door de combinatie van een PREM met open vragen en een model wat de antwoorden hierop automatisch analyseert en de belangrijkste onderwerpen teruggeeft, hopen we deze waardevolle informatie bruikbaar te maken. Bekijk ook vanaf minuut 23:00

Met welke software is er geprogrammeerd (AI-PREM)?

We bevinden ons nog in de onderzoeksfase, maar gaan ons komende tijd bezighouden met opschalen. Er is nu dus nog geen software beschikbaar waarmee je de AI-PREM kunt gebruiken. Bekijk vanaf minuut 22:17.

Zijn de kosten van AI op die manier dan niet heel hoog?

Het doel van de AI-PREM is juist om kosten te besparen door de analysetijd van open vragen in te korten. Verder is het een vrij licht model, wat ook weinig kosten met zich meebrengt.

of is het vooral een categoriserings methodiek? (AI-PREM)

De methode die we gebruiken heet 'topic modeling'. Het model zoekt dus naar onderwerpen die door meerdere patiënten genoemd zijn in hun antwoorden. Je zou het kunnen zien als een categoriserings methodiek, die zelf bepaalt hoeveel en welke categorieën er zijn.

Is NLP geen optie? (AI-PREM)

Het model wat we gebruiken valt onder Natural Language Processing.

Wat is de relatie van de PREM met het zorginkoopbeleid en hoe zou AI -REM dit beïnvloeden?

Het project is nog in een onderzoeksfase, maar het doel is om de AI-PREM in te zetten voor verbetering van de zorg.

Opmerking: AI wordt momenteel al gebruikt voor complicatie detectie in de zorg bij diverse topklinische ziekenhuizen nog mooier wordt het als complicaties niet enkel worden gedetecteerd maar dat het helpt bij complicatie preventie.

Dat zou inderdaad heel mooi zijn.

Zit er een groot verschil tussen de respons van de eerste en de tweede PREM? (Geboortezorg)

 32% respons bij postpartum vragenlijst. Bekijk vanaf minuut 28:10 en vanaf minuut 36:16.Ze bedoelen 30 zwangerschapsduur, en 4 weken post-partum vragenlijst. Er zijn nog niet zoveel vragenlijsten retour ontvangen. De respons lijkt goed. Vrouwen vinden het niet vervelend om deel te nemen.

Kan het bespreken van PREMs de patiënt en/of familie juist motiveren/ meer betrokkenheid geven bij gehele behandeltraject? (Hoofd-hals oncologie)

Naast de standaard controles, ook het gesprek aangaan waarover de behoefte over is. Vragenlijst is een hulpmiddel om het gesprek op gang te brengen. Bekijk de webcast vanaf minuut 2:23:58.

De cliënten zelf kunnen ook het gesprek op gang brengen door de drie goede vragen toe te passen (https://3goedevragen.nl/; (2:25:12) Marinella Offerman ziet de vragenlijst als navigatie voor het gesprek (2:25:55).

Hebben jullie bij het zorgtraject van een zwangere vrouw de partner ook betrokken in de PREMs/ WGZ ?

Nee, die worden niet aan de partner gesteld. Bij hoofdhalskanker kwam deze vraag ook naar voren. Bekijk de webcast vanaf minuut 2:27:32.

Vraagt het bespreken van de uitkomsten ook andere vaardigheden van de zorgprofessional?

Vaardigheid en training, naast mindset, om je als zorgverlener gaat opstellen. U moet naar de cliënt gaan staan, in plaats van top-down. Bekijk de webcast vanaf minuut 2:28:01.

Herkennen jullie dat PREMS in oude vorm (CQ index) vooral gebruikt wordt als tevredenheidstool voor externe profilering. En dat PREM nieuwe stijl vooral voor verbeteren interne processen is. Maar dat het nog een barrière is om de organisatie mee te krijgen om PREMS in deze vorm ingebed te krijgen?

CQ-index is een patiëntervaringsvragenlijst, geen patiënttevredenheidsvragenlijst. De vraagstelling en antwoordcategorieën zijn tussen beide type vragenlijsten anders. In het verleden werd CQ-index uitgevraagd via de zorgverzekeraar en gebruikt voor ander doeleinden dat in de webcast aan bod gekomen is: kwaliteit van zorg verbeteren van het individu of voor groepen. Bedenk dat er ook andere manieren zijn om feedback te vragen: tips en tops, een brievenbus waar kaartjes met feedback in gepost kan worden. Als je de zorg wilt verbeteren is het meten van patiëntervaringen één van de manieren.

Hoe geef je terugkoppeling aan de patiënten over de verbeteringen die je inzet vanuit de feedback die is opgehaald?

Labelen wat is positief en wat is negatief. Bij negatief kun je verbeterpunten eruit halen. U kunt doorklikken, bv op persoonlijke benadering viel tegen, dan komt  u op de specifieke antwoorden. De context is terug te halen (2:44:18).

Er is nog geen software, je gebruikt codes, is dat niet arbeidsintensief? (AI-PREM)

Marieke van Buchem is het afgelopen jaar hier mee bezig geweest, het programmeren zelf viel mee. Het model toepassen zodat het bruikbaar is in de praktijk duurde het langst. Het is belangrijk vooraf na te denken over de vragen die je stelt. Mocht u interesse hebben in de codes, deze is bij Marieke op te vragen. Bekijk de webcast vanaf 2:46:11.

Wat zijn de lessons learned vanuit de deelsessie over AI en open vragen?

De vraagstelling is belangrijk. Vaak zie je dat mensen in de vraagstelling ‘wat ging er goed?’ dat hierin zowel positieve als negatieve ervaringen gedeeld worden. We lossen dit op door 5 vragen te stellen over een bepaald onderwerpen en het model bepaalt of het een positieve of negatieve ervaring is. Het model kan omgaan met weinig data (30) maar ook veel, maar je moet nagaan of het dan niet zinvoller is om de antwoorden zelf door te nemen. AI is een hulpmiddel, een vervolg op de woordenwolk (2:48:57).

De concepten van waardegedreven zorg zijn afhankelijk van de fase van behandeling, had je dit verwacht?

Marinella Offerman geeft aan dat dit resultaat niet verrassend. Het moment dat je gehoord hebt dat er iets mis is, wil je alle informatie bekijken om optimale beslissingen te nemen. Verwachtingsmanagent is belangrijk. Bekijk de webcast vanaf 2:33:23. PREMs 30 weken zwangerschap en 4 weken na bevalling verschillen heel erg van elkaar (2:37:08).

Wat neem jij mee uit de sessie over conceptualiseren van waardegedreven zorg? Wat zijn je vervolgacties?

Marinella Offerman geeft aan de partner belangrijk te vinden, dat is een wens om deze mee te nemen in PROMs en PREMs, het verschil tussen generieke, (algemene, vergelijken tussen ziektebeelden, prettige bejegening, niet te lange wachttijden) en zorg – en ziekte specifieke vragenlijsten. Bij PREMs praat je over zorg specifieke lijsten (op jouw afdeling zorg levert, vragen stelt, bv nieuwe patiënten gekoppeld wordt aan vrijwilliger wegwijs te maken in het ziekenhuis en digitaal vaardig te maken). (2:38:03)