Tailored implementation in Emergency Medical Services: a validation study

Abstract

Background: Adherence to evidence based clinical practice guidelines (EBCPG) is not self-evident for emergency medical care (EMS) professionals. Theory-based tailored implementation may be the first step to improve the adherence to EBCPG. The innovation-contingency theory of Van Linge is the foundation of this study. Three diagnostic instruments are developed, based at this theory, taking into account the perceived features of the innovation, the organization and the innovation-attitude of the professionals.

Aim: To adapt and validate three existing diagnostic instruments for tailored implementation, as a first step to enhance the success of implementation and adherence to EBCPG in the context of EMS.

Research question: What is the content validity of three validated, diagnostic instruments for tailored implementation, that are adapted to the context of EMS?

Method: A two-round quantitative, descriptive design with experts to adapt and validate the instruments.

Results: A total of 45 items were validated by four experts in the first round and five experts in the second round. After the first round, 21 items were revised, three were removed and four were added. After the second round, 34 items of the 46 items were judged to be content valid with an item content validity index (I-CVI) of .78 and more. Scale content validity (S-CVI/ave) is excellent with scores of .92, .98 and .97.

Conclusion: This study of content validity of diagnostic instruments for use with EMS professionals is the first step in developing validated instruments in implementation processes in EMS.

Recommendations: A third round with experts to adapt and reassess twelve content invalid items is recommended taking into account the subscales within the instruments.

Determing reliability, usability and predictability of these instruments, is the next step in the validation process.

Samenvatting

Titel: Op maat gemaakte implementatie op de ambulance: een valideringsstudie

Inleiding : Adherentie van evidence-based klinische richtlijnen is niet vanzelfsprekend bij ambulance-professionals. Een theoriegerichte, op maat gemaakte implementatiestrategie, kan de eerste stap zijn om adherentie te doen toenemen. De innovatie-contingentie theorie van Van Linge is de basis van dit onderzoek. Drie bestaande diagnostische instrumenten voor op maat gemaakte implementatie zijn gebaseerd op deze theorie en meten de waargenomen kenmerken van de innovatie, de organisatie en de innovatie-attitude van de ambulanceprofessionals. Doel: Het aanpassen en valideren van drie bestaande diagnostische instrumenten voor op maat gemaakte implementatie, als de eerste stap om het succes van implementatie en het trouw volgen van evidence-based klinische richtlijnen in de context van ambulancediensten te vergroten. Onderzoeksvraag: Wat is de inhoudsvaliditeit van drie gevalideerde en bestaande instrumenten voor op maat gemaakte implementatie, die zijn aangepast aan de context van ambulancediensten? Methode: Een kwantitatief en beschrijvend design met experts om instrumenten aan te passen en te valideren in twee rondes. Resultaten: In totaal zijn er 45 items gevalideerd door vier experts in de eerste ronde en vijf experts in de tweede ronde. Na de eerste ronde zijn er 21 items aangepast, drie verwijderd en vier toegevoegd. Na de tweede ronde zijn er 34 van de 46 items inhoudelijk valide gebleken met een item-inhoudsvaliditeit van .78 en hoger (I-CVI). De schaal-inhoudsvaliditeit (S-CVI/ave) van de drie instrumenten is excellent met scores van .92, .98 en .97. Conclusie :Deze inhoudsvaliditeitsstudie van diagnostisch instrumenten binnen ambulancediensten is de eerste stap in het ontwikkelen van gevalideerde instrumenten binnen implementatietrajecten bij ambulancediensten. Aanbevelingen: Een derde ronde met experts wordt aanbevolen om de 12 niet-valide items aan te passen en te beoordelen, rekening houdend met de subschalen. Het bepalen van betrouwbaarheid, bruikbaarheid en voorspelbaarheid van de aangepaste instrumenten is de volgende stap in het valideringsproces.