The effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: BEME Guide No. 21
Beskrivelse
En svært solid og omfattende review av effekten av audience response systems (ARS) innen helseutdanning. Den viser at det er en viss evidens for at ARS bedrer læringsutbytte. Artikler basert på ikke-randomiserte studier viser gjennomgående en høyere effekt enn RCT studier. Det var også mindre forskjeller når ARS ble sammenlignet med interaktiv undervisning. Type helseutdanning og utdanningsnivå er i begrenset grad gjenstand for analyse, men det er informert om hvilke utdanninger og utdanningsnivå de inkluderte studiene er basert på.
Background: Audience response systems (ARS) represent one approach to make classroom learning more active. Although ARS may have pedagogical value, their impact is still unclear. This systematic review aims to examine the effect of ARS on learning outcomes in health professions education.
Methods: After a comprehensive literature search, two reviewers completed title screening, full-text review and quality assessment of comparative studies in health professions education. Qualitative synthesis and meta-analysis of immediate and longer term knowledge scores were conducted.
Results: Twenty-one of 1013 titles were included. Most studies evaluated ARS in lectures (20 studies) and in undergraduates (14 studies). Fourteen studies reported statistically significant improvement in knowledge scores with ARS. Meta-analysis showed greater differences with non-randomised study design. Qualitative synthesis showed greater differences with non-interactive teaching comparators and in postgraduates. Six of 21 studies reported student reaction; 5 favoured ARS while 1 had mixed results.
Conclusion: This review provides some evidence to suggest the effectiveness of ARS in improving learning outcomes. These findings are more striking when ARS teaching is compared to non-interactive sessions and when non-randomised study designs are used. This review highlights the importance of having high quality studies with balanced comparators available to those making curricular decisions.
En grundig og solid review. Artikkelen har en klar og tydelig problemstilling med mål om å undersøke effekten av ARS på læringsutbytte i helseutdanning. Reviewen omfatter alle nivåer, også ulike former for etterutdanning. Effekt vurderes ut fra Kirkpatricks modell. Inklusjons og eksklusjonskriteriene er presentert på en grundig måte i tekst og i en ganske omfattende tabell. Søket er utviklet i samarbeid med forskningsbibliotekar. Databaser og søketermer er presentert i tekst og tabeller. Referanselister ble også gjennomgått. Det ble gjennomført håndsøk av konferansefremlegg i utvalgte konferanser. Det ble søkt etter arbeider som hadde sitert de selekterte artiklene og hovedforfatter av alle artikler ble kontaktet med spørsmål om de kjente til upubliserte og nylig publiserte studier, eller artikler og studier som fortsatt var under arbeid. Seleksjon og screening ble gjennomført av to av forfatterne, uavhengig av hverandre. Prosessen er beskrevet i tekst og et flytdiagram. 21 studier ble til slutt inkludert. Kjennetegn og hovedresultater i de inkluderte studiene er ryddig beskrevet i tekst og omfattende tabeller. Det er gjennomført metaanalyser av RCT-er og andre studier av både kortids kunnskapsutbytte og langtidsutbytte.