Performance Measurement in Mental Health and Addictions Systems: A Scoping Review

OBJECTIVE: The purpose of this study was to evaluate how performance is defined, conceptualized, and measured in mental health and addiction service systems around the world. METHOD: We conducted a systematic scoping review of English-language scientific and gray literature published from 2005 to 2015. Eligible documents (n = 222) described performance measurement systems and outlined the theory or empirical evidence for indicators. We used a structured approach for data extraction and descriptive and thematic analysis, supplemented with stakeholder consultation. RESULTS: We identified seven themes in the literature: similarity in performance domains across frameworks; the ability of frameworks to inform care quality at client, program/facility, and system levels; the predominance of indicators of process and outcome, over structure; the lack of evidence on the links between domains and/or indicators; common, but limited, evaluation of family/caregiver involvement; equity as a cross-cutting domain of performance; and limited attention to performance measurement in peer support services. CONCLUSIONS: The literature on performance measurement in mental health and addictions services is vast, and a wide variety of indicators is available to those designing a measurement system. Evaluations of commonly used performance indicators have yielded mixed evidence on their ability to discriminate high- and low-performing service providers, and their sensitivity to changes in policies and practices. As performance measurement efforts grow in scope and complexity, work will be needed to ensure that indicators are fair, appropriate, and suited to support quality improvement in services of different types. OBJECTIF : Évaluer la façon dont le rendement est défini, conceptualisé et mesuré dans les services en santé mentale et en toxicomanie à travers le monde. MÉTHODE : Nous avons mené un examen de la portée à l’aide d’une revue systématique des écrits scientifiques et de la littérature grise de langue anglaise publiés entre 2005 et 2015. Les documents admissibles (n = 222) décrivaient les systèmes de mesure du rendement et présentaient les théories ou les données empiriques concernant les indicateurs. Nous avons utilisé une approche structurée pour l’extraction des données, suivie d’une analyse descriptive et thématique en complément à une consultation des acteurs impliqués. RÉSULTATS : Nous avons identifié sept thèmes dans les écrits : similarité dans les domaines de rendement entre les systèmes; la capacité des systèmes à documenter la qualité des soins tant au niveau du client, du programme que de l’organisation; la prédominance des indicateurs de processus et de résultats sur ceux liés à la structure; le manque de données sur les liens entre les domaines et/ou les indicateurs; l’évaluation commune, mais limitée, de l’implication des familles et des proches-aidants; l’équité en tant que domaine transversal du rendement; et une attention limitée à la mesure du rendement dans les services de soutien par les pairs. CONCLUSION: L’ensemble des écrits portant sur la mesure du rendement des services en santé mentale et en toxicomanie est vaste et les concepteurs de systèmes de mesure disposent d’une grande variété d’indicateurs. Les évaluations des indicateurs de rendement couramment utilisés ont produit des données contradictoires sur leur capacité à distinguer un rendement faible d’un rendement élevé ainsi que leur sensibilité aux changements dans les politiques et les pratiques. Au fur et à mesure que les mesures du rendement prendront de l’ampleur et de la complexité, il sera nécessaire de s’assurer que les indicateurs soient justes, appropriés et adaptés pour soutenir l’amélioration de la qualité des différents types de services. OBJETIVO: Evaluar cómo se define, conceptualiza y mide el rendimiento en los sistemas de servicios de salud mental y adicción en todo el mundo. MÉTODO: Realizamos una revisión sistemática del alcance de la literatura científica y gris publicada en inglés entre 2005–2015. Documentos elegibles (n = 222) describen sistemas de medición de rendimiento y describen la teoría o evidencia empírica de indicadores. Utilizamos un enfoque estructurado para la extracción de datos y el análisis descriptivo y temático, complementado con la consulta a los interesados. RESULTADOS: Se identificaron 7 temas en la literatura: similitud en los dominios de rendimiento a través de marcos; la capacidad de los marcos para informar a la calidad de atención al cliente, programa / instalación, y los niveles del sistema; el predominio de indicadores de proceso y resultado, sobre la estructura; la falta de evidencia sobre los enlaces entre dominios y / o indicadores; evaluación común, pero limitada, de la participación de la familia / cuidador; equidad como un dominio transversal de rendimiento; y una atención limitada a la medición del rendimiento de los servicios de apoyo entre iguales. CONCLUSIONES: La literatura sobre la medición del rendimiento en servicios de salud mental y adicciones es enorme, y hay una amplia variedad de indicadores disponibles para quienes diseñan un sistema de medición. Las evaluaciones de los indicadores de desempeño comúnmente utilizados han arrojado evidencia mixta sobre su capacidad para discriminar a los proveedores de servicios de alto y bajo rendimiento, y su sensibilidad a los cambios en las pólizas y prácticas. A medida que los esfuerzos de medición del desempeño crezcan en alcance y complejidad, será necesario trabajar para garantizar que los indicadores sean justos, apropiados y adecuados para respaldar el mejoramiento de la calidad en servicios de diferentes tipos.