Bewertungskriterien von Gesundheits- und Medizin-Apps: Übersicht

Krankenkassen, (Forschungs-) Institute, Online-Plattformen und andere Initiativen haben für die Bewertung von digitalen Tools diverse Checklisten, Kriterienkataloge, Leitlinien, Bewertungsskalen und Evaluationsmodelle hierfür entwickelt. Mithilfe dieser Bewertungsmöglichkeiten sollen qualitativ hochwertige von risikobehafteten Apps abgegrenzt werden können. Die Instrumente richten sich zum einen explizit an individuelle/private Nutzer und zum anderen an professionelle Anwender. Darüber hinaus sind Qualitätssiegel ein Indikator für qualitativ hochwertige und vertrauenswürdige Apps. Diese können zu mehr Transparenz auf diesem sehr dynamischen Markt beitragen.

Die von uns zusammengestellte Übersicht über eine Auswahl dieser Bewertungsinstrumente für Gesundheits- und Medizin-Apps sowie zu Qualitätssiegeln soll Ihnen als Wegweiser dienen.

Was gibt es für Bewertungs-Tools?

Die nebenstehenden tabellarischen Übersichten geben einen exemplarischen Überblick über

  1. Checklisten für individuelle/private App-NutzerInnen (Laien)  und
  2. Bewertungsinstrumente, die sich an professionelle Anwender richten.

Diese Einteilung in zwei Gruppen resultiert in erster Linie aufgrund dessen, dass die Tools primär jeweils eine Nutzergruppe adressieren. Innerhalb der Gruppen findet darüber hinaus eine differenzierte Schwerpunktsetzung der jeweiligen Messinstrumente statt.

Die Checklisten, Kriterienkataloge bzw. Bewertungsinstrumente dienen dazu, relevante Kriterien aufzuzeigen, anhand derer eine Bewertung von Qualität und Vertrauenswürdigkeit oder die Benutzerfreundlichkeit und Funktionalität von Gesundheits-Apps vorgenommen werden kann. Dementsprechend wird den Anwendern eine Orientierungshilfe bei der Wahl der geeigneten mobilen Anwendung bereitgestellt, um weitestgehend Transparenz über die Angebotsvielfalt von Apps zu schaffen, Standards zu vermitteln und letztlich beurteilen zu können, wie gut eine App für ein individuelles Bedürfnis geeignet ist und wie sicher und vertrauenswürdig die App funktioniert.

Die Erhebungsinstrumente werden von diversen Anbietern in unterschiedlicher Art und Weise (z.B. als PDF-Datei mit der Möglichkeit zum Ausdrucken oder als online-basierte Fragebögen oder Checklisten) zur Verfügung gestellt.

Darüber hinaus unterscheiden sich die Instrumente hinsichtlich ihrer Fokussierung:

  1. Qualität und Vertrauenswürdigkeit
  2. Benutzerfreundlichkeit und Funktionalität
  3. eine Mischung aus 1. und 2. (siehe Spalte Fokus in den Tabellen).

Der tabellarische Vergleich der Tools zeigt, dass Instrumente für private App-NutzerInnen ihren Fokus überwiegend auf die Bewertung von Qualität und Vertrauenswürdigkeit legen, wohingegen der Schwerpunkt bei Instrumenten für professionelle App-NutzerInnen auf Benutzerfreundlichkeit und Funktionalität bzw. der Integration aller Aspekte gesetzt wird, da diese unter anderem auch zur qualitätsgerechten Entwicklung der Apps genutzt werden können.

Alle Tools stehen in den Tabellen verlinkt zum Download bereit oder können über den Link als Online-Tool aufgerufen werden. Eine Kurzbeschreibung der Tools befindet sich unter den Tabellen.

 

Qualitätssiegel:

Eine dritte Möglichkeit objektiver App-Bewertung sind sog. Qualitätssiegel. Diese werden von unterschiedlichen Institutionen vergeben. Eine Übersicht finden Sie im entsprechenden Tab.

1. Erhebungsinstrumente für individuelle/private Nutzer

Tabelle 1: Erhebungsinstrumente für individuelle App-NutzerInnen

 

Beschreibung der Bewertungs-Tools:

Die Checkliste für Gesundheits-Apps von der Techniker Krankenkasse ist auf der Internetseite als Fragebogen in Fließtext-Form einsehbar (Gesundheits-Apps: Bewusstes Auswählen ist das A und O | Die Techniker). Anhand einer ermittelten Punktzahl wird zum einen eine Einschätzung zum individuellen Risiko und zum anderen eine Bewertung hinsichtlich Qualität und Vertrauenswürdigkeit einer App vorgenommen. Eine übersichtlichere Variante liefert unsere aufbereitete Version, die hier als PDF-Dokument zugänglich ist.

Für unsere App-Datenbank wurden die Apps anhand dieser Checkliste der TK bewertet. Der ermittelte Score gibt eine Einschätzung zu Qualität und Vertrauenswürdigkeit der App. Er setzt sich zusammen aus:

  1. einer Risikoabschätzung: Dieser Wert gibt Aufschluss darüber, wie relevant die nachfolgenden Fragen der Checkliste für die App sind. Je höher die Punktzahl, umso mehr der folgenden Fragen sollten mit JA beantwortet werden. Dies gilt insbesondere bei Werten über 50.
  2. Eine Checkliste mit folgenden Fragen, die mit ja oder nein beantwortet werden können:
    • Gibt es eine Kontaktmöglichkeit zum Anbieter (z.B. Impressum)?
    • Stehen medizinische Experten für die fachliche Richtigkeit der Inhalte?
    • Werden medizinische Quellen für fachliche Inhalte benannt?
    • Ist das Alter der Quellen ersichtlich?
    • Ist die Finanzierung der App transparent?
    • Sind Sponsoren transparent benannt?
    • Ist ersichtlich, wie personenbezogene Daten verarbeitet werden?
    • Ist ersichtlich, wie sicher Ihre Daten gespeichert und versendet werden?
    • Gibt die App einen Hinweis darauf, dass sie lediglich eine Unterstützungshilfe ist und in keinem Fall einen Arzt ersetzen kann?

Die Checkliste für Fitness- und Gesundheitsapps von der DAK-Krankenkasse (Checkliste: Fitness- & Gesundheits-Apps | DAK-Gesundheit) ist ein online-basierter Fragebogen bestehend aus 12 Fragen zur besseren Nutzen-Risiko-Abwägung von Fitness-und Gesundheits-Apps.

Die App-Synopsis Checkliste (App-Synopsis – PLRI MedAppLab) vom Peter L. Reichertz Institut für medizinische Informatik (PLRI) der Technischen Universität Braunschweig und der Medizinischen Hochschule Hannover ist ein Fragebogen, bestehend aus neun übergeordneten Kategorien, die insgesamt 39 Fragen und jeweils drei Auswahlmöglichkeiten (ja/nein/unklar) umfassen.

Die Checkliste für die Nutzung von Gesundheits-Apps, entwickelt vom Gemeinschaftsprojekt des Aktionsbündnis Patientensicherheit e.V. (Aktionsbündnis Patientensicherheit) der Plattform Patientensicherheit Österreich und der Schweizer Stiftung für Patientensicherheit besteht aus fünf Kategorien, die jeweils eine unterschiedliche Anzahl von Auswahlmöglichkeiten umfassen.

Die Checkliste Gesundheits-Apps des Health-On-Portals (Checkliste Gesundheits-Apps | HealthOn) von der Initiative HealthOn ist eine online-basierte Checkliste, die acht Kategorien (Funktion, Ziel, Nutzung, Anbieter, Kosten, Risiko, App-Infos, Vertrauen) mit Multiple-Choice-Auswahl, umfasst.

Der Gesundheits-App Fact Sheet vom Aktionsforum Gesundheitsinformationssystem (afgis) e.V. (Gesundheits-Apps — Aktionsforum Gesundheitsinformationssystem (afgis) e. V.) wird als PDF-Dokument bereitgestellt, welches die Auflistung von 17 Basisangaben beinhaltet, die Hersteller im Idealfall in den Produktinformationen der Gesundheits-Apps angeben sollten. Laien erhalten ein kurzes, übersichtliches Informationsblatt zur besseren Einschätzung der Qualität einer App.

Die App-Check-Plattform wird vom Zentrum für Telematik und Telemedizin GmbH (Bewertung | ZTG AppCheck) betrieben. Gemeinsam mit der DiaDigital Gruppe wurde ein systematischer Kriterienkatalog für Diabetes-Apps entwickelt. App-Hersteller können sich bei DiaDigital um ein Prüfsiegel bewerben, indem sie eine Selbstauskunft zu ihrem Produkt abgeben (https://diadigital.de/selbstauskunft/). Auf der Internetplattform https://appcheck.de/, die vom ZTG betrieben wird, kann der Kriterienkatalog (Menü: „Apps – Bewertung“) für Gesundheits-Apps eingesehen werden. Die ZTG nimmt die Überprüfung von ausgewählten Apps hinsichtlich des Nutzens und der Sicherheit vor und spricht dementsprechend Empfehlungen aus.

Der uMARS-German ist eine Bewertungsskala, die von einer deutschen Forschergruppe aus dem Englischen übersetzt wurde und wohl noch 2019 publiziert werden soll. Es handelt sich im englischen Original um ein validiertes Bewertungsinstrument. Es wurde also wissenschaftlich nachgewiesen, dass die Skala tatsächlich das erheben kann, was sie erheben soll. Im Vergleich zur „Mobile App Rating Skala“ (MARS-German) richtet sich uMARS-German in etwas abgespeckter Form konkret an individuelle/private Nutzer.

Quelle: Rathner, E.-M., Terhorst, Y., Barke, A., Baumeister, H. and Probst, T. (2018). Hilfe aus dem App Store: Entwicklung und Validierung der Mobile Application Ratings Scale in Deutsch (MARS-G). 36. Symposium der Fachgruppe Klinische Psychologie der Deutschen Gesellschaft für Klinische Psychologie in Landau vom 10.-12.5.2018.

Auch unsere App-Datenbank nutzt MARS-G zur Bewertung von Gesundheits-Apps und gibt einen Score für jede App wieder, der zwischen 1 und 5 liegen kann, wobei die 5 als Bestwertung zu verstehen ist. MARS-G setzt sich aus 19 Fragen in 4 Sektionen zusammen:

  • Sektion A: Engagement
    • Sektion A erhebt, wie motivierend und interessant die App ist.
  • Sektion B: Funktionalität
    • Sektion B zeigt, wie sauber die App technisch läuft.
  • Sektion C: Ästhetik
    • Sektion C gibt an, wie ansprechend die App aussieht.
  • Sektion D: Informationsgüte
    • Sektion D misst, wie qualitativ hochwertig die in der App gezeigten Informationen sind.

Beide Versionen (MARS-G und uMARS-G) stehen zum Download zur Verfügung.

Eine vergleichende Gegenüberstellung der einzelnen Kriterien der oben aufgeführten Erhebungsinstrumente für individuelle/private Nutzer finden Sie hier.

2. Erhebungsinstrumente für professionelle Anwender

Tabelle 2: Erhebungsinstrumente für professionelle App-NutzerInnen

 

Beschreibung der Bewertungs-Tools:

Die APPKRI-Kriterien für Gesundheits-Apps stellen einen web-basierten Meta-Kriterienkatalog dar, der vom Fraunhofer Institut für Offene Kommunikationssysteme (FOKUS) (APPKRI Kriterien für Gesundheits-Apps) entwickelt worden ist und durch das Bundesministerium für Gesundheit gefördert wird. Der Nutzer hat die Möglichkeit, sich für die Bewertung von Gesundheits-Apps an dem Gesamtkatalog, der Kriterien von A bis Z umfasst, zu orientieren oder einen individuell gestaltbaren Kriterienkatalog zu erstellen.

Die Leitlinien guter Praxis für gesundheitsbezogene Apps von der unabhängigen öffentlichen, französischen Einrichtung Haute Autorité de Santé (Leitlinien guter Praxis – HAS) stehen dem Nutzer als englischsprachiges PDF-Dokument zur Verfügung.

Die Mobile Application Rating Scale“ (MARS) ist eine Bewertungsskala, die von einer australischen Forschergruppe entwickelt worden ist. Die Skala umfasst zum einen objektive Kategorien zu Interaktivität, Funktionalität, Ästhetik und Informationsqualität und zum anderen auch subjektive Bewertungsaspekte. Die Skala gilt als valides und reliables Messinstrument zur Qualitätsbeurteilung von Gesundheits-Apps und liegt auch als Version uMARS für private/individuelle Nutzer vor. Beide Versionen werden aktuell ins Deutsche übersetzt und sollen noch 2019 publiziert werden (siehe hierzu auch MARS-G und uMARS-G).

Das „App Evaluation Model“ der American Psychiatric Association (App Evaluation Model) ist eine Webanwendung, die Apps zur psychischen Gesundheit anhand eines hierarchischen Systems bewertet.

Die NHS Digital Apps Library des National Health Services (NHS Apps Library – NHS) in Großbritannien ist eine Datenbank, die sowohl PatientInnen als auch Gesundheitsdiensteanbietern eine Auswahl an vertrauenswürdigen, qualitätsgeprüften Apps zu unterschiedlichen Themenbereichen zur Verfügung stellt. Alle Apps durchlaufen einen 5-stufigen Review-Prozess bevor sie in die Datenbank aufgenommen werden.

3. Qualitätssiegel für Gesundheits-Apps

Warum Qualitätssiegel?

Das Ziel von Qualitätssiegeln besteht im Allgemeinen darin, VerbraucherInnen Orientierung zu geben. Die Siegel bzw. Zertifikate für Gesundheits-Apps sollen NutzerInnen eine bessere Einschätzung über die Qualität und Sicherheit der mobilen Anwendung ermöglichen. Aufgrund der Dynamik und Vielfalt auf dem Gesundheits- und Medizin-App-Markt ist es wichtig, mehr Transparenz zu schaffen.

Das CE-Kennzeichen für Medizinprodukte repräsentiert das wichtigste Siegel, das eine Medizin-App erhalten kann. Die Vergabe erfolgt nach einem gesetzlichen Prüfprozess, dem sog. Konformitätsverfahren. Die Zertifizierung ist für alle Apps verpflichtend, die zur Diagnose oder Therapie von Krankheiten auf den Markt gebracht werden. Allerdings kann anhand des CE-Kennzeichens keine Aussage über den gesundheitlichen Nutzen einer App getroffen werden. Die CE-gekennzeichneten Medizin-Apps sind u.a. im App-Store Google Play zu finden. Allerdings ist eine Kennzeichnung nicht immer auf den ersten Blick erkennbar und Übersichten zu zertifizierten Apps bisher nicht verfügbar. Im Jahr 2020 tritt die Europäische Medical Device Regulation (MDR) – Verordnung in Kraft, wodurch jedem Medizinprodukt ein eindeutiger Produktschlüssel (Unique Device Identification, UDI) zugewiesen werden kann. Dementsprechend soll die Rückverfolgbarkeit bei Rückrufen sowie die Transparenz hinsichtlich des zertifizierten App-Angebots verbessert werden.

Finden Sie hier passende Apps, die als Medizinprodukt zertifiziert sind.

 

Nationale und internationale Qualitätssiegel:

Die nachfolgende tabellarische Übersicht gibt zudem einen exemplarischen Blick auf verschiedene Plattformen und Fachgesellschaften, die Gütesiegel für die von ihnen getesteten Gesundheits- und Medizin-Apps vergeben, falls diese die gestellten Anforderungen erfüllen. Nach erfolgreicher Prüfung wird die App mit einem Siegel zertifiziert. Dies wird meist auf der Website der Plattform/Fachgesellschaft aufgeführt. Während Plattformen wie HealthOn.de oder App-Check dabei alle Apps aus dem Gesundheitssektor im Visier haben, fokussieren sich die Fachgesellschaften meist ausschließlich auf ihr Fachgebiet (z.B. Diabetes). Kurzbeschreibungen der Siegel finden Sie unter der Tabelle.

Tabelle 3: Übersicht zu nationalen und internationalen Qualitätssiegeln für Gesundheits- und Medizin-Apps
Siegel in Deutschland

Internationale Siegel

Die Arbeitsgruppe DiaDigital, die mit der Informations- und Bewertungsplattform App-Check zusammenarbeitet, überprüft gemeinsam mit dem Zentrum für Telemedizin und Telematik (ZTG GmbH) Diabetes-Apps und vergibt daraufhin ein Prüfsiegel, das DiaDigital-Siegel. Basierend auf der Selbstauskunft des Herstellers und der technischen Überprüfung des ZTG, entscheidet ein Zusammenschluss von Diabetespatienten und -therapeuten über die Gewährung bzw. Nicht-Gewährung des Siegels.

HealthOn ist eine Qualitätsplattform für deutschsprachige Medizin- und Gesundheits-Apps. In die Datenbank werden nur Apps aufgenommen, die in einer kostenlosen Testversion frei zugänglich und medizinisch relevant sind. Die Überprüfung der Apps erfolgt anhand eines transparenten Kriterienkatalogs, dem sogenannten HealthOn-Ehrenkodex, der sieben Qualitäts- und Transparenzkriterien umfasst. Sind die Kriterien erfüllt, wird der Testbericht in der HealthOn-Datenbank mit dem HealthOn-Siegel versehen. Die Qualitätsplattform finanziert sich über die Förderung von Partnern, wie beispielsweise Krankenkassen, die die unabhängige, qualitätsgesicherte Datenquelle als Recherche- und Entscheidungshilfe nutzen.

Der Bundesverband Internetmedizin e.V. (BIM) unterstützt App-Entwickler, die sich um ein Zertifikat bewerben. Der Verband kümmert sich im Auftrag und auf Kosten des Herstellers um die notwendigen Dokumente, die für den Erwerb des CE-Kennzeichens benötigt werden. Der Anforderungskatalog für das Siegel Qualitätsprodukt Internetmedizin orientiert sich stark an den gesetzlichen Anforderungen für Medizinprodukte der Klasse I.

Neben den nationalen gibt es auch internationale Siegel, wie u.a. das Trusted App-Siegel, European PrivacySeal, CheckYourApp Prüfzeichen und das Datenschutzsiegel ePrivacy-App.

This is a unique website which will require a more modern browser to work! Please upgrade today!