Leistungsbewertungsplan (PEP) gemäß EU-IVDR 2017/746

1. Einführung in die Leistungsbewertung unter der IVDR

Der Prozess der Leistungsbewertung ist eine der Anforderungen, die sicherstellen, dass ein In vitro Diagnostikum die Sicherheits und Leistungsanforderungen der Verordnung erfüllt. Gemäß der IVDR muss der Hersteller nachweisen, dass das Produkt der erklärten Zweckbestimmung entspricht und alle relevanten Fragen zur Sicherheit und Leistung klärt. Drei wesentliche Säulen spielen in diesem Prozess eine Rolle: wissenschaftliche Validität, analytische Leistung und klinische Leistung. (Ref: IVDR Artikel 56, Anhang XIII Teil A)

Rechtsgrundlage: Artikel und Verweise auf Anhänge

Einige der wichtigsten Vorschriften sind:

• IVDR Art. 56: Verlangt, dass die Leistungsbewertung so geplant, durchgeführt und dokumentiert wird, dass der klinische Nachweis die Zweckbestimmung belegt. Zudem ist eine kontinuierliche Aktualisierung während der Lebensdauer des Produkts erforderlich.

• Anhang I, insbesondere Abs. 9: Beschreibt die grundlegenden Sicherheits und Leistungsanforderungen (GSPR) hinsichtlich der einzuhaltenden Leistungsmerkmale (analytisch und klinisch).

• Anhang XIII, Teil A: Legt fest, welche Informationen in den PEP (Leistungsbewertungsplan) aufgenommen werden müssen, einschließlich Kriterien, Verfahren, Merkmale, Analyten und weiterer Aspekte.

• MDCG-2022-2: Legt die allgemeinen Grundsätze für den klinischen Nachweis, die wissenschaftliche Validität, die Planung der Leistungsbewertung sowie die Leistungsnachbeobachtung nach dem Inverkehrbringen fest.

Bedeutung im IVD Lebenszyklus und bei der CE Kennzeichnung

• Der PEP ist vor der Markteinführung des Produkts von entscheidender Bedeutung, da er zur technischen Dokumentation beiträgt, die von der Benannten Stelle geprüft wird. Wenn der PEP Mängel aufweist, kann dies den Prozess der CE Kennzeichnung verzögern.

• Nach dem Inverkehrbringen erleichtert das Dokument die kontinuierliche Datenerfassung und Bewertung (PMPF/PMS), um die fortlaufende Konformität und Sicherheit zu bestätigen. Gemäß der IVDR müssen die Informationen insbesondere bei Produkten mit hohem Risiko (Klasse C und D) regelmäßig aktualisiert werden.

• Risikomanagementwerkzeug: Durch Identifizierung möglicher Fehler (analytische oder klinische Leistung) und Vorbereitung auf Überwachung, Risikominimierung sowie Verbesserungen.

2. Definition des Leistungsbewertungsplans (PEP)

Was ist ein Leistungsbewertungsplan?

• Der Leistungsbewertungsplan bezeichnet einen dokumentenbasierten Plan, der:

• Die Zweckbestimmung des Produkts beschreibt (was es angeblich nachweist oder misst, bei wem und wo und ähnliche Angaben).

• Auflistet, welche Leistungsmerkmale (gemäß Anhang I Teil 9) nachgewiesen werden sollten.

• Informationen über die Methoden, Statistiken, Akzeptanzkriterien, Referenzmaterialien und weitere Details enthält, die für die Erstellung der Nachweise verwendet werden.

Er umreißt Zeitrahmen, Aufgaben und weitere Details.

Einfach ausgedrückt handelt es sich um den Plan, wie Nachweise unter der IVDR gesammelt werden.

Wann und warum er benötigt wird

• Wann: Vor dem Inverkehrbringen des Produkts als Teil der technischen Dokumentation vor der Vermarktung. Er wird während des gesamten Lebenszyklus des Produkts regelmäßig aktualisiert, insbesondere bei Produkten der Klassen C und D.

• Warum: Um den Anforderungen der IVDR zu entsprechen, insbesondere den GSPR. Um die wissenschaftliche Validität, Zuverlässigkeit, Sicherheit und Nützlichkeit der Leistungsansprüche zu beweisen. Andernfalls besteht das Risiko, dass die regulatorischen Erwartungen nicht erfüllt werden oder die Benannte Stelle zusätzliche Daten anfordert.

Verhältnis zum Leistungsbewertungsbericht (PER)

• Im PEP legen Sie den Grundstein: Was werden Sie tun, wie, wann und unter Verwendung welcher Kriterien.

• Der PER ist das Ergebnis: Nachdem Sie die gesamte Arbeit durchgeführt und die Daten gesammelt haben, berichten Sie nun über Ihre Erkenntnisse, ob das Produkt diese Kriterien erfüllt und welche Einschränkungen bestehen. Er dokumentiert Literatur, Daten, Studiendesign, statistische Methoden, Ergebnisse und weitere Details.

• Regulatorische Anforderung: Gemäß IVDR ist der PER Teil der technischen Dokumentation. Der PER sollte entsprechend dem PEP auf dem neuesten Stand gehalten werden.

3. Regulatorische Anforderungen an den PEP: Aufschlüsselung nach Artikeln

Hier sind die wichtigsten relevanten Artikel und Anhänge sowie deren Anforderungen an den PEP:

4. Wissenschaftliche Validität: Planung und Dokumentation

Definition der wissenschaftlichen Validität unter der IVDR: Nachweis einer Assoziation des Analyten oder Biomarkers mit einem bestimmten klinischen oder physiologischen Zustand. Das ist ein grundlegender Aspekt.

Bei der Planung der Validitätsbewertung:

1. Literaturrecherche beziehungsweise systematische Übersichtsarbeit. Finden Sie vorhandene, von Fachkollegen geprüfte Publikationen, Expertenmeinungen und Metaanalysen. Beschreiben Sie die Methodik: Welche Datenbanken wurden verwendet (Pubmed, EmBase), wie wurde nach Literatur gesucht, welche Auswahlkriterien und kritischen Bewertungen wurden angewendet.

2. Erkennung von Lücken. Was ist noch unbekannt: Spezifität, nicht abgedeckte Gruppen, widersprüchliche Daten. Planen Sie bei Bedarf neue Studien.

3. Machbarkeitsnachweis beziehungsweise Pilotdaten. Bei einem neuen Analyten oder ehrgeizigen Ansprüchen könnten kleine Studien die Assoziation belegen.

Fügen Sie bei der Dokumentation den Abschnitt über die wissenschaftliche Validität in den PER ein, der all die oben genannten Punkte enthält. Er sollte gemäß IVDR Anhang XIII dokumentiert werden.

5. Analytische Leistung: Parameter und Methoden

• Die analytische Leistung ist die Fähigkeit des Instruments, die angegebene Messung unter normalen und selbst unter erschwerten Betriebsbedingungen zu liefern. Zu den Parametern der Leistung gehören:

• Präzision: Wiederholbarkeit (gleicher Bediener, gleiches Gerät), Vergleichbarkeit (unterschiedliche Bedingungen).

• Richtigkeit oder Genauigkeit: gegenüber Referenzmethoden.

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ).

• Linearität und Messbereich.

• Spezifität beziehungsweise analytische Spezifität: Vermeidung von Kreuzreaktivität ähnlicher Substanzen.

• Interferenzen.

• Stabilität: von Reagenzien, Probenvorbereitung und weiteren Faktoren.

Zu den Methoden gehören:

• Verwendung von zertifizierten Referenzmaterialien oder validierten Messverfahren.

• Bestimmung des angemessenen Stichprobenumfangs und der statistischen Analyse (beispielsweise Konfidenzintervalle und Fehlermarge).

• Vordefinition von Akzeptanzkriterien: Welche tolerierbaren Fehler zulässig sein sollten und welche Leistungsschwelle erreicht werden muss.

Klinische Leistung: Studiendesign und Begründung

• Begründung: Nachweis, dass das Ergebnis des mit dem Produkt durchgeführten diagnostischen Tests mit dem klinischen Zustand der Zielpopulation übereinstimmt.

• Zu den Überlegungen zum Studiendesign gehören die folgenden Punkte:

• Komparatoren: Goldstandard Tests oder andere diagnostische Tests.

• Population und Rahmenbedingungen: Demografie, Inzidenzraten von Krankheiten, Arten von Proben.

• Endpunkte: Sensitivität, Spezifität, Vorhersagewert, sofern anwendbar.

• Prospektives oder retrospektives Studiendesign: Je nach Durchführbarkeit und Angemessenheit.

• Einbeziehung von Erkenntnissen aus der realen Versorgung oder Literatur: Falls angemessen (zum Beispiel bei Produkten mit geringem Risiko oder wenn klinische Prüfungen schwierig sind). Dies muss gut begründet werden.

Ethische und sicherheitsrelevante Aspekte: Probenentnahme und Handhabung, Einwilligung des Patienten und minimales Risiko

7. Strategie zur Leistungsbewertung: Kombinierter Ansatz

• Die wissenschaftliche Validität sowie die analytische und klinische Leistung sollten nicht getrennt voneinander bewertet, sondern zusammen betrachtet werden. Beispielsweise könnte im Rahmen einer klinischen Leistungsbewertung auch die analytische Leistung unter praktischen Bedingungen bestimmt werden.

• Es muss einen Prozess der Versionierung und einen Auslöser für Aktualisierungen geben. Wenn neue Literatur zu dem Thema vorliegt oder Reklamationen von Anwendern auf Probleme mit der Leistung hindeuten oder zu einem bestimmten Zeitpunkt (insbesondere bei Produkten der Klassen C und D, bei denen die IVDR eine jährliche Aktualisierung vorschreibt), kann der Plan überprüft werden.

• Bei der Leistungsbewertung sollte ein risikobasierter Ansatz gewählt werden. Das bedeutet: Je höher das Risiko ist, desto aussagekräftigere Nachweise müssen erbracht werden.

8. Verhältnis zwischen PEP, PER und PMS / PMPF

• Überwachung nach dem Inverkehrbringen (PMS) bezieht sich auf alle Maßnahmen, die nach der Markteinführung ergriffen werden, um Daten über die Produktleistung, unerwünschte Ereignisse, Reklamationen und weitere Aspekte zu sammeln.

• Klinische Nachbeobachtung nach dem Inverkehrbringen (PMPF) umfasst geplante Studien und Datenerfassungen zur Bewertung von Leistungsansprüchen, zur Überwachung der Produktleistung und zur Erkennung von Leistungsabweichungen.

• Die durch PMS und PMPF gesammelten Daten werden dann für die Aktualisierung des PEP (falls neue Risiken oder Nachweise identifiziert werden) und die Überarbeitung des PER verwendet.

• Die IVDR schreibt für Produkte der Klassen C und D vor, dass der PER mindestens einmal jährlich aktualisiert werden muss.

9. Häufige Fehler und gute Praxis bei der Erstellung des PEP

• Ausschluss von gegenteiligen oder negativen Daten: Das Ignorieren von Literatur oder Forschungsergebnissen, die negative Befunde enthalten, ist voreingenommen und untergräbt den in Anhang XIII Teil A geforderten wissenschaftlichen Charakter.

• Unklare Akzeptanzkriterien: Die Verwendung von Formulierungen wie gute Sensitivität ohne quantifizierbare Grenzwerte entspricht nicht den wissenschaftlichen Analysekriterien von Anhang I Abschnitt 9.1(a).

• Unzureichende Beschreibung der Zweckbestimmung oder der Population: Das Fehlen einer klaren Definition kann zu einer Diskrepanz zwischen den in der Forschung gewonnenen Daten und der tatsächlichen Verwendung des Produkts führen. Dies kann ein Problem der Nichteinhaltung von Vorschriften nach sich ziehen (siehe Artikel 56(1) und Anhang I Abschnitt 20).

• Keine Planung nach dem Inverkehrbringen: Versäumnisse bei der Formulierung eines Plans zur klinischen Nachbeobachtung nach dem Inverkehrbringen (PMPF) und eines Überwachungsplans stehen im Widerspruch zu Anhang XIII Teil B und den Artikeln 78 bis 81.

• Fehlende Überarbeitung der Dokumente: Wenn PEP und PER bei zusätzlichen Daten, Produktänderungen oder aktualisierten Normen nicht überarbeitet werden, verstößt dies gegen Artikel 56(6).

Gute Praktiken

• Dokumentieren Sie alle relevanten Informationen, unabhängig davon, ob sie positiv oder negativ sind, und begründen Sie diese.

• Legen Sie risikobasierte Akzeptanzkriterien für alle Analysen und klinischen Parameter fest.

• Stellen Sie sicher, dass der PEP mit der Risikomanagementdokumentation harmonisiert ist und dass die Zuständigkeiten für die Überwachung nach dem Inverkehrbringen sowie die Verfahren zur Entscheidungsfindung im Rahmen der PM klar definiert sind.

• Halten Sie die Versionen des PEP und des PER durch entsprechende Aktualisierungen auf dem neuesten Stand.

10. Vorlagen und Checklisten für die Erstellung des PEP

Produktbeschreibung und Zweckbestimmung

• Beschreiben Sie das In vitro Diagnostikum im Detail (Handelsname, Modell, Katalognummer und die präzise Angabe der Zweckbestimmung). In diesem Absatz sollten auch die medizinischen Zustände, die Indikationen und das Anwenderprofil (professionell, patientennahe Diagnostik oder Eigenanwendung) gemäß Anhang I Abschnitt 20 beschrieben werden.

Zielpopulation und Anwendungsumgebung

• Beschreiben Sie die Zielpopulation (Altersspanne, Krankheitsstatus, andere demografische Faktoren) sowie die Anwendungsumgebung (Labor, Klinik, häusliche Umgebung). Identifizieren Sie Probenarten und alle besonderen Anforderungen an die Probenentnahme, den Transport und die Lagerung.

Definition von Analyten oder Markern

• Beschreiben Sie wissenschaftlich fundiert alle Analyten oder Marker, die mit dem Produkt nachgewiesen oder gemessen werden sollen.

• Weisen Sie die klinische Relevanz der Analyten oder Marker gemäß Artikel 2(38) und Anhang XIII Teil A nach.

• Referenzmaterialien, Referenzmessverfahren und Normen

• Listen Sie Referenzmaterialien, Referenzmessverfahren und Normen auf, die zur Erreichung der metrologischen Rückführbarkeit verwendet werden.

• Definieren Sie die Rückführbarkeit auf die entsprechenden Referenzstandards gemäß Anhang I Abschnitt 9.1.a.

Stand der Technik und relevante Normen

• Bieten Sie eine Übersicht über den Stand der Technik für den beabsichtigten diagnostischen Zweck, einschließlich wissenschaftlich und klinisch anerkannter Leitlinien, harmonisierter Normen und gemeinsamer Spezifikationen.

• Nennen Sie ein Vergleichsprodukt oder eine Vergleichstechnologie, die für den Vergleich im Leistungsbewertungsprozess herangezogen wird.

Analytische Leistungsmerkmale

• Beschreiben Sie alle analytischen Leistungsmerkmale, die für das Testprodukt relevant sind, und skizzieren Sie die Verfahren zu deren Prüfung, darunter:

• Genauigkeit und Richtigkeit

• Präzision (Wiederholbarkeit und Vergleichbarkeit)

• Sensitivität und Spezifität

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ)

• Linearität und Messbereich

• Interferenzen und Kreuzreaktivität

Die oben genannten Punkte sollten im Hinblick auf Studiendesign, statistische Analyse und Akzeptanzkriterien beschrieben werden. Dieser Abschnitt sollte mit Anhang I Abschnitt 9 und Anhang XIII Teil A übereinstimmen.

Klinischer Leistungsplan

• Spezifizieren Sie den Ansatz zum Nachweis der klinischen Leistung des Medizinprodukts durch klinische Leistungsstudien, Literaturrecherchen oder Daten aus der realen Praxis.

• Geben Sie alle Einzelheiten zum Design der Studie an, einschließlich der erwarteten klinischen Endpunkte, Komparatoren, des Stichprobenumfangs sowie der Ein und Ausschlusskriterien, in Übereinstimmung mit Artikel 57 und Anhang XIII Teil A.

Nutzen Risiko Bewertung und Integration des Risikomanagements

• Geben Sie eine Zusammenfassung der Nutzen Risiko Bewertung des Medizinprodukts durch Integration des Risikomanagementprozesses nach ISO 14971 und Artikel 10 des Anhangs I Abschnitt 3.

• Zeigen Sie auf, wie die Risikomanagementakte zum PEP beiträgt.

Zeitrahmen, Meilensteine und Verantwortlichkeiten

• Geben Sie den Zeitplan der geplanten Aktivitäten für jede Phase der Leistungsbewertung mit den entsprechenden Start und Enddaten an.

• Legen Sie die verantwortlichen Personen oder Abteilungen für die Erfüllung der jeweiligen Aufgabe fest.

Überwachung nach dem Inverkehrbringen (PMS) und klinische Nachbeobachtung nach dem Inverkehrbringen (PMPF)

• Beschreiben Sie die Strategie zur Erfassung und Bewertung von Daten nach dem Inverkehrbringen, um die kontinuierliche Sicherheit und Leistung des Medizinprodukts nachzuweisen.

• Beschreiben Sie, wie die Daten aus PMS und PMPF in nachfolgende Aktualisierungen von PEP und PER in Übereinstimmung mit Artikel 56, Anhang XIII Teil B und den Artikeln 78 bis 81 einfließen werden.

• Versionskontrolle

Geben Sie die Strategie zur Versionskontrolle für den PEP an.

• Fügen Sie eine Aufzeichnung der Änderungen am PEP bei, aus der der Grund für die Änderung, das Datum und die verantwortliche Person beziehungsweise Abteilung hervorgehen.

11. Häufig gestellte Fragen zum Leistungsbewertungsplan unter der IVDR

Wird für jedes IVD Produkt ein PEP erwartet?

• Ja. Gemäß der IVDR Verordnung ist es für alle IVD Produkte ohne Ausnahme zwingend erforderlich, eine Leistungsbewertung durchzuführen. Der Hersteller ist verpflichtet, einen PEP in der technischen Dokumentation zu erstellen.

Wie häufig werden PEP und PER aktualisiert?

• IVD Produkte der Klassen C und D: Der PER muss jährlich aktualisiert werden oder wenn Aktualisierungen bezüglich der Überwachung nach dem Inverkehrbringen beziehungsweise der PMPF vorliegen, die Auswirkungen auf die Leistung oder Sicherheit haben.

• Für Kategorien mit geringem Risiko: anlassbezogene Aktualisierungen (basierend auf neuen Daten, Änderungen des Stands der Technik, der Zweckbestimmung oder Bedenken hinsichtlich der Leistung).

Ist ein PER immer obligatorisch?

• Ja. Der PER ist obligatorisch und Teil der technischen Dokumentation. Selbst wenn er auf Literatur und indirekten Daten basiert, enthält der PER Begründungen, Methoden, Ergebnisse und Einschränkungen.

12. Fazit

• Der PEP ist ein wesentliches Element für die Konformität mit der IVDR, da dieses Dokument als Nachweis für das Verständnis der erforderlichen Leistungsanforderungen und deren Bewertung sowie für die Nachhaltigkeit der Leistung dient.

• Ein effektiver PEP, gefolgt von einem aussagekräftigen PER und einer hervorragenden PMS beziehungsweise PMPF, erleichtert den Prozess der regulatorischen Bewertung und minimiert das Risiko von Abweichungen.

• Zukünftige Trends: Nutzung von Daten aus der realen Welt, Leitlinien von benannten Stellen beziehungsweise gemeinsame Spezifikationen, aktualisierte Normen (analytisch und klinisch), verstärkter Fokus auf Rückführbarkeit und Reproduzierbarkeit der Ergebnisse.

Wichtige Referenzen

• IVDR (EU) 2017/746, insbesondere: Artikel 56: Leistungsbewertung und klinischer Nachweis

• Artikel 57: Allgemeine Anforderungen an Leistungsstudien

• Anhang I: Grundlegende Sicherheits und Leistungsanforderungen (GSPR), zum Beispiel Abschnitt 9 zu Leistungsmerkmalen

• Anhang XIII, Teil A: Leistungsbewertung und Leistungsstudien; Teil B: Klinische Nachbeobachtung nach dem Inverkehrbringen (PMPF)

• MDCG-2022-2: Leitfaden veröffentlicht am 27. Januar 2022, der die allgemeinen Grundsätze des klinischen Nachweises, den Prozess der Leistungsbewertung, die Rolle des Risikomanagements, PEP, PER, die kontinuierliche Aktualisierung und weitere Aspekte darlegt. (Öffentliche Gesundheit)