Leistungsbewertungsplan (PEP) gemäß EU-IVDR 2017/746

Einführung in die Leistungsbewertung unter der IVDR

Die Leistungsbewertung ist ein obligatorischer Teil der Sicherstellung, dass ein In vitro Diagnostikum (IVD) die in der Verordnung festgelegten Sicherheits und Leistungsanforderungen erfüllt. Unter der IVDR müssen Hersteller nachweisen, dass ihr Produkt den angegebenen Zweck unter normalen Gebrauchsbedingungen erfüllt und dass es relevante Fragen der Sicherheit, Genauigkeit und Zuverlässigkeit beantwortet. Dies beinhaltet den Nachweis von drei Säulen: wissenschaftliche Validität, analytische Leistung und klinische Leistung. (Ref: IVDR Artikel 56, Anhang XIII Teil A)

Rechtsgrundlage: Artikel und Verweise auf Anhänge

Einige der wichtigsten gesetzlichen Bestimmungen sind:

• Artikel 56 der IVDR: Legt fest, dass die Leistungsbewertung so geplant, durchgeführt und dokumentiert werden muss, dass die klinische Evidenz den beabsichtigten Zweck unterstützt. Zudem ist eine kontinuierliche Aktualisierung während des gesamten Produktlebenszyklus vorgeschrieben.

• Anhang I, insbesondere Abschnitt 9: Detailliert die grundlegenden Sicherheits und Leistungsanforderungen (GSPR) in Bezug auf die Leistungsmerkmale (analytisch und klinisch), die erfüllt sein müssen.

• Anhang XIII, Teil A: Legt fest, was im PEP (Leistungsbewertungsplan) enthalten sein muss, einschließlich der Kriterien, Methoden, Merkmale, Analyten usw.

• MDCG-2022-2: Bietet Leitlinien zu den allgemeinen Grundsätzen der klinischen Evidenz, wie die wissenschaftliche Validität zu interpretieren ist, wie die Leistungsbewertung zu planen ist und wie mit der Leistungsnachbeobachtung nach dem Inverkehrbringen umzugehen ist.

Bedeutung im IVD Lebenszyklus und bei der CE Kennzeichnung

• Der PEP ist vor dem Inverkehrbringen des Produkts unerlässlich: Er ist Teil der technischen Dokumentation, die von einer Benannten Stelle bewertet wird. Wenn der PEP Schwachstellen aufweist oder Elemente fehlen, kann sich die CE Kennzeichnung verzögern.

• Nach dem Markteintritt unterstützt der Plan die laufende Erfassung und Überprüfung von Daten (PMPF / PMS), um eine kontinuierliche Konformität und Sicherheit zu gewährleisten. Unter der IVDR müssen die Nachweise, insbesondere bei Produkten mit höherem Risiko (Klasse C und D), regelmäßig aktualisiert werden.

• Hilft beim Risikomanagement: Durch die Erfassung potenzieller Fehlerquellen (analytische oder klinische Leistung) und die Vorbereitung von Überwachungen, Abhilfemaßnahmen oder Verbesserungen.

2. Was ist ein Leistungsbewertungsplan (PEP)?

Definition und Rolle

Ein Leistungsbewertungsplan ist ein dokumentierter Plan, der:

• Den beabsichtigten Zweck des Produkts definiert (was es nachzuweisen oder zu messen beansprucht, in welcher Population, in welchem Umfeld usw.).

• Identifiziert, welche Leistungsmerkmale (gemäß Anhang I Abschnitt 9) nachgewiesen werden müssen.

• Methoden, statistische Instrumente, Akzeptanzkriterien, Referenzmaterialien usw. spezifiziert, die zur Erstellung von Nachweisen verwendet werden.

• Zeitpläne, Verantwortlichkeiten und die Art und Weise von Aktualisierungen festlegt.

Kurz gesagt ist er der Fahrplan dafür, wie Sie die unter der IVDR erforderlichen Nachweise (analytisch, klinisch, wissenschaftlich) erbringen.

Wann und warum er erforderlich ist

• Wann: Vor der Markteinführung als Teil der technischen Dokumentation vor dem Inverkehrbringen. Zudem wird er während des Lebenszyklus des Produkts regelmäßig aktualisiert, insbesondere bei Produkten der Klasse C und D.

• Warum: Um die Konformität mit der IVDR, insbesondere mit den GSPR, sicherzustellen. Zudem soll gewährleistet werden, dass die Leistungsansprüche wissenschaftlich valide, zuverlässig, sicher und nützlich sind. Ohne einen ordnungsgemäßen PEP besteht das Risiko, dass das Produkt die regulatorischen Erwartungen nicht erfüllt oder die Benannte Stelle zusätzliche Daten anfordert.

Beziehung zum Leistungsbewertungsbericht (PER)

• Der PEP legt das Fundament: Was Sie planen, wie, wann und mit welchen Kriterien.

• Der PER ist das Ergebnis: Nach Abschluss der Arbeiten und der Datenerfassung berichten Sie über Ihre Erkenntnisse, ob das Produkt diese Kriterien erfüllt und welche Einschränkungen bestehen. Er umfasst die Dokumentation von Literatur, Daten, Studiendesign, statistischen Methoden, Ergebnissen usw.

• Regulatorische Anforderung: Die IVDR schreibt vor, dass der PER Teil der technischen Dokumentation sein muss. Zudem muss der PER auf der Grundlage des PEP aktualisiert werden, sobald Daten aus der Zeit nach dem Inverkehrbringen vorliegen.

3. Regulatorische Anforderungen an den PEP: Aufschlüsselung nach Artikeln

Hier sind die wichtigsten relevanten Artikel und Anhänge sowie deren Anforderungen an den PEP aufgeführt:

4. Wissenschaftliche Validität: Planung und Dokumentation

Die wissenschaftliche Validität ist unter der IVDR als der Nachweis definiert, dass der Analyt oder Marker mit einem klinischen Zustand oder einem physiologischen Status in Zusammenhang steht. Dies ist von grundlegender Bedeutung.

Bei der Planung der Validitätsbewertung:

1. Literaturrecherche / Systematische Übersichtsarbeit. Identifizieren Sie bestehende, von Fachkollegen geprüfte Studien, Expertenkonsens, Metaanalysen. Dokumentieren Sie die Methode: welche Datenbanken (z. B. PubMed, Embase), Suchstrategie, Ein und Ausschlusskriterien, kritische Bewertung.

2. Identifizierung von Lücken. Was ist nicht bekannt: Spezifität, nicht abgedeckte Populationen, widersprüchliche Evidenz. Planen Sie bei Bedarf neue Studien.

3. Machbarkeitsnachweis / Pilotdaten. Wenn der Analyt neuartig ist oder die Ansprüche ambitioniert sind, können kleine Studien den Zusammenhang untermauern.

Für die Dokumentation ist im PER ein Bericht über die wissenschaftliche Validität zu erstellen, der all diese Aspekte mit transparenter Methodik abdeckt. Anhang XIII der IVDR verlangt, dass dies dokumentiert wird.

5. Analytische Leistung: Parameter und Methoden

Die analytische Leistung bezieht sich darauf, wie gut das Produkt unter normalen (und manchmal unter Belastungs ) Gebrauchsbedingungen das misst, was es zu messen beansprucht. Zu den Komponenten gehören:

• Präzision: Wiederholbarkeit (gleicher Anwender, gleiches Gerät), Vergleichbarkeit (andere Bedingungen).

• Genauigkeit / Richtigkeit: Vergleich mit Referenzmethoden.

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ).

• Linearität / Messbereich.

• Spezifität / Analytische Spezifität: Fähigkeit, falsch positive Ergebnisse durch ähnliche Substanzen zu vermeiden (Kreuzreaktivität).

• Interferenzen.

• Stabilität: von Reagenzien, Probenhandhabung usw.

• Methoden:

• Identifizieren Sie zertifizierte Referenzmaterialien oder validierte Messverfahren, sofern verfügbar. 

• Verwenden Sie eine angemessene Stichprobengröße; definieren Sie die statistische Analyse (z. B. Konfidenzintervalle, akzeptable Fehlermargen).

• Definieren Sie Akzeptanzkriterien im Voraus: Welche Fehlertoleranzen sind akzeptabel, welche Leistungsschwellen müssen erreicht werden.

6. Klinische Leistung: Studiendesign und Ziele

Zweck: Nachzuweisen, dass das durch das Produkt erzielte diagnostische Ergebnis mit dem klinischen Zustand in der Zielpopulation korreliert.

Wichtige Designelemente:

• Komparatoren: Goldstandard Tests oder andere Diagnoseverfahren.

• Population und Umfeld: Demografie, Krankheitsprävalenz, Probenarten.

• Endpunkte: Sensitivität, Spezifität, prädiktive Werte, sofern relevant.

• Prospektiv im Vergleich zu retrospektiv: was machbar und akzeptabel ist.

• Nutzung von Daten aus der realen Welt / Literatur: sofern gerechtfertigt (z. B. bei Produkten mit geringem Risiko oder wenn klinische Studien schwierig durchzuführen sind). Dies muss gut dokumentiert sein.

• Ethische und sicherheitsbezogene Aspekte: Probensammlung, Handhabung der Patienteneinwilligung, Gewährleistung eines minimalen Risikos.

7. Leistungsbewertungsstrategie: Kombinierter Ansatz

• Stellen Sie sicher, dass wissenschaftliche Validität, analytische und klinische Leistung nicht isoliert betrachtet, sondern integriert werden. Beispielsweise kann eine klinische Leistungsstudie auch analytische Leistungsdaten unter Praxisbedingungen liefern.

• Der Plan sollte eine Versionierung und Auslöser für Überprüfungen enthalten. Zum Beispiel beim Auftauchen neuer Literatur, wenn Anwenderbeschwerden auf Leistungsprobleme hindeuten oder nach einem bestimmten Zeitraum (insbesondere bei Produkten der Klasse C und D schreibt die IVDR jährliche Aktualisierungen vor).

• Die Strategie sollte risikobasiert sein: höheres Risiko erfordert strengere Nachweise; bei geringerem Risiko oder einfacheren Produkten können weniger oder auf Literatur basierende klinische Leistungsstudien gerechtfertigt sein.

8. Beziehung zwischen PEP, PER und PMS / PMPF

• PMS (Post Market Surveillance) ist die Gesamtheit der Aktivitäten nach dem Inverkehrbringen, um Informationen über die Produktleistung, Sicherheit, Beschwerden usw. zu sammeln.

• PMPF (Post Market Performance Follow Up) ist spezifischer: geplante Studien und Datenerhebung, um Leistungsansprüche zu verfolgen, die langfristige Leistung zu überwachen und Leistungsabweichungen zu erkennen.

• Daten aus PMS und PMPF fließen in die Aktualisierung des PEP (falls neue Risiken oder Erkenntnisse auftauchen) und in die Überarbeitung des PER (zur Widerspiegelung der aktuellen Erkenntnisse) ein.

• Für Produkte der Klasse C und D verlangt die IVDR, dass der PER bei Bedarf mindestens jährlich aktualisiert wird.

9. Häufige Fehler und Best Practices bei der Erstellung eines PEP

Häufige Fehler

• Weglassen negativer oder widersprüchlicher Daten – Der Ausschluss ungünstiger Literatur oder Studienergebnisse führt zu Verzerrungen und schwächt die nach Anhang XIII, Teil A erforderliche wissenschaftliche Validität.

• Unklare Akzeptanzkriterien – Die Verwendung von Begriffen wie „gute Sensitivität“ ohne definierte numerische Schwellenwerte erfüllt nicht die analytischen Anforderungen von Anhang I, Abschnitt 9.1(a).

• Unzureichend definierter Verwendungszweck oder unzureichend definierte Population – Eine unvollständige oder vage Beschreibung kann dazu führen, dass die Studiendaten nicht mit der tatsächlichen Anwendung übereinstimmen, was zu einer Nichtkonformität führen kann (Ref: Artikel 56(1) und Anhang I, Abschnitt 20).

• Kein strukturierter Plan für die Zeit nach dem Inverkehrbringen – Das Fehlen einer Strategie zur Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF) und zur Überwachung verstößt gegen Anhang XIII, Teil B und die Artikel 78 bis 81.

• Fehlende Aktualisierung von Dokumenten – Wenn der PEP oder der Leistungsbewertungsbericht (PER) beim Auftreten neuer Daten, Produktänderungen oder aktualisierter Normen nicht überarbeitet wird, verstößt dies gegen Artikel 56(6).

Best Practices

• Beziehen Sie alle relevanten Erkenntnisse, ob positiv oder negativ, mit einer transparenten Begründung ein.

• Definieren Sie messbare, risikobasierte Akzeptanzkriterien für alle analytischen und klinischen Parameter.

• Stimmen Sie den PEP mit der Risikomanagementakte ab und weisen Sie klare Verantwortlichkeiten für PMS und PMPF Aktivitäten zu.

• Pflegen Sie die Versionskontrolle und aktualisieren Sie PEP und PER unverzüglich, um neue Erkenntnisse oder regulatorische Änderungen zu berücksichtigen.

10. Vorlagen und Checklisten für die Erstellung eines PEP

Produktbeschreibung und beabsichtigter Zweck

• Geben Sie eine detaillierte Beschreibung des In vitro Diagnostikums an, einschließlich seines Handelsnamens, der Modell oder Katalognummer sowie eine präzise Angabe des beabsichtigten Zwecks.

•  Dieser Abschnitt muss auch den medizinischen Zustand, die klinischen Indikationen und das Anwenderprofil (professionell, patientennah oder Eigenanwendung) spezifizieren. Fügen Sie die angegebenen Leistungsmerkmale, Einschränkungen und Kontraindikationen gemäß den Anforderungen von Anhang I, Abschnitt 20 bei.

Zielpopulation und Anwendungsumgebung

• Definieren Sie die Zielpopulation (z. B. Altersspanne, Krankheitsstatus und relevante demografische Faktoren) und die vorgesehene Anwendungsumgebung (z. B. Labor, klinische Umgebung, häusliche Umgebung).

• Identifizieren Sie die zu verwendenden Probenarten und beschreiben Sie alle spezifischen Bedingungen für die Probenentnahme, den Transport und die Lagerung.

Definition von Analyten oder Markern

• Geben Sie eine klare und wissenschaftlich fundierte Beschreibung jedes Analyten oder Markers an, den das Produkt nachweisen oder messen soll.

• Weisen Sie die klinische Relevanz dieser Analyten oder Marker gemäß Artikel 2(38) und Anhang XIII, Teil A nach.

Referenzmaterialien und messtechnische Rückführbarkeit

• Listen Sie Referenzmaterialien, Referenzmessverfahren und Normen auf, die zur Gewährleistung der messtechnischen Rückführbarkeit verwendet werden.

• Legen Sie fest, wie die Rückführbarkeit auf geeignete Referenznormen aufrechterhalten wird, wie in Anhang I, Abschnitt 9.1(a) gefordert.

Stand der Technik und relevante Normen

• Fassen Sie den aktuellen Stand der Technik für den beabsichtigten diagnostischen Zweck zusammen, einschließlich anerkannter wissenschaftlicher und klinischer Leitlinien, harmonisierter Normen und gemeinsamer Spezifikationen.

• Identifizieren Sie Vergleichsprodukte oder Technologien, die für Vergleichszwecke bei der Bewertung der analytischen und klinischen Leistung herangezogen werden sollen.

Analytischer Leistungsplan

Identifizieren Sie alle für das Produkt relevanten analytischen Leistungsparameter und stellen Sie detaillierte Protokolle für deren Bewertung bereit, einschließlich:

• Genauigkeit und Richtigkeit

• Präzision (Wiederholbarkeit und Vergleichbarkeit)

• Analytische Sensitivität und Spezifität

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ)

• Linearität und Messbereich

• Potenzielle Interferenzen und Kreuzreaktivität

• Geben Sie für jeden Parameter das Studiendesign, die statistischen Methoden, die Akzeptanzkriterien und die Referenzmessverfahren an. Dieser Abschnitt sollte mit Anhang I, Abschnitt 9 und Anhang XIII, Teil A übereinstimmen.

Klinischer Leistungsplan

• Beschreiben Sie die Methodik zum Nachweis der klinischen Leistung, die klinische Leistungsstudien, Literaturrecherchen oder Daten aus der realen Welt umfassen kann.

• Machen Sie detaillierte Angaben zum Studiendesign, zu den beabsichtigten klinischen Endpunkten, zu den Vergleichsmethoden, zur Begründung der Stichprobengröße, zu den Ein und Ausschlusskriterien sowie zu ethischen Überlegungen gemäß Artikel 57 und Anhang XIII, Teil A.

Nutzen Risiko Bewertung und Abstimmung mit dem Risikomanagement

• Fassen Sie die Nutzen Risiko Bewertung für das Produkt zusammen und integrieren Sie den in ISO 14971 definierten und in Anhang I, Abschnitt 3 geforderten Risikomanagementprozess.

• Dokumentieren Sie, wie die Risikomanagementakte mit dem PEP interagiert und diesen unterstützt.

Zeitpläne, Meilensteine und Verantwortlichkeiten

• Erstellen Sie einen Zeitplan für die geplanten Aktivitäten, einschließlich des Beginns und des Abschlusses jeder Phase der Leistungsbewertung.

• Weisen Sie bestimmten Personen oder Funktionen Verantwortlichkeiten zu, um die Rechenschaftspflicht und Rückführbarkeit während des gesamten Prozesses zu gewährleisten.

Überwachung nach dem Inverkehrbringen (PMS) und Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF)

• Definieren Sie die Strategie für die Erfassung und Bewertung von Daten nach dem Inverkehrbringen, um die kontinuierliche Sicherheit und Leistung des Produkts zu bestätigen.

• Beschreiben Sie, wie Erkenntnisse aus PMS und PMPF in regelmäßige Aktualisierungen des PEP und des Leistungsbewertungsberichts (PER) integriert werden, wie in Anhang XIII, Teil B und den Artikeln 56 und 78 bis 81 gefordert.

Versionskontrolle und Dokumentenänderungsmanagement

• Richten Sie ein Versionskontrollsystem ein, um Aktualisierungen des PEP zu verfolgen.

• Fügen Sie ein Änderungsprotokoll bei, in dem der Grund für jede Überarbeitung, das Datum der Implementierung und die verantwortliche Person oder Abteilung dokumentiert sind.

11. Häufig gestellte Fragen zum Leistungsbewertungsplan unter der IVDR

Benötigt jedes IVD Produkt einen PEP?
Ja. Die IVDR schreibt vor, dass für alle IVDs, sofern nicht eine ganz spezifische Ausnahme vorliegt (falls überhaupt jemals), eine Leistungsbewertung durchgeführt werden muss. Der Hersteller muss einen PEP als Teil der technischen Dokumentation erstellen.

Wie oft sollten PEP und PER aktualisiert werden?

• Für IVDs der Klassen C und D: Der PER muss mindestens jährlich aktualisiert werden und immer dann, wenn neue Daten (aus dem Markt, PMPF) auftauchen, die sich auf die Leistung oder Sicherheit auswirken.

• Für Produkte mit geringerem Risiko: Aktualisierungen bei bestimmten Auslösern (neue Erkenntnisse, Änderungen des Stands der Technik, Änderungen des Verwendungszwecks oder beobachtete Leistungsprobleme).

Ist ein PER immer obligatorisch?
Ja. Der Leistungsbewertungsbericht ist erforderlich und Teil der technischen Dokumentation. Selbst wenn man sich auf Literatur oder andere indirekte Daten stützt, muss der PER Begründungen, Methoden, Ergebnisse und Einschränkungen enthalten. 

12. Fazit

• Der PEP ist von zentraler Bedeutung für die Konformität mit der IVDR: Auf diese Weise zeigt der Hersteller, dass er versteht, welche Leistung erforderlich ist, wie sie zu messen ist und wie die Leistung im Laufe der Zeit aufrechterhalten werden kann.

• Ein solider PEP, gefolgt von einem gut durchgeführten PER und einer starken PMS und PMPF, macht die regulatorische Überprüfung reibungsloser und verringert das Risiko einer Nichtkonformität.

• Trends, auf die zu achten ist: größere Abhängigkeit von Daten aus der realen Welt, detailliertere Leitlinien von Benannten Stellen oder standardisierte gemeinsame Spezifikationen, sich entwickelnde Normen (analytisch und klinisch), stärkere Betonung der Rückführbarkeit und Reproduzierbarkeit von Ergebnissen.

Wichtigste Referenzen

• IVDR (EU) 2017/746, insbesondere:

• Artikel 56: Leistungsbewertung und klinische Evidenz

• Artikel 57: Allgemeine Anforderungen an Leistungsstudien 

• Anhang I: Grundlegende Sicherheits und Leistungsanforderungen (GSPR), z. B. Abschnitt 9 zu Leistungsmerkmalen

• Anhang XIII, Teil A: Leistungsbewertung und Leistungsstudien; Teil B: Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF)

• MDCG-2022-2: Am 27. Januar 2022 veröffentlichtes Leitdokument, das allgemeine Grundsätze der klinischen Evidenz, den Leistungsbewertungsprozess, die Rolle des Risikomanagements, PEP, PER, kontinuierliche Aktualisierung usw. darlegt. (Public Health)