1. Einführung in die Leistungsbewertung unter der IVDR

Die Leistungsbewertung ist ein obligatorischer Bestandteil des Nachweises, dass ein In-vitro-Diagnostikum (IVD) die in der Verordnung festgelegten Sicherheits- und Leistungsanforderungen erfüllt. Im Rahmen der IVDR müssen Hersteller nachweisen, dass ihr Produkt den angegebenen Verwendungszweck unter normalen Nutzungsbedingungen erfüllt und dass es relevante Sicherheits-, Genauigkeits- und Zuverlässigkeitsfragen beantwortet. Dies erfordert den Nachweis von drei Säulen: wissenschaftliche Validität, analytische Leistung und klinische Leistung. (Ref: IVDR Artikel 56, Anhang XIII Teil A)

Rechtsgrundlage: Artikel und Verweise auf Anhänge

Einige der wichtigsten gesetzlichen Bestimmungen sind:

• Artikel 56 der IVDR: Legt fest, dass die Leistungsbewertung so geplant, durchgeführt und dokumentiert werden muss, dass der Verwendungszweck durch klinische Evidenz untermauert wird. Er schreibt zudem eine kontinuierliche Aktualisierung während des gesamten Lebenszyklus des Produkts vor.

• Anhang I, insbesondere Abschnitt 9: Detailliert die grundlegenden Sicherheits- und Leistungsanforderungen (GSPR) in Bezug auf die Leistungsmerkmale (analytisch & klinisch), die erfüllt sein müssen.

• Anhang XIII, Teil A: Legt fest, was im PEP (Leistungsbewertungsplan) enthalten sein muss, einschließlich der Kriterien, Methoden, Merkmale, Analyten usw.

• MDCG-2022-2: Bietet Leitlinien zu den allgemeinen Grundsätzen der klinischen Evidenz – wie die wissenschaftliche Validität zu interpretieren ist, wie die Leistungsbewertung zu planen ist und wie mit der Leistungsnachbeobachtung nach dem Inverkehrbringen verfahren werden soll.

Bedeutung im IVD-Lebenszyklus und für die CE-Kennzeichnung

• Der PEP ist vor dem Inverkehrbringen des Produkts unerlässlich: Er ist Teil der technischen Dokumentation, die von einer Benannten Stelle bewertet wird. Wenn der PEP Mängel aufweist oder Elemente fehlen, kann sich die CE-Kennzeichnung verzögern.

• Nach dem Markteintritt unterstützt der Plan die laufende Erfassung und Überprüfung von Daten (PMPF / PMS), um die kontinuierliche Konformität und Sicherheit zu gewährleisten. Unter der IVDR, insbesondere bei Produkten mit höherem Risiko (Klasse C & D), müssen die Nachweise regelmäßig aktualisiert werden.

• Hilft beim Risikomanagement: Durch die Erfassung potenzieller Fehlerquellen (analytische oder klinische Leistung) und die Vorbereitung von Überwachungs-, Minderungs- oder Verbesserungsmaßnahmen.

2. Was ist ein Leistungsbewertungsplan (PEP)?

Definition und Rolle

Ein Leistungsbewertungsplan (Performance Evaluation Plan) ist ein dokumentierter Plan, der:

• den Verwendungszweck des Produkts definiert (was es nachweisen oder messen soll, in welcher Population, in welchem Umfeld usw.).

• identifiziert, welche Leistungsmerkmale (gemäß Anhang I Abschnitt 9) nachgewiesen werden müssen.

• die Methoden, statistischen Instrumente, Akzeptanzkriterien, Referenzmaterialien usw. festlegt, die zur Erbringung der Nachweise herangezogen werden.

• Zeitpläne, Verantwortlichkeiten und die Art und Weise von Aktualisierungen festlegt.

Zusammenfassend ist er der Fahrplan dafür, wie Sie die unter der IVDR erforderlichen Nachweise (analytisch, klinisch, wissenschaftlich) erbringen.

Wann und warum er erforderlich ist

• Wann: Vor der Markteinführung als Teil der technischen Dokumentation vor dem Inverkehrbringen. Zudem muss er während des Lebenszyklus des Produkts regelmäßig aktualisiert werden, insbesondere bei Produkten der Klassen C & D.

• Warum: Um die Konformität mit der IVDR, insbesondere mit den GSPR, sicherzustellen. Zudem soll gewährleistet werden, dass die Leistungsversprechen wissenschaftlich valide, zuverlässig, sicher und nützlich sind. Ohne einen ordnungsgemäßen PEP besteht das Risiko, dass das Produkt die regulatorischen Erwartungen nicht erfüllt oder die Benannte Stelle zusätzliche Daten anfordert.

Verhältnis zum Leistungsbewertungsbericht (PER)

• Der PEP legt das Fundament: was Sie planen zu tun, wie, wann und mit welchen Kriterien.

• Der PER (Performance Evaluation Report) ist das Ergebnis: Nach Durchführung der Arbeiten und Erfassung der Daten berichten Sie über die Ergebnisse, ob das Produkt diese Kriterien erfüllt und welche Einschränkungen bestehen. Er umfasst die Dokumentation von Literatur, Daten, Studiendesign, statistischen Methoden, Ergebnissen usw.

• Regulatorische Anforderung: Die IVDR schreibt vor, dass der PER Teil der technischen Dokumentation sein muss. Zudem muss der PER auf der Grundlage des PEP aktualisiert werden, sobald Daten nach dem Inverkehrbringen vorliegen.

3. Regulatorische Anforderungen an den PEP: Artikel-für-Artikel-Analyse

Hier sind die wichtigsten relevanten Artikel / Anhänge und deren Anforderungen an den PEP aufgeführt:

4. Wissenschaftliche Validität: Planung und Dokumentation

Unter der IVDR ist die wissenschaftliche Validität definiert als der Nachweis, dass der Analyt oder Marker mit einem klinischen Zustand oder einem physiologischen Status in Verbindung steht. Dies ist von grundlegender Bedeutung.

Bei der Planung der Validitätsbewertung:

1. Literaturrecherche / Systematische Übersichtsarbeit. Identifizieren Sie bestehende, von Experten begutachtete Studien, Expertenkonsens, Meta-Analysen. Dokumentieren Sie die Methode: welche Datenbanken (z. B. PubMed, Embase), Suchstrategie, Ein-/Ausschlusskriterien, kritische Bewertung.

2. Identifizierung von Lücken. Was ist noch nicht bekannt: Spezifität, nicht abgedeckte Populationen, widersprüchliche Nachweise. Planen Sie gegebenenfalls neue Studien.

3. Proof-of-Concept / Pilotdaten. Wenn der Analyt neuartig ist oder die Behauptungen ehrgeizig sind, können kleine Studien die Assoziation belegen.

Für die Dokumentation ist im PER ein Bericht über die wissenschaftliche Validität zu erstellen, der all diese Punkte mit transparenter Methodik abdeckt. Anhang XIII der IVDR verlangt diese Dokumentation.

5. Analytische Leistung: Parameter und Methoden

Die analytische Leistung bezieht sich darauf, wie gut das Produkt unter normalen (und manchmal unter Belastungs-) Bedingungen das misst, was es zu messen vorgibt. Zu den Komponenten gehören:

• Präzision: Wiederholbarkeit (gleicher Anwender, gleiches Gerät), Vergleichbarkeit (unterschiedliche Bedingungen).

• Richtigkeit / Genauigkeit: Vergleich mit Referenzmethoden.

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ).

• Linearität / Messbereich.

• Spezifität / Analytische Spezifität: Fähigkeit, falsch-positive Ergebnisse durch ähnliche Substanzen (Kreuzreaktivität) zu vermeiden.

• Interferenzen.

• Stabilität: von Reagenzien, Probenhandhabung etc.

• Methoden:

• Identifizieren Sie zertifizierte Referenzmaterialien / validierte Messverfahren, sofern verfügbar. 

• Verwenden Sie eine angemessene Stichprobengröße; definieren Sie die statistische Analyse (z. B. Konfidenzintervalle, akzeptable Fehlertoleranzen).

• Legen Sie Akzeptanzkriterien im Vorfeld fest: Welche Fehlertoleranzen sind akzeptabel, welche Leistungsschwellen müssen erreicht werden?

6. Klinische Leistung: Studiendesign und Ziele

Zweck: Nachzuweisen, dass das mit dem Produkt erzielte Diagnoseergebnis mit dem klinischen Zustand der Zielpopulation korreliert.

Wichtige Designelemente:

• Komparatoren: Goldstandard-Tests oder andere Diagnoseverfahren.

• Population und Umfeld: Demografie, Krankheitsprävalenz, Probenarten.

• Endpunkte: Sensitivität, Spezifität, prädiktive Werte, sofern relevant.

• Prospektiv vs. retrospektiv: was machbar und akzeptabel ist.

• Nutzung von Real-World-Evidenz / Literatur: sofern vertretbar (z. B. bei Produkten mit geringem Risiko oder wenn klinische Studien schwierig durchzuführen sind). Muss gut dokumentiert sein.

• Ethische & Sicherheitsaspekte: Probenahme, Einholen der Einwilligung der Patienten, Gewährleistung eines minimalen Risikos.

7. Leistungsbewertungsstrategie: Kombinierter Ansatz

• Stellen Sie sicher, dass wissenschaftliche Validität, analytische und klinische Leistung nicht isoliert betrachtet, sondern integriert werden. Beispielsweise kann eine klinische Leistungsstudie auch analytische Leistungsdaten unter Praxisbedingungen liefern.

• Der Plan sollte eine Versionsverwaltung aufweisen und Auslöser für Überprüfungen enthalten. Beispielsweise bei Erscheinen neuer Literatur, wenn Reklamationen von Anwendern auf Leistungsprobleme hindeuten oder nach einem bestimmten Zeitraum (speziell für Produkte der Klassen C & D schreibt die IVDR jährliche Aktualisierungen vor).

• Die Strategie sollte risikobasiert sein: höheres Risiko = strengere Nachweise; bei geringerem Risiko oder einfacheren Produkten können weniger oder auf Literatur basierende klinische Leistungsstudien gerechtfertigt sein.

8. Beziehung zwischen PEP, PER und PMS / PMPF

• PMS (Überwachung nach dem Inverkehrbringen) ist die Gesamtheit der Aktivitäten nach dem Markteintritt zur Erfassung von Informationen über die Produktleistung, Sicherheit, Reklamationen usw.

• PMPF (Leistungsnachbeobachtung nach dem Inverkehrbringen) ist spezifischer: geplante Studien, Datenerhebung zur Verfolgung von Leistungsversprechen, Überwachung der langfristigen Leistung, Erkennung von Leistungsabweichungen (Performance Drift).

• Daten aus PMS / PMPF fließen in die Aktualisierung des PEP (falls neue Risiken oder Erkenntnisse auftauchen) und in die Überarbeitung des PER (zur Abbildung der aktuellen Erkenntnisse) ein.

• Bei Produkten der Klassen C & D verlangt die IVDR, dass der PER bei Bedarf mindestens jährlich aktualisiert wird.

9. Häufige Fehler und Best Practices bei der Erstellung eines PEP

Häufige Fehler

• Weglassen negativer oder widersprüchlicher Daten – Das Ausschließen ungünstiger Literatur oder Studienergebnisse führt zu Verzerrungen und schwächt die nach Anhang XIII Teil A erforderliche wissenschaftliche Validität.

• Unklare Akzeptanzkriterien – Die Verwendung von Begriffen wie „gute Sensitivität“ ohne definierte numerische Schwellenwerte erfüllt nicht die analytischen Anforderungen von Anhang I Abschnitt 9.1(a).

• Ungenau definierte Zweckbestimmung oder Population – Eine unvollständige oder vage Beschreibung kann dazu führen, dass die Studiendaten nicht mit dem tatsächlichen Gebrauch übereinstimmen, was zu einer Nichtkonformität führen kann (Ref: Artikel 56(1) und Anhang I Abschnitt 20).

• Fehlen eines strukturierten Post-Market-Plans – Das Fehlen einer Strategie zur Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF) und zur Überwachung verstößt gegen Anhang XIII Teil B und die Artikel 78 bis 81.

• Versäumnis, Dokumente zu aktualisieren – Wird der PEP oder der Leistungsbewertungsbericht (PER) bei neuen Daten, Produktänderungen oder aktualisierten Normen nicht überarbeitet, so verstößt dies gegen Artikel 56(6).

Best Practices

• Beziehen Sie alle relevanten Erkenntnisse – ob positiv oder negativ – mit einer transparenten Begründung ein.

• Definieren Sie messbare, risikobasierte Akzeptanzkriterien für alle analytischen und klinischen Parameter.

• Stimmen Sie den PEP mit der Risikomanagementakte ab und weisen Sie klare Verantwortlichkeiten für PMS/PMPF-Aktivitäten zu.

• Gewährleisten Sie eine Versionskontrolle und aktualisieren Sie den PEP und den PER unverzüglich, um neue Erkenntnisse oder regulatorische Änderungen abzubilden.

10. Vorlagen und Checklisten für die Erstellung eines PEP

Produktbeschreibung und Verwendungszweck

• Geben Sie eine detaillierte Beschreibung des In-vitro-Diagnostikums an, einschließlich seines Handelsnamens, der Modell- oder Katalognummer sowie eine präzise Angabe der Zweckbestimmung.

•  Dieser Abschnitt muss außerdem die medizinische Indikation, die klinischen Indikationen und das Anwenderprofil (Fachpersonal, patientennahe Labordiagnostik/Point-of-Care oder Selbsttests) spezifizieren. Führen Sie die beanspruchten Leistungsmerkmale, Einschränkungen und Kontraindikationen gemäß den Anforderungen aus Anhang I Abschnitt 20 auf.

Zielpopulation und Anwendungsumgebung

• Definieren Sie die Zielpopulation (z. B. Altersspanne, Krankheitsstatus und relevante demografische Faktoren) sowie die vorgesehene Anwendungsumgebung (z. B. Labor, klinische Einrichtung, häusliches Umfeld).

• Identifizieren Sie die zu verwendenden Probenarten und beschreiben Sie alle spezifischen Bedingungen für die Probenahme, den Transport und die Lagerung.

Definition von Analyten oder Markern

• Liefern Sie eine klare und wissenschaftlich fundierte Beschreibung jedes Analyten oder Markers, den das Produkt nachweisen oder messen soll.

• Weisen Sie die klinische Relevanz dieser Analyten oder Marker gemäß Artikel 2(38) und Anhang XIII Teil A nach.

Referenzmaterialien und messtechnische Rückführbarkeit

• Listen Sie Referenzmaterialien, Referenzmessverfahren und Normen auf, die zur Gewährleistung der messtechnischen Rückführbarkeit verwendet werden.

• Legen Sie dar, wie die Rückführbarkeit auf geeignete Referenzstandards aufrechterhalten wird, wie in Anhang I Abschnitt 9.1(a) gefordert.

Stand der Technik und relevante Normen

• Fassen Sie den aktuellen Stand der Technik für den vorgesehenen diagnostischen Zweck zusammen, einschließlich anerkannter wissenschaftlicher und klinischer Leitlinien, harmonisierter Normen und gemeinsamer Spezifikationen.

• Identifizieren Sie Vergleichsprodukte oder -technologien, die für vergleichende Zwecke bei der Bewertung der analytischen und klinischen Leistung herangezogen werden sollen.

Plan für die analytische Leistung

Identifizieren Sie alle für das Produkt relevanten analytischen Leistungsparameter und stellen Sie detaillierte Protokolle für deren Bewertung bereit, einschließlich:

• Genauigkeit und Richtigkeit

• Präzision (Wiederholbarkeit und Vergleichbarkeit)

• Analytische Sensitivität und Spezifität

• Nachweisgrenze (LOD) und Bestimmungsgrenze (LOQ)

• Linearität und Messbereich

• Mögliche Interferenzen und Kreuzreaktivität

• Spezifizieren Sie für jeden Parameter das Studiendesign, die statistischen Methoden, Akzeptanzkriterien und Referenzmessverfahren. Dieser Abschnitt sollte mit Anhang I Abschnitt 9 und Anhang XIII Teil A übereinstimmen.

Plan für die klinische Leistung

• Beschreiben Sie die Methodik zum Nachweis der klinischen Leistung, die klinische Leistungsstudien, Literaturrecherchen oder Real-World-Evidenz umfassen kann.

• Geben Sie detaillierte Informationen zu Studiendesign, vorgesehenen klinischen Endpunkten, Vergleichsmethoden, Begründung der Stichprobengröße, Ein- und Ausschlusskriterien sowie ethischen Erwägungen gemäß Artikel 57 und Anhang XIII Teil A an.

Nutzen-Risiko-Bewertung und Abstimmung mit dem Risikomanagement

• Fassen Sie die Nutzen-Risiko-Bewertung für das Produkt zusammen und integrieren Sie den in der ISO 14971 definierten und nach Anhang I Abschnitt 3 geforderten Risikomanagementprozess.

• Dokumentieren Sie, wie die Risikomanagementakte mit dem PEP interagiert und diesen unterstützt.

Zeitpläne, Meilensteine und Verantwortlichkeiten

• Erstellen Sie einen Zeitplan für die geplanten Aktivitäten, einschließlich des Beginns und des Abschlusses jeder Phase der Leistungsbewertung.

• Weisen Sie bestimmten Personen oder Positionen Verantwortlichkeiten zu, um Rechenschaftspflicht und Rückverfolgbarkeit während des gesamten Prozesses zu gewährleisten.

Überwachung nach dem Inverkehrbringen (PMS) und Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF)

• Definieren Sie die Strategie zur Erfassung und Bewertung von Daten nach dem Inverkehrbringen, um die kontinuierliche Sicherheit und Leistung des Produkts zu bestätigen.

• Beschreiben Sie, wie Erkenntnisse aus PMS und PMPF in regelmäßige Aktualisierungen des PEP und des Leistungsbewertungsberichts (PER) integriert werden, wie in Anhang XIII Teil B und den Artikeln 56 und 78–81 gefordert.

Versionskontrolle und Änderungsmanagement

• Richten Sie ein System zur Versionskontrolle ein, um Aktualisierungen des PEP zu verfolgen.

• Integrieren Sie ein Änderungsprotokoll, das den Grund für jede Überarbeitung, das Datum der Implementierung sowie die verantwortliche Person oder Abteilung dokumentiert.

11. FAQs zum Leistungsbewertungsplan unter der IVDR

Benötigt jedes IVD-Produkt einen PEP?
Ja. Die IVDR schreibt vor, dass für alle IVDs, sofern nicht in ganz spezifischen Ausnahmefällen befreit, eine Leistungsbewertung durchgeführt werden muss. Der Hersteller muss einen PEP als Teil der technischen Dokumentation erstellen.

Wie oft sollte der PEP / PER aktualisiert werden?

• Für IVDs der Klassen C & D: Der PER muss mindestens jährlich aktualisiert werden und immer dann, wenn neue Daten (nach dem Inverkehrbringen, PMPF) vorliegen, die sich auf die Leistung oder Sicherheit auswirken.

• Für Produkte mit geringerem Risiko: Aktualisierungen bei bestimmten Auslösern (neue wissenschaftliche Erkenntnisse, Änderungen des Stands der Technik, Änderungen des Verwendungszwecks oder beobachtete Leistungsprobleme).

Ist ein PER immer obligatorisch?
Ja. Der Leistungsbewertungsbericht ist erforderlich und Teil der technischen Dokumentation. Selbst wenn man sich auf Literatur oder andere indirekte Daten stützt, muss der PER Begründungen, Methoden, Ergebnisse und Einschränkungen enthalten. 

12. Fazit

• Der PEP ist für die IVDR-Konformität von zentraler Bedeutung: Er zeigt, dass der Hersteller versteht, welche Leistung erforderlich ist, wie man sie misst und wie man diese Leistung langfristig aufrechterhält.

• Ein solider PEP, gefolgt von einem ordnungsgemäß durchgeführten PER und einer starken PMS / PMPF, erleichtert die regulatorische Prüfung und verringert das Risiko von Nichtkonformitäten.

• Zu beobachtende Trends: stärkere Nutzung von Real-World-Evidence, detailliertere Leitfäden von Benannten Stellen / standardisierte gemeinsame Spezifikationen, sich weiterentwickelnde Normen (analytisch & klinisch), stärkere Betonung der Rückführbarkeit und Reproduzierbarkeit von Ergebnissen.

Wichtige Referenzen

• IVDR (EU) 2017/746, insbesondere:

• Artikel 56: Leistungsbewertung und klinische Evidenz

• Artikel 57: Allgemeine Anforderungen an Leistungsstudien 

• Anhang I: Allgemeine Sicherheits- und Leistungsanforderungen (GSPR), z. B. Abschnitt 9 zu Leistungsmerkmalen

• Anhang XIII, Teil A: Leistungsbewertung und Leistungsstudien; Teil B: Leistungsnachbeobachtung nach dem Inverkehrbringen (PMPF)

• MDCG-2022-2: Am 27. Januar 2022 veröffentlichtes Leitdokument, das allgemeine Grundsätze der klinischen Evidenz, das Verfahren zur Leistungsbewertung, die Rolle des Risikomanagements, PEP, PER, kontinuierliche Aktualisierungen usw. darlegt. (Öffentliche Gesundheit)