• A
• A
• A

neurologisch 03/11

Neurologie in Österreich: Anmerkungen zum „publication bias“

Das einzige Dogma, das es in der Wissenschaft geben darf, ist, dass es kein Dogma geben darf, und dass alles, was denkbar möglich scheint, auch ausgesprochen werden darf.

Diese freie Grundhaltung der Wissenschaft – und die Medizin ist nichts anderes als eine empirische Wissenschaft – scheint durch in den letzten Jahren aufkommende, sehr befremdlich anmutende Strömungen gefährdet: ForscherInnen sehen sich einem immer höheren Publikationsdruck und finanziellen Druck gegenüber. Ergebnisse müssen stets „brandneu“ sein, neues Wissen schaffen, „positiv“ sein. Immer schneller wird publiziert, um „anderen zuvorzukommen“, manchmal anscheinend überhastet und vorschnell – zumindest gemessen an der Zahl der zurückgezogenen Arbeiten und nach Jahren relativierten Arbeiten.
„Rein“ bestätigende Ergebnisse oder gar die (vermeintlichen?) „Positiv-Ergebnisse“ nicht bestätigende „Negativ-Ergebnisse“ scheinen nichts wert, werden nur schwer oder gar nicht veröffentlicht. Hier wird mit unterschiedlichem Maß gemessen: das Argument, dass die AutorInnen-/Arbeitsgruppe XYZ zeigen konnten, dass etwas so sei („Positiv-Ergebnis“), ist (vorerst) kaum ausräumbar, selbst wenn die Methodik und Resultate der ursprünglichen Arbeit Zweifel erwecken oder gar durch bessere Methodik und Resultate nicht bestätigt werden können. Das Negativ-Ergebnis scheint nicht nur keine Beachtung zu finden, sondern Widerstand, da es zumeist mit dem Mainstream bzw. anderen Publikationen nicht kompatibel scheint.

Gleiches Abwägen von Positiv- und Negativ-Ergebnissen

Der Wissenschaft würde Genüge getan werden, würden Positiv- und Negativ-Ergebnis gleich beurteilt und gleichermaßen – ohne Wenn und Aber – ihren Weg in die medizinische Literatur finden. Nur so wäre gewährleistet, dass alle „Für und Wider“ in Folgearbeiten und Meta-Analysen Berücksichtigung finden können und das so genannte (zuweilen nur minimale) Positiv-Ergebnis, dass irgendein Faktor X, Merkmal Y, Korrelation Z in einer bestimmten Krankheitsgruppe statistisch (was dies in vielen Fällen konkret bedeuten soll, möge an dieser Stelle hinterfragt sein) gesehen häufiger auftritt etc., keine Überbewertung erfährt.
Nur allzu gut bekannt sind die überstrapazierten Sätzen wie „(...) our results may have major implications for the treatment of (...)“ oder „(...) our study may be of potential interest for (...)“, „further studies are necessary to confirm the (...)“ etc., mit denen sehr viele Arbeiten enden, um dem vielleicht nur geringen Positiv-Ergebnis der Arbeit eine gewisse Wertigkeit zu verleihen.
Dabei gibt es in einem streng wissenschaftlichen Ansatz und bei objektiver Betrachtung kein unbedeutendes Ergebnis, wenn das Konzept des wissenschaftlichen Experiments bzw. der Studie klar, strukturiert und nachvollziehbar ist und die angewandte Methodik dem bestem möglichen Stand der Wissenschaft entspricht, sorgfältig durchgeführt wird und reproduzierbar ist. Im Gegenteil, Gefahr besteht darin, dass eine Überinterpretation Ergebnisse konterkarieren bzw. sogar „verfälschen“ kann. Oftmals scheinen andere denkbar mögliche Einflüsse oder sogar offensichtliche Cofounder keine Beachtung zu finden.
Manchmal finden Ergebnisse rasch Einzug in die medizinischen Lehrbücher (zumeist Positiv-Ergebnisse ohne „strenge Validierung“) und sind, dort einmal angelangt, mitunter über Jahrzehnte als „unwiderrufliche“ (teils evidenzbasierte) Lehrmeinung fixiert und prägen unseren klinischen Alltag, bis die alltägliche Routine und Erfahrung doch das Gegenteil beweisen. Dies wäre vermutlich schon zuvor durch eine objektive, kritische und schonungslose Evaluierung und vor allem durch das gleiche Abwägen von Positiv- und Negativ- Ergebnissen vermeidbar. Dies wäre ohnehin vom rein naturwissenschaftlichen Ansatz auch gefordert.
Nichtsdestotrotz scheint das Gegenteil die Regel und vor allem der Umgang mit Kritik zuweilen fragwürdig zu sein: Es entspreche oftmals nicht der „Politik des Journals“, Leserbriefe und kritische Kommentare zu diversen Originalarbeiten in entsprechender Form zu würdigen und zu veröffentlichen, obwohl dies eine der wesentlichen Auflagen für ein Journal ist, in der Medline gelistet zu sein und dadurch überhaupt einen Impact-Faktor erlangen zu können.

Statische Signifikanz – Maß aller Dinge

Einzig und allein der Impact-Faktor des wissenschaftlichen Journals, in dem die Arbeit veröffentlicht werden kann, und die statistische Signifikanz scheinen zum Maß aller Dinge auserkoren, idealisiert und unantastbar. Sei die Signifikanz noch so gering, die Fallzahl noch so unbedeutend, die Streuung der Einzelwerte noch so hoch und vor allem die Fragestellung und das Studienkonzept vielleicht sogar noch so merkwürdig anmutend, ein Positiv-Ergebnis bleibt ein Positiv-Ergebnis, gleich wie viele Negativ-Ergebnisse existieren, jedoch nie publiziert werden (können). Eine fehlende statistische Signifikanz oder Korrelation (mit irgendeinem Nebenparameter) scheint oft mit einem Nichtpublizieren-Können gleichgesetzt zu werden.
Viel bedenklicher ist jedoch, dass den LeserInnen zumeist die individuellen Daten der einzelnen PatientInnen verborgen bleiben und eine eigene Interpretation durch grafische Darstellung von Balkendiagrammen (anstelle z.B. von Scatterplots) und tabellarische Aufstellung von Mittelwerten, Standardabweichungen, Ratios etc. schier unmöglich gemacht wird – und dies im Zeitalter der Elektronik, in denen zahlreiche Daten als Supplements publiziert werden könnten.
In einer immer schneller werdenden Welt scheinen nur mehr die Überschriften und kurze Abstrakte in den medizinischen Datenbanken und Übersichtsarbeiten in renommierten Journalen Beachtung zu finden. Die LeserInnen scheinen die Methodik und Resultate nicht mehr ihrer eigenen kritischen Analyse zu unterziehen, und dies, obwohl streng genommen nur die Methodik und Resultate und deren Plausibilität für jede weitere wissenschaftliche Bewertung herangezogen werden sollen. Dabei sollte die Diskussion nur der Interpretation und Plausibilitätskontrolle in Bezug auf die Durchführung der eigenen Arbeit und zur bestehenden Literatur dienen.

Erste Verlaufsstudie zur optischen Kohärenztomographie bei MS

Wir hoffen mit unserer vor Kurzem erschienenen Arbeit der klinisch angewandten Forschung gerecht zu werden und stellen uns dem kritischsten aller Urteile, dem Urteil der LeserInnen. In dieser Arbeit versuchten wir, eine in den letzten Jahren sehr kontrovers diskutierte Arbeitshypothese, dass die Dicke der Nervenfaserschicht der Retina bei MS-PatientInnen mit diffuser axonaler Schädigung des gesamten ZNS (unabhängig von etwaig statt gehabten Sehnervenentzündungen) korreliere, zu reevaluieren. Auch wenn die optische Kohärenztomographie (OCT) eine Darstellung der retinalen Schichten und eine Messung der retinalen Nervenfaserschichtdicke (RNFL, Retinal Nerve Fiber Layer) erlaubt, ist eine Aussage über zugrunde liegende histolo gische, morphologische Veränderungen und deren mögliche Ursache naturgemäß nicht möglich: Eine verminderte RNFL heißt verminderte RNFL, nicht mehr. Die OCT erlaubt keine weitere Aussage, insbesondere nicht ob die RNFL-Verminderung

1. durch Verlust von einzelnen Axonen des Sehnerven
2. durch Größen-/Kaliberabnahme von einzelnen Axonen des Sehnerven
3. schubhaft, durch einzelne pathologische Ereignisse
4. progredient, durch andauernden pathologischen Stimulus
5. durch pathologische Prozesse von „außen“/im Auge (z.B. Druckschädigung bei Augendruckerhöhung, Glaukom etc.)
6. durch pathologische Prozesse in der Netzhaut selbst, oder gar
7. retrograd, durch die derzeitig sehr kontrovers diskutierte, hypothetische retrograde transsynaptische Degeneration bedingt ist.

Vor allem gilt es zu bedenken, dass die RNFL-Messwerte selbst Tagesschwankungen unterworfen sein können und von Gerät zu Gerät, von UntersucherIn zu UntersucherIn, von Untersuchung zu Untersuchung variabel sein können und die Dicke der RNFL individuell sehr unterschiedlich sein kann, mit dem Lebensalter in der Regel abnimmt und der Ausgangswert der RNFL beim einzelnen Patienten unbekannt bleiben muss. Die Limitation selbst für die hochauflösenden OCT-Geräte der neuen Generation ist demnach nur allzu offensichtlich: „Schnappschüsse“ der Retina. Diese dürfen wenn sie auch noch so oft im Verlauf gemessen werden, mitunter mehrmals täglich, niemals überbewertet werden. Eine tatsächliche Verminderung der RNFL kann maximal einen „irreversiblen Endzustand“ anzeigen und erlaubt keinen Rückschluss über die zugrunde liegenden pathologischen Mechanismen, die hierzu geführt haben. (Anm.: analog zu einer in der MRT sichtbaren Hirnatrophie; eine der Hirnatrophie zugrunde liegende Neurodegeneration im ZNS ist in der Regel irreversibel, entspricht somit einem „Endzustand“, der vielleicht sistieren oder fortschreiten, jedoch nicht wieder aufgehoben werden kann.)

Implikation und Interpretation: Wir – wie auch andere Arbeitsgruppen – glauben, dass unser Negativ-Ergebnis erhebliche Bedeutung für unsere MS-PatientInnen hat, und hoffen, die oben zitierten Sätze hiermit nicht überstrapaziert zu haben. Wir versuchten, den LeserInnen eine eigene Interpretation eines (vielleicht erst vorläufigen) Negativ-Ergebnisses zu ermöglichen, indem wir die individuellen Ergebnisse und klinischen Eckdaten der einzelnen PatientInnen präsentierten. Die Arbeit ist für alle interessierten LeserInnen weltweit und unentgeltlich als free download zugänglich.
Wir hoffen, dass Sie an unserem Artikel Gefallen finden und bei den nächsten Veröffentlichungen und Präsentationen von Positiv-Ergebnissen hinterfragen, wie viele Negativ-Ergebnisse zu eben jener präsentierten bzw. veröffentlichten Fragestellung bereits existieren, aber bislang noch nicht veröffentlicht wurden (bzw. veröffentlicht werden konnten).

Priv.-Doz. Dr. Fahmy Aboul-Enein
Neurologische Abteilung, SMZ Ost, Donauspital Wien