zum Inhalt springen

Universitäts- und Stadtbibliothek Köln

Publikationsranking verstehen

Viele Wissenschaftlerinnen und Wissenschaftler werden von Hochschulleitungen und Unterhaltsträgern mit bibliometrischen Methoden evaluiert und beurteilt - ob sie dies wollen oder nicht. Es lohnt sich deshalb, sich mit bibliometrischen Fragestellungen auseinanderzusetzen.

Was ist Bibliometrie?

Die Bibliometrie beschäftigt sich mit der Evaluation von Wissenschaft durch quantitative / statistische Analyse der Publikationstätigkeit. Im Mittelpunkt steht dabei insbesondere die Anzahl der Publikationen (als Grad des wissenschaftlichen Outputs) sowie Anzahl der Zitationen, die sich auf diese Publikationen beziehen (als Grad der internationalen Wahrnehmung der Forschung). Analysiert werden können:

Einzelne Wissenschaftlerinnen und Wissenschaftler
Forschungsgruppen / Institute / Fakultäten / Hochschulen
Länder / Nationen / Kontinente
Einzelne Zeitschriften (Journal Impact Factor)

Weitere Fragestellungen der Bibliometrie sind vor allem:

Analyse aktueller Forschungstrends und –themen, z.B. auch interdisziplinärer Forschungsaktivitäten.
Analyse von (internationalen) Kooperationsbeziehungen (anhand von Ko-Autorenschaft).
Analyse von disziplinspezifischen Publikationsgepflogenheiten.

Es gibt auch Gründe gegen Bibliometrie:

  • Wer eine akademische Karriere machen will, wird gezwungen, sein Verhalten auf die Evaluationskriterien auszurichten (publish or perish). Das widerspricht der Freiheit von Forschung und Lehre und behindert sowohl den wissenschaftlichen Erkenntniszuwachs als auch die Qualität der Lehre.
  • Eine Zitation ist nicht zwingend auch eine positive Würdigung, sondern kann genauso auch eine sehr kritische Auseinandersetzung (Negativzitat) sein. Quantiative bibliometrische Analysen erlauben somit keine Rückschlüsse auf die Qualität von Forschung und der damit zusammenhängenden Publikationen.
  • Etablierte Wissenschaftlerinnen und Wissenschaftler werden durch die in der Bibliometrie verwendeten Evaluationskriterien bevorzugt.
  • Es gibt starke fachspezifische Besonderheiten im Zitationsverhalten, die dazu führen, dass eine interdisziplinäre Vergleichbarkeit bibliometrischer Werte faktisch unmöglich ist.
  • Die Datenbanken, die als Datengrundlage für bibliometrische Analysen herangezogen werden können, bevorzugen anglo-amerikanische Publikationen und Mainstream-Literatur. Es existiert keine vollständige Datenbank von Publikationen und Zitationen, die zu „objektiven“ Werten führen würde.
  • Die Bibliometrie ist anfällig gegenüber Manipulationen durch die Wissenschaftlerinnen und Wissenschaftler. Mit Salami-Taktik (5 kleinere Aufsätze zählen mehr als ein Buch), Zitier-Kartelle, Gefälligkeits-Zitationen, Eigen-Zitaten, Ehren-Autorenschaften usw. ist es möglich, die eigene wissenschaftliche Leistung besser darzustellen.

Die drei wichtigsten Datenquellen, in denen systematisch Zitationen für bibliometrische Analysen enthalten sind:

Ranking wissenschaftlicher Zeitschrift

Der Journal Impact Factor (JIF) ist die international bekannteste Kennzahl zum Ranking wissenschaftlicher Zeitschriften. Die Journal Citation Reports finden sich in der Datenbank Web of Science.

Der Impact Factor bestimmt die Anzahl der veröffentlichten Artikel einer Zeitschrift in Relation zur Zitierhäufigkeit; dabei wird die Zahl der Zitate im Bezugsjahr auf die Artikel der vergangenen 2 Jahre durch die Zahl der Artikel in den vergangenen 2 Jahren dividiert. Daneben bietet die Datenbank noch andere Faktoren, wie z.B. die Cited Half-Life, die Halbwertszeit der Zitationen, konkret das Durchschnittsalter der Artikel aus einer Zeitschrift, die in aktuellen Artikeln anderer Zeitschriften zitiert werden.

SCImago Journal & Country Rank ist eine frei zugängliche Datenbank mit bibliometrischen Informationen zum Ranking wissenschaftlicher Zeitschriften. SCImago verwendet einen eigenen, an Googles Pagerank orientierten Mechanismus zum Ranking wissenschaftlicher Zeitschriften im Bereich der Natur- und Ingenieurwissenschaften, Medizin (STM) und Sozialwissenschaften. Basierend auf den in Scopus erfassten Zeitschriften- und länderspezifischen Indikatoren wird die Zitationshäufigkeit von Publikationen analysiert und auf dieser Grundlage ein Ranking der Zeitschriften erstellt.

Beide Datenbanken beziehen sich jeweils auf Zeitschriften und erlauben keine Aussagen zur Zitationshäufigkeit einzelner Artikel innerhalb dieser Zeitschriften. Bei vielen Zeitschriften entfallen auf nur 20% der Artikel 80% der Zitierungen. Ein hoher Prozentsatz wird nie zitiert. Auch in Zeitschriften mit niedrigem Impact Factor gibt es einzelne Artikel, die mehr als 400 Zitierungen erzielen.

Der h-Index vermitteln

Der h-Index (auch Hirsch-Factor oder H-Number genannt) wurde 2005 von dem Physiker Jorge E. Hirsch an der University of California entwickelt. Er ist ein Indikator, der versucht, die wissenschaftliche Lebensleistung einer Person zu bewerten. Publikationen und Zitationen werden dabei kombiniert berücksichtigt. Die Ermittlung des h-Index ist recht einfach:

Recherche in den einschlägigen Zitationsdatenbanken (z.B. Web of Science, Google Scholar) nach den eigenen Publikationen und Zählung der Zitate pro Publikation. Wird in mehreren Datenbanken nach Zitationen gesucht, ist selbstverständlich eine Bereinigung um Dubletten (Einträge, die in mehreren Datenbanken enthalten sind) notwendig.
Sortierung der Publikationen nach Anzahl der Zitationen in absteigender Reihenfolge, beginnend mit der Publikation, die am häufigsten zitiert wurde.
Ermittlung des h-Index: Eine Autorin bzw. ein Autor hat einen h-Index von n, wenn mindestens n Publikationen von ihr bzw. ihm mindestens n mal zitiert wurden.

In diesem fiktiven Beispiel hat Autor A fünf Publikationen, die mindestens fünf mal zitiert wurden – die sechste Publikation wurde hingegen ebenfalls „nur“ fünfmal zitiert. Der h-Index liegt somit bei 5. Würde die sechste Publikation nur eine einzige weitere Zitation erhalten, würde der h-Index auf 6 steigen. Autor B hat insgesamt nur drei Publikationen, die ersten beiden Publikationen waren jedoch vielzitiert. Dennoch bleibt sein h-Index bei zwei, denn ihm fehlt eine dritte Publikation, die mindestens dreimal zitiert wurde. Beim Autor C sind die Zitationen relativ homogen auf die verschiedenen Publikationen verteilt, er hat auch bei der siebten Publikation noch sieben Zitate, so dass der h-Index 7 beträgt.

Alternative Metriken / Altmetrics

In der Bibliometrie wird die Forschungsleistung an den Publikationen und den Zitationen, also der Wahrnehmung/Darstellung in anderen Publikationen, gemessen. Im Zeitalter von eScience gibt es jedoch deutlich mehr Kanäle wissenschaftlicher Kommunikation. In den Altmetrics werden die klassischen Indikatoren der Bibliometrie ausgeweitet:

  • Auf andere Formen der wissenschaftlichen Kommunikation wie Blogs usw. …
  • sowie auf andere Indizien der Nutzung, Wahrnehmung und Rezeption wissenschaftlicher Leistungen, wie z.B. Verbreitung eines Werkes in Bibliotheken, Download-Statistiken einer Online-Publikation, Verlinkungen, Erwähnung in Blogs und Bookmark-Listen, Tweeds, Shares und Likes usw.