Qualitätsbeurteilung durch Fachzeitschriften - Eine Anreiztheoretische Beurteilung des Publikationsprozesses (Qualitative Assessment Through Journals - An Incentive Based Analysis of the Publication Process)

Abstract

German Abstract: Es ist beobachtbar, dass der traditionelle Publikationsprozess der Fachzeitschriften Fehler hinsichtlich der qualitativen Einordnung und Veröffentlichung von wissenschaftlichen Arbeiten erzeugt. Diese Fehler verursachen Schäden, die gesamtgesellschaftlich in höchstem Maße relevant sind. Unter anderem kommt es zu einer Fehlverteilung von Positionen und Fördermitteln. Durch die Unterstützung der falschen Personen und Projekte wird der wissenschaftliche Fortschritt gebremst und Gelder werden verschwendet.

Um für diese Problemstellung eine Lösung zu ermitteln, wird der traditionelle Veröffentlichungsprozess durch die Fachzeitschriften untersucht. Konkret wird eine institutionenökonomische Analyse, mit Schwerpunkt auf Anreizgestaltung, vorgenommen. Zur Bewertung der Prozessleistung werden Kennzahlen entwickelt, um eine fundierte Aussage über das Ausmaß der tatsächlichen Fehlleistungen des Publikationssystems zu ermöglichen. Anhand einer Sensitivitätsanalyse wird mögliches Verbesserungspotenzial des Prozesses getestet. Diese Analyse liefert keine brauchbaren Ansatzpunkte, um im Rahmen des traditionellen Prozesses eine relevante Fehlerreduktion zu erreichen. Daher werden darauf folgend auf Basis der erarbeiteten Ergebnisse, insbesondere der Schwachstellen des traditionellen Systems, konkrete Gestaltungsvorschläge für eine Systemneugestaltung erarbeitet. Zentraler Punkt des neuen Designs ist die Umkehrung des Publikationsprozesses. Die Veröffentlichung der Forschungsarbeit erfolgt zu Beginn des Prozesses, eine qualitative Bewertung der Leistung erst im Anschluss. Darüber hinaus werden die traditionellen Rollen- und Aufgabenverteilung der Akteure teilweise modifiziert. Dies betrifft insbesondere den Editor der Fachzeitschrift, dessen Aufgabenbereich zu einem rein administrativen und koordinativen reduziert wird. Elementar für die Leistungsfähigkeit des neuen Systems ist ein funktionierender Reputationsmechanismus, der durch entsprechende Gestaltung der Rahmenbedingungen und gezielte Anreizsetzung gewährleistet wird. Hierzu zählen insbesondere die Schaffung von Transparenz und die Implementierung von Bewertungssystemen für die Leistung von Gutachtern und Autoren. Die Ergebnisprognose für das umrissene neue Publikationssystem fällt positiv aus. Die Fehlleistungen des Systems können durch das neue Design erheblich reduziert werden. Eine Nichtveröffentlichung von Arbeiten von hohem wissenschaftlichem Wert ist im neuen System nicht mehr möglich. Anreize minderwertige Arbeiten, Plagiate, Redundanzen oder gar Fälschungen zu veröffentlichen werden verringert. Im Falle einer dennoch erfolgenden Veröffentlichung liegt eine erhöhte Wahrscheinlichkeit der Aufdeckung vor.

English Abstract: It can be observed that the traditional publishing process of specialist magazines creates errors in regard to the qualitative classification and publication of scientific papers. These errors cause damages which are of high social relevance, inter alia misallocation of positions and subsidies. The support of the wrong people and projects decelerates scientific progress and wastes funds. An analysis of the traditional publishing process in specialist magazines can offer a solution of this issue. This means an institutional economic analysis focused on incentive systems. Key indicators are developed to evaluate the process performance to allow for a well-founded conclusion about the dimension of the factual failures of the publication system.

A sensitivity analysis tests possible improvement potential of the process. This analysis does not provide useful starting points to reach a relevant failure reduction within the traditional process. On the basis of the gathered results with particular focus on the weaknesses of the traditional systems, concrete concepts for a redesign of the system will be developed. The central aspect of the new design is the reversion of the publication process, with the publishing of the scientific paper at the beginning, followed by a qualitative evaluation. In addition, the traditionally defined roles and distribution of tasks of the players are partly modified. This applies to the editor in particular, whose field of responsibilities is reduced to a mere administrative and coordinative task. A working reputational mechanism assured through appropriate design of the general framework and targeted incentives is crucial for the performance of the new system. These involve in particular creation of transparency and the implementation of a rating system for the performance of reviewers and writers. The result forecast for the outlined new publication system is positive. The new design substantially reduces the failures of the existing system. Non-publication of papers with a high scientific value will not occur in the new system. The risk of publishing papers of minor value, plagiarism, redundancies or even counterfeit is diminished. The system provides a higher probability of disclosure in case of an unreasonable publication.

Note: Downloadable document is in German.

Keywords: Publication Process, Peer-Review, Qualitative Assessment, Scientific Journals, Publisher, Open Access, Institutional Economics, Incentive Based Analysis

JEL Classification: A12, D23, D61, L82