Recom­men­da­ti­ons on Biblio­me­tric Indicators
You are wel­come to com­ment on the recom­men­da­ti­ons below
Recom­men­da­tion 1 | Avo­idance of False Incentives

False incen­ti­ves by publi­ca­tion based indi­ca­tors can only be cur­tailed if in all their app­li­ca­ti­ons – i.e. in rese­arch eva­lua­tion, rai­sing of rese­arch funds and the allo­ca­tion of posi­ti­ons (espe­cially in recruit­ing pro­ces­ses) – an appro­priate use and in par­ti­cu­lar unin­ten­ded con­se­quen­ces are paid atten­tion to.

Addres­sees: Sci­ence policy and admi­nis­tra­tion, lear­ned societies



Recom­men­da­tion 2 | Use of Per­for­mance Indicators

Publi­ca­tion based indi­ca­tors should never be used uncri­ti­cally and as a sole instru­ment for the mea­su­re­ment and eva­lua­tion of rese­arch achie­ve­ments but always in com­bi­na­tion with a qua­li­ta­tive assess­ment of rese­arch achie­ve­ments (infor­med peer review). The app­lica­bi­lity of per­for­mance indi­ca­tors in the eva­lua­tion of rese­arch achie­ve­ments in both a disci­pline and a rese­arch field is under the aut­ho­rity of sci­en­ti­fic societies.

Addres­sees: Sci­ence policy and admi­nis­tra­tion, lear­ned societies

Recom­men­da­tion 3 | Use of Per­for­mance Indicators

Ele­ments of a sound app­li­ca­tion of per­for­mance indi­ca­tors include the selec­tion of the ade­quate data base at any one time and the obser­va­tion of metho­do­lo­gi­cal stan­dards. Equally import­ant is also the cri­ti­cal and care­ful inter­pre­ta­tion of results as well as the con­side­ra­tion of the expla­natory power of the indi­ca­tors in question.

Addres­sees: Sci­ence policy and admi­nis­tra­tion, lear­ned societies

Recom­men­da­tion 4 | Indi­ca­tor Development

The deve­lop­ment of data bases and respec­tive indi­ca­tors for publi­ca­tion based per­for­mance mea­su­re­ment should be sup­por­ted. To deepen the know­ledge about feed­back effects, it appears sen­si­ble to esta­blish rela­ted rese­arch inde­pen­dent from indi­ca­tor development.

Addres­sees: Sci­ence policy and fun­ding organizations


Com­ments

  • Prof. Dr. Chris­toph Herrmann-Lingen, AWMF

    Die kri­ti­sche Hand­ha­bung publi­ka­ti­ons­ba­sier­ter Leis­tungs­in­di­ka­to­ren zur Mes­sung und Bewer­tung von For­schungs­leis­tun­gen ist schon auf­grund ihrer metho­di­schen Limi­ta­tio­nen aber auch wegen poten­zi­ell uner­wünsch­ter Steue­rungs­ef­fekte drin­gend gebo­ten. Einer ins­be­son­dere in den medi­zi­ni­schen Fächern zu beob­ach­ten­den pau­scha­li­sie­ren­den Bewer­tung von Wis­sen­schaft­lern / Wis­sen­schaft­le­rin­nen und Ein­rich­tun­gen auf der Basis der Jour­nal Impact-Faktoren der­je­ni­gen Zeit­schrif­ten, in denen ihre For­schungs­er­geb­nisse publi­ziert wur­den, ist die AWMF daher bereits um die Jahr­tau­send­wende ent­ge­gen­ge­tre­ten. Diese Kri­tik tei­len mitt­ler­weile zahl­lose Wis­sen­schaft­ler und Wis­sen­schaft­le­rin­nen, etwa indem sie die Ende 2012 ver­fasste San Fran­cisco Decla­ra­tion on Rese­arch Assess­ment (DORA) unter­zeich­net haben. Damit weiß sich die AWMF einig mit bis­lang über 12000 Ein­zel­per­so­nen und über 500 wis­sen­schaft­li­chen Orga­ni­sa­tio­nen welt­weit. Die AWMF begrüßt daher aus­drück­lich die Emp­feh­lun­gen der BBAW zur kri­ti­schen und in einen adäqua­ten Kon­text ein­ge­bet­te­ten Ver­wen­dung publi­ka­ti­ons­ba­sier­ter Leis­tungs­in­di­ka­to­ren und bekennt sich als Arbeits­ge­mein­schaft wis­sen­schaft­li­cher Fach­ge­sell­schaf­ten aus­drück­lich zur in den BBAW-Empfehlungen ange­spro­che­nen Ver­ant­wor­tung der Fach­ge­sell­schaf­ten dafür, die Anwend­bar­keit von Leis­tungs­in­di­ka­to­ren im jewei­li­gen Fach­ge­biet zu bestim­men. In ihrem Posi­ti­ons­pa­pier aus dem Jahr 2014 (Herrmann-Lingen et al., GMS Ger Med Sci 2014;12:Doc11) hat sie Alter­na­ti­ven zur der­zei­ti­gen Pra­xis der Eva­lua­tion medi­zi­ni­scher For­schungs­leis­tun­gen skiz­ziert und Vor­schläge zur Ver­wen­dung geeig­ne­ter Indi­ka­to­ren unter­brei­tet. Diese sol­len nun, sofern ent­spre­chende För­der­mit­tel bewil­ligt wer­den, in kon­krete Bewer­tungs­al­go­rith­men über­setzt und hin­sicht­lich ihrer fak­ti­schen und wahr­ge­nom­me­nen Bewer­tungs­er­geb­nisse mit eta­blier­ten Ver­fah­ren ver­gli­chen wer­den. Beson­ders unter­stützt die AWMF daher die Emp­feh­lung der BBAW, die Ent­wick­lung geeig­ne­ter Indi­ka­to­ren und der zugrund­le­gen­den Daten­ba­sis zu för­dern und ihre Ein­füh­rung beglei­tend zu erfor­schen. Denn nur durch Ent­wick­lung und Eva­lu­ie­rung metho­disch bes­ser geeig­ne­ter Indi­ka­to­ren erscheint eine evi­denz­ba­sierte Wei­ter­ent­wick­lung des bis­he­ri­gen Sys­tems medi­zi­ni­scher For­schungs­eva­lua­tion rea­lis­tisch möglich.

    Prof. Dr. Chris­toph Herrmann-Lingen ist Mit­glied im Prä­si­dium und Spre­cher der stän­di­gen Kom­mis­sion „Leis­tungs­eva­lua­tion in For­schung und Lehre“ der Arbeits­ge­mein­schaft der Wis­sen­schaft­li­chen Medi­zi­ni­schen Fach­ge­sell­schaf­ten (AWMF)

    • Hans Mus­ter­mann, Uni­ver­si­tät Großstadt

      Ein­stei­gen!

  • Hans Mus­ter­mann, Uni­ver­si­tät Großstadt