Mistras utvärderingar

Mistras forskningsprogram granskas eller utvärderas i regel vid tre tidpunkter: i ansökningsskedet (ex ante), i slutet av fas I (ex midi, sk mid-term review) och en tid efter programavslut (ex post). Effektstudier kan också ske när som helst under programmets löptid, exempelvis som en del av en tematisk utvärdering där flera program omfattas.

    Enligt stadgarna ska Mistra ”tillse att den forskning som stiftelsen stödjer utvärderas regelbundet” (§19).

    Syftet med utvärderingarna är att säkerställa kvaliteten på forskningsprogram och övriga verksamheter som Mistra finansierar. Utvärderingarna ger styrelse och ledning viktigt beslutsunderlag.

    Utvärderingarna har oftast formen av kollegial bedömning – peer review – där forskningens vetenskapliga kvalitet och samhällsnytta står i centrum. Även andra typer av utvärderingar förekommer, t ex ledarskaps- och organisationsutvärderingar. Därutöver utvärderar Mistra kontinuerligt exempelvis sin egen kapitalförvaltning och olika kommunikationsinsatser.

    Mistras forskningsprogram granskas eller utvärderas i regel vid tre tidpunkter: i ansökningsskedet (ex ante), i slutet av fas I (ex midi, sk mid-term review) och en tid efter programavslut (ex post). Effektstudier kan också ske när som helst under programmets löptid, exempelvis som en del av en tematisk utvärdering där flera program omfattas.

    Utvärderingskriterier

    Mistra tillämpar vanligen följande kriterier:

    1. Ansats, dvs i vilken mån programmet har en bärande och sammanhängande idé och innovativ inriktning, hur välformulerade målen är samt hur väl de förväntade effekterna redovisas (inklusive indikatorer).
    2. Vetenskaplig kvalitet, dvs hur väl programmet svarar mot kraven på hög vetenskaplig kompetens, teoretisk höjd och metodologisk kvalitet.
    3. Nytta, dvs hur välutvecklad samverkan med användare av forskningsresultaten är (och förväntas vara) och vilka stödjande kommunikativa processer och metoder som används för att uppnå en effektiv implementering.
    4. Ledning och organisation, dvs på vilket sätt programmet kommer att integreras i värdorganisationen, hur det kommer att styras och organiseras och med vilken grad av effektivt nyttjande av resurser.

    Därutöver kan en utvärdering innehålla ett eller flera ad hoc-kriterier, t ex ”bidrag till Sveriges konkurrenskraft” eller ”uppbyggnad av starka forskningsmiljöer”. Vid specialutvärderingar kan kriterierna vara annorlunda.

    Forskningens samhällspåverkan

    Det är svårt att förutse exakt vilka resultat ett forskningsprogram kommer att generera eller vilket genomslag forskningen får. I ett utvärderingsperspektiv är det dock viktigt att ändå försöka formulera antaganden om hur resultaten ska komma till användning. Alla ansökningar ska därför innehålla ett avsnitt om vilka samhällseffekter man förutser. På utvärderingsspråk brukar det här kallas programteori eller effektlogik – man går längre än att bara mäta graden av måluppfyllelse.

    Den som lämnar in en ansökan till Mistra kan själv välja metod för att redovisa den tänkta effektlogiken, men här följer ett exempel på hur man kan resonera:

    1. Resultat, t ex vetenskapliga artiklar, rapporter, policy briefs
    2. Utfall, t ex gemensam förståelse, systeminsikt, konsensus om karaktären hos ett problem
    3. Samhällseffekter, t ex kursändring, transformativ förändring, institutionalisering
    4. Genomslag, dvs långsiktiga samhällsförändringar


    Riktlinjer för utvärdering

    Riktlinjer, så kallade Terms of Reference, tas fram för varje utvärdering. De ger bakgrund och syfte till utvärderingen och innehåller de utvärderingskriterier som ska tillämpas (se nedan). Riktlinjerna beskriver också utvärderingsprocessen som helhet, inklusive tidplan.

    Riktlinjerna tas fram av Mistras kansli och fastställs av VD, som också beslutar om utvärderingspanelens sammansättning.

     

     

    Johan Edman