RAE-arvioinnin tarkoitus / Tampereen yliopisto Saada kunkin alan kv. asiantuntijoilta ajantasaista tietoa ja näkemyksiä tutkimuksen nykytilasta ja potentiaalista verrattuna samojen alojen kv. tutkimuksen tasoon Saada ehdotuksia ja ideoita tutkimuksen kehittämiseksi edelleen sekä tunnistaa vahvat tutkimusalueet ja -ryhmät ja potentiaali Tukea yliopiston ja yksiköiden strategiatyötä Kehittää oikeanlaisia välineitä oman toimintamme seurantaan ja arviointiin

RAE-arvioinnin konsepti / TaY 2014 Kaikki tutkimus arvioidaan, osa arviointiyksiköistä tieteenalayksiköitä, osa pienempiä yhteisöjä. Arviointiperiodi Arvioinnin kolme keskeistä elementtiä: -Itsearvioinnit Pohjana tilastotiedot, ml. julkaisutilastot, joka lähetettiin myöhemmin myös panelisteille -Julkaisuanalyysit Kirjaston tekemät analyysit (erit. Jufo- ja Scopus-pohjaiset) CWTS:ltä Leidenista tilatut viittausanalyysit Molemmat lähetettiin panelisteille ja yksiköille n. 5 viikkoa ennen panelistien vierailuja Temaattiset analyysit Kaupin kampukselle -Paneeliarvioinnit Pohjautuvat ennakkomateriaaleihin ja vierailuihin

Pohdittavaa 1: bibliometristen analyysien suunnittelu Arvioinnin perusratkaisut koskevat paneeliarviointia ja bibliometriikkaa yhtälailla: arviointiyksiköiden määrittely, arviointiperiodi, tutkimusaktiivinen henkilökunta Julkaisuanalyysit vaativat paljon työtä – miten hinnan ja hyödyt voisi suhteuttaa? Yliopistojen osaamistaso kasvussa > sudenkuoppia voidaan välttää esim. kun tilataan ulkopuolelta Bibliometristen analyysien suunnitteluun pitäisi saada vahvemmin yliopistoyhteisö mukaan (esim. tiedeneuvosto) – vaikeutena se, että ne ja niiden hyöty ymmärretään kovin eri tavoin, asiaan herätään kun analyysit jo tehty Omien analyysien (kirjaston tekemät) suunnittelussa muiden yo:jen mallit (HY, OY) suureksi hyödyksi

… Bibl. analyysien suunnittelu.. Yhteistyö tutkimushallinnon ja kirjaston kanssa jossain määrin uutta mutta erittäin hedelmällistä, hyödyttänee muutakin yhteistyötä Oppimisprosessi molemmille Kirjastolla tieto siitä, millaisesta bibliometriikasta yksiköt/yksilöt olleet kiinnostuneita Arviointitoimistolla ”maallikon rooli” > miten analyysit kannattaa esittää eli miten ne ”kirjoitetaan auki”, mikä on merkittävää tietoa kenellekin Mikä aineisto vastaa mihinkin kysymykseen? o Esim. TaY ja TTY: viisi arviointikriteeriä

Pohdittavaa 2: bibl. analyysien hyödyntäminen Auttavat yksiköiden itseymmärrystä, vahvistavat kehittämistoimien tietopohjaa > luetaanko meidän julkaisuja?! (me osana kv. yhteisöä) > mitkä lehdet/kustantajat meillä eniten käytössä ja mikä on niiden taso? > mihin ollaan menossa? trendit (viittaukset, Jufo-tasot) > mille aloille sijoitumme (WoS-luokituksen ongelmallisuus?) > kannattaako yhteistyö? Niiden toimittaminen sekä paneeleille että yksiköille ennen panelistivierailuja hyväksi arvioinnin avoimuudelle ja legitimiteetille – mutta käyttävätkö panelistit niitä ja miten? Kuinka paljon tukea yksiköille/yksilöille analyysien tulkintaan?

… bibl. analyysien hyödyntäminen Miten suhtautua pelkoon, että panelistit ja yo:n johto ”tuijottavat vain numeroita” ja julkaisuanalyysit saavat suhteettoman suuren merkityksen arvioinnissa? Onko eettistä tehdä/julkistaa WoS-pohjaiset sitaatioanalyysit, jos internal/external coverage on huono? (missä kulkee raja?) Jufo on jo suhteellisen hyväksytty luokittelutapa Analyysien toistaminen samalta pohjalta esim. 3 vuoden kuluttua olisi mielekästä > miten olemme kehittyneet? Onko bibliometrisen osaaminen itseisarvo nykyisessä yliopistomaailmassa? (Keiden kaikkien pitäisi näitä taitoja oppia?) Yliopistojen yksikkökohtaisten sitaatioanalyysien suhteuttaminen esim. Nordforskin, Akatemian ym. tekemiin on vaikeaa; toisaalta hyvä että käytetään eri lähtökohtia ja metodeita