Nuorten tieto- ja neuvontatyön kehittämiskeskus

Esitys aiheesta: "Nuorten tieto- ja neuvontatyön kehittämiskeskus"— Esityksen transkriptio:

1 Nuorten tieto- ja neuvontatyön kehittämiskeskus
Arviointi nuorten tieto- ja neuvontatyössä 2017

2 Arviointi nuorten tieto- ja neuvontatyössä
Nuorten tieto- ja neuvontatyön lähtökohtana on työmuodon eurooppalaisten periaatteiden lisäksi lapsen ja nuoren oikeus tiedonsaantiin. Tämä ilmaistaan ihmisoikeuksien yleismaailmallisessa julistuksessa, lapsen oikeuksien julistuksessa sekä Euroopan ihmisoikeus- ja perusvapaussopimuksessa. Euroopan unionin nuorisostrategian 2010–2018 mukaan ”nuorisoa koskevan tiedon saatavuutta on parannettava kaikkia mahdollisia kanavia käyttäen paikallisesti, alueellisesti ja kansallisesti”. (EUR-Lex 2009; Fedotoff & Pietilä 2011, 61–62.) Nuorten tieto- ja neuvontatyö on nuorisolain mukainen kunnallinen palvelu ja sen tavoitteena on tukea nuorten kasvua ja itsenäistymistä, edistää nuorten aktiivista kansalaisuutta ja sosiaalista vahvistumista sekä parantaa nuorten kasvu- ja elinoloja (Nuorisolaki 2006). Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

3 Arviointi on kehittämisen työkalu
Arviointi on työkalu, joka osaltaan auttaa selvittämään, onko nuorten tieto- ja neuvontapalvelu tuotettu laadukkaasti ja onko se pysynyt työmuodon kehityksessä mukana. Laadukas arviointiprosessi sekä tulosten tarkoituksenmukainen hyödyntäminen tekevät nuorten tieto- ja neuvontatyötä ja sen tuloksia näkyvämmäksi. Arvioinnin tulee olla osa palvelun vuosittaista toimintasuunnitelmaa ja sitä tulee toteuttaa säännöllisesti. Erityisen tärkeää on analysoida arvioinnin tuloksia ja suunnitella tarvittavat jatkotoimenpiteet. Arvioinnin tulosten avulla voidaan kehittää palvelua. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

4 Tavoitteiden arviointi
Nuorten tieto- ja neuvontatyön kehittämiskeskus Koordinaatissa tehtiin keväällä 2014 esiselvitys nuorten tieto- ja neuvontatyön vaikutusten arvioinnista. Kävi ilmi, että nuorten tieto- ja neuvontatyöntekijät sanoittavat työmuodon ja palveluiden tavoitteita käytännönläheisemmin kuin esimerkiksi nuorisolaissa, eurooppalaisissa periaatteissa tai muissa työmuotoa koskevissa kansainvälisissä asiakirjoissa. Laajempien ja suuntaa antavien työn tavoitteiden sekä raamien (nuorisolaki ym.) rinnalla nostettiin esiin nuorten tieto- ja neuvontapalveluja tuottavan organisaation palvelulle asettamia tavoitteita. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

5 Tavoitteet on oltava määritelty, jotta niitä voidaan arvioida.
Mika Pietilän (2014, 26−28) mukaan konkreettisten tavoitteiden toteutumista ja vaikutusta on helpompi arvioida. Nuorten ohjaaminen ja neuvominen vaikeissa tilanteissa tai nuorten tukeminen ja kannustaminen itsenäiseen päätöksentekoon ovat tavoitteita, joita on helpompi arvioida kuin vaikkapa nuorisolaissa ilmaistu nuorten sosiaalinen vahvistaminen (em. 26−28). Nuorten tieto- ja neuvontatyön eurooppalaisten periaatteiden mukaan palveluiden tulee perustua nuorten tarpeisiin (ERYICA 2004). Nuorten tiedontarpeet on kartoitettava palvelua perustettaessa. Tärkeää: Nuorten tiedontarpeista ja odotuksista kirjattava konkreettisia tavoitteita nuorisolakiin, politiikkaohjelmiin, strategioihin jne. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

6 Arvioinnin lähtökohdat
Viisi kysymystä, joihin arvioinnin tekijän tulee hakea vastauksia arviointia suunniteltaessa: 1. Milloin? Milloin arviointi on tarkoituksenmukaista toteuttaa: ennen varsinaisen arvioitavan toiminnan alkamista, arvioitavan toiminnan aikana vai arvioitavan toiminnan päätyttyä? 2. Missä ja miten? Missä arviointi pitää tehdä ja miten arviointi kannattaa kohdistaa? Tämä pitää sisällään arviointiasetelman pohdinnan. Arviointiasetelmaan sisältyvät mm. arvioinnin menetelmien valinta, arviointikysymykset, arvioinnin tarkoituksen määrittely, kuvaus käytettävistä menetelmistä ja aineiston hankintaan liittyvä suunnitelma. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

7 5. Muut liittyvät motiivit?
3. Kenelle? Kenelle arviointia tehdään? Arvioinnilla voi olla useita eri hyödyntäjiä, joita kiinnostaa millaista tietoa arviointi tuottaa. Arvioinnin olennaisia motiiveja: tarvelähtöisyyden ymmärtäminen ja tulosten hyödyntäminen. 4. Mitä? Mitä täsmälleen ollaan arvioimassa? Sillä, arvioidaanko esimerkiksi toiminnan merkitystä, pysyvyyttä, tuloksellisuutta, tehokkuutta, vaikutuksia vai vaikuttavuutta, on toiminnan kehittämisen kannalta suuri merkitys. 5. Muut liittyvät motiivit? Kaikkia arviointiin liittyviä motiiveja tulee pohtia. Ne vaihtelevat yleensä sen mukaan, kenen näkökulmasta arviointia ja itse arvioinnin kohdetta tarkastellaan. (Browne & Wildansky 1984; Virtanen 2007, 22−24; SOSTE) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

8 Arviointi on prosessi Arviointi on aina prosessi, jossa on useita vaiheita ja eri toimijoita. Kun peruskysymyksiin on vastattu, voidaan alkaa hahmottelemaan arviointia prosessina. Virtanen (2007) hahmottaa arviointiprosessin seitsemäksi eri vaiheeksi, joista kukin jakautuu vielä useampaan tehtävään ja osatehtävään. Tästä syntyy toisiinsa loogisesti liittyvien toimintojen sarja riippumatta siitä, millaisesta arvioinnista on kyse. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

9 arvioinnin tarpeen kartoittaminen arviointitehtävän muotoileminen
Osaprosessit ovat: arvioinnin tarpeen kartoittaminen arviointitehtävän muotoileminen arviointikäsitteiden valinta ja arviointikriteerien rakentaminen arvioinnin suunnittelu ja käynnistäminen arviointiaineistojen kerääminen ja analysointi arvioinnin tulosten, johtopäätösten ja kehittämissuositusten raportointi arviointitiedon hyödyntäminen. (Virtanen 2007, 143.) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

10 Arvioinnin tavoitteet, päämäärät ja yhteistyö
On tärkeää määritellä arviointia suunnitellessa se, arvioidaanko olemassa olevaa vai suunnitteilla olevaa palvelua. Arvioinnin toteuttamiseksi on paljon erilaisia mahdollisuuksia. Arviointiprosessiin kuuluu pohdinta siitä, mitä arvioinnilla saavutetaan (tavoitteet), mutta on syytä pohtia myös, mikä olisi hyödyllistä selvittää (vaikkei sitä ole vielä ajateltu arvioitavan). Prosessin mahdollisuuksien tarkastelu voi auttaa tarkentamaan ja rajaamaan arvioinnin kohdetta. (Robson 2001, 72−74.) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

11 Ennen varsinaisen arviointisuunnitelman lukkoon lyömistä on varmistettava käytettävissä olevat resurssit ja niiden riittävyys suunnitelman toteuttamiseksi. Mikäli aiotaan saada korkeatasoinen ja laadukas arviointi, se vaatii kaikkien osallisten aktiivista sitoutumista. Näin varmistetaan, että arviointi on hyödyllinen ja käyttökelpoinen. Tyypillisiä avainhenkilöitä ovat: poliitikot ja päätöksentekijät, rahoittajat ja tukijat, johto, henkilöstö tai käytännön toteuttajat, asiakkaat tai osallistujat, arvioijat sekä muut kiinnostuneet. (Robson 2001, 32–33.) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

12 Arvioinnin tyypit Arviointeja voidaan luokitella eri tavoin. Yksinkertainen tyypittely perustuu tarpeisiin, prosesseihin, vaikutuksiin ja tehokkuuteen. Tarveanalyysiksi kutsutaan sellaista arviointia, jota käytetään uuden toimintaohjelman, palvelun tai esimerkiksi intervention suunnittelussa. Se ei itsessään ole toiminnan arviointia. Prosessin arvioinnissa selvitetään mitä tapahtuu, kun projektia, palvelua tai toimintoa todellisuudessa toteutetaan. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

13 Arvioinnin avainkysymyksiä ovat: miten arviointi toteutetaan, toimiiko se niin kuin oli suunniteltu ja ketkä osallistuvat sen toimintaan. (Robson 2001, 77.) Mikäli käy ilmi, että palvelu toteutuu, kuten on suunniteltu, on järkevää kysyä millaisia vaikutuksia tai seurauksia sillä on niille, jotka arviointiin osallistuvat.  Tätä kutsutaan vaikutusten arvioinniksi. Mikäli on näyttöä siitä, että projektilla tai palvelulla on hyödyllisiä vaikutuksia osallistujille, on tarkoituksenmukaista jatkaa ja tarkastella missä suhteessa syntyneet hyödyt ovat toiminnasta aiheutuviin kustannuksiin.  Tätä kutsutaan tehokkuuden arvioinniksi. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

14 Arvioinnin tyypeillä on looginen järjestys.
Ilman tarpeen mittaamista suunnittelu ei voi olla rationaalista, ilman tehokasta toteutusta ei voi odottaa hyviä tuloksia ja ilman vaikuttavuutta ei ole syytä olla huolissaan tehokkuudesta. Tämä tähdentää sitä, että keskittyminen järjestyksessä myöhäisempiin kysymyksiin voi olla ennenaikaista, mikäli aikaisemmista vaiheista ei ole pidetty riittävästi huolta. (Robson 2001, 77−78.) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

15 Vaikutusten arviointi
Vaikutusten arviointi pyrkii selvittämään, onko jokin muuttunut palvelun tuloksena. Arvioinnin tekijän on tärkeää tutustua arvioinnin kohteeseen, sen toiminnan logiikkaan ja siihen läheisesti liittyviin ilmiöihin ja näiden syy−vaikutussuhteisiin. (Virtanen 2007, ) Yleensä vaikutusten arviointi on kvantitatiivista eli määrällistä. Ei ole kovin vaikeaa löytää mitattavaa, jota voidaan pitää palvelun mahdollisena vaikutuksena. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

16 Palvelulla voi kuitenkin olla tarkoittamattomia vaikutuksia tai vaikutuksia, joita ei ole tultu ajatelleeksi.  Havainnointia, keskusteluja ja haastatteluja voidaan käyttää tuottamaan viitteitä vaikutuksista. Teoreettiset ja metodologiset ongelmat alkavat, kun siirrytään muutoksen toteamisesta sen osoittamiseen, että voidaan katsoa muutosten johtuvan itse palvelusta eikä jostain muusta syystä. (Robson 2001, ) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

17 kuinka palvelu vastaa tarpeisiin, mikä on palvelun saavutettavuus,
Nuorten tieto- ja neuvontatyön vaikutusten arvioinnin esiselvityksessä haastatellut työntekijät näkivät, että vaikutusten arvioinnissa on selvitettävä useita eri asioita, kuten: kuinka palvelu vastaa tarpeisiin, mikä on palvelun saavutettavuus, miten nuori kokee palveluprosessin, ollaanko palveluun tyytyväisiä ja millaisia määriä nuoria palvelulla tavoitetaan. Lisäksi nousi esille se, kuinka palvelun henkilökunta kokee palvelun, sen tavoitteet sekä tulokset, ja miten ne heidän näkemyksensä mukaan vastaavat asetettuihin tavoitteisiin. (Pietilä 2014, ) Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

18 Nuorten asiakaskontaktien tilastointi
Nuorten tieto- ja neuvontapalvelut keräävät tietoa nuorten asiointitilanteista eri tavoin (esim. perinteinen tukkimiehen kirjanpito tai Koordinaatin Nutitilastot.fi-sovellus). Nutitilastot-sovelluksessa asiointikontaktien tilastoinnissa kerätään tietoa mm. nuorten iästä, asiointitavasta, asioinnin kestosta sekä asioinnin aiheesta. Ryhmien kohdalla kerätään tietoa siitä, millainen ryhmä ja aktiviteetti on ollut kyseessä. Ohjelmalla saadaan myös koottua yhteen verkkopalveluiden käyttäjätilastoja. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

19 Tilastoinnin tarkoituksena on tarkentaa nuorten tieto- ja neuvontatyön seurantaa ja suuntaamista.
Esimerkiksi Nutitilastot.fi-sovelluksella voidaan tuottaa vertailukelpoista tietoa nuorten kysymyksistä ja asiointitilanteista. (Koordinaatti 2014, 29–30.) Paikalliset palvelut hyödyntävät koottua tai tilastoitua tietoa pääsääntöisesti raportoidessaan toiminnastaan eri tahoille. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

20 Koordinaatti hyödyntää ja välittää Nutitilastot
Koordinaatti hyödyntää ja välittää Nutitilastot.fi-sovelluksesta saatuja tietoja raportoidessaan opetus- ja kulttuuriministeriölle ja ERYICAlle (European Youth Information and Counselling Agency) nuorten tieto- ja neuvontatyön tilanteesta Suomessa. Valtakunnallisesti raportoinnille haasteita asettaa se, etteivät kaikki nuorten tieto- ja neuvontapalvelut käytä Nutitilastot.fi-sovellusta tilastoinnissaan, vaan toimittavat asiointitietoja vaihtelevilla tavoilla. Tästä johtuen ohjelman aineistosta ei saada koko Suomea koskevaa tietoa. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

21 Vertais- ja itsearviointimallit
Vertais- ja itsearviointimallit kuvaavat ja avaavat nuorten tieto- ja neuvontatyön sisältöjä. Mallit on otettu käyttöön keväällä Saadun arviointitiedon avulla on tarkoitus kehittää palveluita. Arviointikriteeristöjen ja tasokuvausten avulla luodaan ymmärrys ja merkitys laadukkaasta toiminnasta. Nuorten tieto- ja neuvontatyön vertais- ja itsearviointimallien arviointimatriisissa arvioidaan: 1) työyhteisön toimintatapoja ja menetelmiä, 2) resursseja ja 3) verkkoperustaisia palveluja (Ahola 2014). Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

22 Lähteet: Browne, Angela & Wildavsky, Aaron Implementation as Mutual Asaption. Teoksessa Pressman & Wildavsky (toim.) 1984 Implementation. Berkeley & Los Angeles: The University of California Press. ERYICA Nuorten tieto- ja neuvontapalveluiden eurooppalaiset periaatteet. Viitattu EUR-Lex Neuvoston päätöslauselma nuorisoalan eurooppalaisen yhteistyön uudistetuista puitteista (2010–2018) 2009/C 311/01. Euroopan unionin virallinen lehti Verkkosivu. Viitattu X:32009G1219%2801%29. Fedotoff, Jaana & Pietilä, Mika Nuorten tieto- ja neuvontatyö verkossa. Teoksessa Merikivi, Timonen & Tuuttila (toim.) Sähköä ilmassa - näkökulmia verkkoperustaiseen nuorisotyöhön. Nuorisotutkimusseura / nuorisotutkimusverkosto, Humanistinen ammattikorkeakoulu, Helsingin kaupungin nuorisoasiainkeskus: Helsinki. Koordinaatti Kehittämistä ja kestäviä ratkaisuja. Nuorten tieto- ja neuvontatyön kehittämiskeskus Koordinaatin toimintakertomus Viitattu files/toimintakertomus-koordinaatti-2013.pdf. Nuorisolaki 2006/72. Viitattu ajantasa/2006/ Robson, Colin Käytännön arvioinnin perusteet. Opas evaluaation tekijöille ja tilaajille. Suom. Lindqvist, Tuija & Maaniittu, Maisa & Niemi, Eila & Paasio, Petteri & Paija, Leea. Helsinki: Tammi. Virtanen, Petri Arviointi – Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy Julkaisemattomat Ahola, Mervi Auditointimatriisi-luonnos. Vaasan kaupunki, nuorisopalvelut. Pietilä, Mika Esiselvitys nuorten tieto- ja neuvontatyön vaikuttavuuden arvioinnista. Tampereen yliopisto, Yhteiskunta- ja kulttuuritieteiden yksikkö, Nuorisotyön ja nuorisotutkimuksen maisteriopinnot. Kehittämisprojektin loppuraportti. Mika Pietilä Arviointi nuorten tieto- ja neuvontatyössä. Koordinaatit nuorten tieto - ja neuvontatyöhön ‒ Suuntaviivoja ammatilliseen osaamiseen. Jaana Fedotoff, Heidi Leppäkari & Päivi Timonen (toim.). Koordinaatti ‒ Nuorten tieto- ja neuvontatyön kehittämiskeskus, Oulun kaupunki, ISBN

23 YHTEYSTIEDOT Koordinaatin kehittämispäällikkö Jaana Fedotoff p Erityisasiantuntija Mika Pietilä p Suunnittelija Merja-Maaria Oinas p Suunnittelija Heidi Leppäkari p Sähköpostit: Koordinaatin yleinen sähköpostiosoite: KÄYNTIOSOITE Oulu10, Torikatu 10 (3. krs), Oulu POSTIOSOITE Oulun kaupunki / sivistys- ja kulttuuripalvelut Koordinaatti PL Oulun kaupunki | |