FairUTU Getty Images Plagiaatintunnistus Turun yliopiston opinnäytteissä ja harjoitustöissä Totti Tuhkanen Turun yliopiston opintohallinto 3.10.2013 A.D.

Esitys aiheesta: "FairUTU Getty Images Plagiaatintunnistus Turun yliopiston opinnäytteissä ja harjoitustöissä Totti Tuhkanen Turun yliopiston opintohallinto 3.10.2013 A.D."— Esityksen transkriptio:

1 fairUTU Getty Images Plagiaatintunnistus Turun yliopiston opinnäytteissä ja harjoitustöissä Totti Tuhkanen Turun yliopiston opintohallinto 3.10.2013 A.D. Getty Images

2 1.Opinnäytetekstien kollaasimaisuus ja ’wikipedisaatio’ kuormittavat opettajia yhä enemmän – lähdetiedon käytön ohjausta on tarve tehostaa opintojen kaikissa vaiheissa. 2.Korkeakoulujen laatukilpailu kiristää työnohjauksen vaatimuksia – tunnistusjärjestelmä jo standardivaatimus ohjausprosesseissa: 37 korkeakoulua on hankkinut plagiaatintunnistusjärjestelmän Suomessa. 3.Monikulttuurisessa ympäristössä tarvitaan uudenlaisia seurannan välineitä Kansainvälistyminen luo tilausta menettelytavoille, joilla voidaan tukea turvallista juurtumista suomalaiseen toiminta- ja arvoympäristöön. 4.Tiedeyhteistö käy plagiarismiin liittyvistä ongelmista aktiivista arvokeskustelua, esim: H. Hurme: ”Plagiaattoreiden sisäänmarssi?”C. Woolson: ”When a Mentor becomes a Thief””Plagiaattoreiden sisäänmarssi?” When a Mentor becomes a Thief S-K Spoof: ”Plagioimalla tohtorikoulutukseen?” H. Schmoll: ”Plagiate von Professoren. Ergebenheit macht Diebe.””Plagioimalla tohtorikoulutukseen?”Plagiate von Professoren. Ergebenheit macht Diebe. K. Sintonen: ”Uudet ohjeet tutkimusvilpin ennaltaehkäisemiseksi.” S. Ji: ”90% of peer-reviewed clinical research is completely false””Uudet ohjeet tutkimusvilpin ennaltaehkäisemiseksi.””90% of peer-reviewed clinical research is completely false A-L Paavola: ”Kone tunnistaa kopion””Kone tunnistaa kopion” Sähköinen plagiaatintunnistus otettiin osaksi opetuksen ja tutkimuksen tukipalveluita, koska: 1 Miksi?

3 Tiedonhankinnan strategiat omaksutaan sosiaalisen median kehyksestä: 1.Nopea teknisesti helppo sähköinen tiedonhaku hämärtää lähdekritiikin merkityksen. Kevyt parafraasi koetaan jo omaksi tiedoksi. Nootitusta mieluummin karsitaan kuin lisätään. Lähteiden sidoksia ei pohdita. ”Google vs. ’avoin Internet’ ” 2.Intuitiivinen ja kaikkiruokainen tiedonmuodostus heikentää tulosten verifioitavuutta: – viitejärjestelmän merkitys muuttuu, kun käsitys lähdetiedon vaatimuksista muuttuu. – Internet-linkkien takana olevan viitetiedon muutosmekanismeja on vaikea kontrolloida. ”Eilen siinä vielä luki näin!” 3.Itsekritiikin velvoite korvautumassa yhteisökritiikin odotuksella: – lähdekriittinen tiedonhankinta vs. julkaistun tiedon jälkipuinti: proaktiivinen  reaktiivinen toiminta. ”Tiedon DNA on muuttunut” Miten kollaasimaisuus ja wikipedisaatio ilmenevät opinnäytetekstien valmistelussa? Plagiaatintunnistusjärjestelmä otetaan käyttöön vaiheittain lukuvuoden 2012 – 2013 aikana Kuva: http://commons.wikimedia.org/wiki/File:Socrates_Louvre.jpg + tt Kuva: http://wwws.wikimedia.org

4 TENK:n 14.11.2012 julkaisema ”Hyvä tieteellinen käytäntö ja sen loukkausepäilyjen käsitteleminen Suomessa -ohje luo ensimmäistä kertaa korkeakouluille velvoitteen raportoida TENK:lle käsittelyyn otetuista ja käsitellyistä plagiointivilppiä koskevista selvityksistä. Ruotsissa sanktioihin johtaneiden opiskeluvilppitapausten määrää seurataan vuosi- tilastoinnissa. Määrä nousi 2009  2010 48% ja 2001  2011 522%. 1 Tapauksista suuri osa oli plagiarismia. Tulokset kertovat sekä ongelman että sen tunnistusmenettelyjen nopeasta kehittymisestä. Tieteellisen vilpin seurantaa tehostetaan Högskolverket Rapport 2012:19R Disciplinärenden 2011 vid universitetet och högskolor Disciplinärenden 2011 vid universitetet och högskolor 1 Miksi?

5 Högskolverket Rapport 2012:19R Disciplinärenden 2011 vid universitetet och högskolorDisciplinärenden 2011 vid universitetet och högskolorThe Telegraph: The cheating epidemic at Britains’s universitiesThe cheating epidemic at Britains’s universities 135 % 178 % 1033 % 41 % 684 % 175 % 133 % 167 % 140 % 228 % 492 % 202 % 1100 %

6 OPETTAJA VERTAILURAPORTTI Perustaa Moodleen Turnitin-palautustehtävän. TURNITIN-JÄRJESTELMÄ Laatii kirjallisen opintosuorituksen ja tallentaa tekstin Moodleen 1-n kertaa. Opettaja, opiskelija ja tunnistusjärjestelmä OPISKELIJA Antaa palautetta Arvioi vertailun tulosraportin löydökset. Arvioi ohjaavan palautteen tarpeen. Osoitelinkki LAATIIMERKITSEE TULKITSEE 2 Miten toimii?

7 3. Ref 2. Ref 1. Ref PT PT-järjestelmä on kehittynyt kokotekstihakukone, joka suorittaa lähdetekstin ja vertailutekstien samankaltaisuusvertailun. PT osaa käsitellä vaihdettuja sanajärjestyksiä, tehdä vertailuja synonyymisanojen kautta ja vähittäin myös kielestä toiseen. 1. Avoin InternetYli 37 000. 000 000 www-sivua (sisältää myös backupeja eri vuosilta) 2. Kustannetut julkaisutYli 92 miljoonaa artikkelia julkaisuista, joita ei voi löytää avoimesta webistä. 3. Vertaisaineisto: opintosuoritukset Yli 250. 000 000 dokumenttia (kasvaa 150-200 000 dokumenttia /vrk) 2 Miten toimii? Mm. CROSSREF.ORG CENGAGE ELSEVIER IEEE EMERALD NPG PUBMED …

8 Turnitin on globaali palveluohjelmisto. Miljoona rekisteröityä opettajaa käyttää sitä aktiivisesti 10 000 opetusorganisaatiossa. Kirjautuneita opiskelijoita on 20 miljoonaa. Suomessa Turnitinia käyttävät: - Aalto-yliopisto, - Hanken, - Itä-Suomen yliopisto, - Lappeenrannan tekn.yo, - Taideyliopisto, - Tampereen yliopisto, - Tampereen tekn.yo, - Turun yliopisto, - Vaasan yliopisto ja - Metropolia. Ruotsin suurimmat yliopistot ovat siirtyneet Turnitinin käyttäjiksi.

9 IDM Laatu- käsikirja Laatu- käsikirja Moodle UTU- Doria OPSU Opinto- johtosääntö Vilppi- käs.ohje TENK HTK-ohje TENK HTK-ohje Eettinen ohjeisto Eettinen ohjeisto FinELib lisensiointi FinELib lisensiointi NORMATIIVINEN OHJAUSTIETOINFRA Tutkinto- vaatimukset Tutkinto- vaatimukset UTUGS- ohjeisto UTUGS- ohjeisto Julkaisu- säännöt Julkaisu- säännöt Sidokset fairUTU Turnitin fairUTU Turnitin Arkisto- sääntö Arkisto- sääntö

10 • Opettajista 90 % ja opiskelijoista 100 % on pitänyt Turnitin-järjestelmää hyvin toimivana ja selkeänä käyttää  muutosvastarinta suht’ vähäistä • Tiedekuntiin on organisoitumassa omia PT:n käyttöä kehittäviä ryhmiä  syntyy omaa käyttökulttuuria ! 3 Voiko sen kanssa elää? Ensimmäisessä seurantakyselyssä:

11 20052012 Turnitin ”puree” ! Seuratuilla ongelmakursseilla vilpistely on saatu hallintaan! Samalla työaikaa on vapautunut mekaanisesta taustatyöstä varsinaiselle ohjaukselle. Kohdatut plagiointitapaukset 3 Voiko sen kanssa elää?

12 ”Turun yliopiston menettely- ohjeet vilppitapaus- ten varalle” Tiedon- hankinta- koulutus Metodi- opetus Opetus- suunni- telmat ArviointiOpetus havainnot toimenpiteet - Oireiden hoito ei riitä, on yritettävä tunnistaa ongelmien syitä (-mikä saa ”oikaisemaan”?) ja tarvittaessa muutettava toimintatapoja + Toiminta- kulttuuri! 3 Voiko sen kanssa elää? TEKNIIKKA 20%TOIMINTATAVAT 80%

13 fairUTU Tekstuaalisen plagioinnin muotoja on kuvattu seuraavasti: 1) ”Kopioi ja liitä” -plagiointi tarkoittaa kopiointia suoraan Internetistä, tulostetusta materiaalista, käsikirjoituksista tms. jonkun muun tuottamasta materiaalista, ja oman nimen liittämistä tekijänä tällaiseen teksiin. Suorat käännökset ilman asianmukaista lähdeviittausta ovat myös kopioi ja liitä -plagiointia. 2) Jälkien häivytys; plagiointi sanaa tai sanoja vaihtamalla tarkoittaa tekstin kopioimista lähteestä siten, että tekee lähdetekstiin vain pieniä muutoksia esim. korvaamalla sanoja niiden synonyymeillä, jättää lähdeviittaukset pois parafraaseista, tai merkitsee suoran lainauksen parafraasiksi. 3) Itsensä plagiointi tarkoittaa saman sisällön käyttämistä useassa eri suorituksessa. 4) Idean, metaforan, konseptin tai tyylin plagiointi tarkoittaa toisen tekijän päättelyn seuraamista vaihe vaiheelta siten, että mukaillaan toisen tekijän teoksen sisältöä ja esitetään lainattu ajatusrakenne tai ilmaisutapa omana. 5) Yhteistoiminnallinen plagiointi tarkoittaa täydellistä tai osittaista vapaamatkustamista ryhmätyössä. 6) Institutionaalinen plagiointi: avustajien/haamukirjoittajien käyttö tekstien valmistelussa. (Lähde: Veikko Surakka et al: Plagiointi opintosuorituksissa. TTY 2003 – luokitus pohjautuu Cecilia Barnbaumin typologiaan vuodelta 2002.; Kari Silpiö, Opiskeluvilppi ja plagiointi korkeakoulujen opinto-suorituksissa, 77-78) Plagioinnilla tarkoitetaan yleisten tutkimuseettisten normien vastaista toisen henkilön tuottaman aineiston lainaamista ja esittämistä oman työn tuloksena. Punaisella on merkitty ne plagioinnin muodot, joita sähköinen Turnitin voi käsitellä. 4 Työkäsitteitä ja rajauksia

14 fairUTU Turnitin tunnistaa 1)Merkkijonojen samankaltaisuuksia 2)Samankaltaisuus todennetaan indeksoidussa tietokannassa olevien viiteaineistojen välillä. Turnitin ei tunnista 1)Kuvamuotoon (kuten tiff, jpg, png) tallennettua tekstiä 2)Indeksoimattomia aineistoja, kuten aivan vasta verkkoon laitettuja aineistoja. (vauhti: 10 milj. sivua/vrk) 4 Työkäsitteitä ja rajauksia

15 Klik! Saapuneiden palautusten lokero- välilehdellä näet kurssilaistesi palauttamat aineistot. 5 Opettajan työnäkymä

16 Videos: • About OriginalityCheck About OriginalityCheck • Viewing Originality Reports Viewing Originality Reports Click! Lukema osoittaa, kuinka paljon arvioitavaan tekstiin sisältyy samankaltaisuutta Turnitin-tietokannan aineistoihin verrattuna. Väritehosteella merkitty teksti on samasanaista toisen Turun yliopistossa tietokantaan tallennetun tekstin kanssa. Tulos osoittaa 100% samankaltaisuutta toisen opiskelija- Tekstin kanssa. Esimerkki 1

17 Videos: • About OriginalityCheck About OriginalityCheck • Viewing Originality Reports Viewing Originality Reports Voimme nähdä, että: A: 68% (molemmissa UTU-teksteissä) vastaa nelsonmandela.orgin sisältöä, B: 27-28 % vastaa answers-sivuja (joiden välillä on riippuvuus?) C: 26 % vastavuus toisen yliopiston kahteen tekstipalautukseen (ovat duplikaatteja?) - Tässä tulosnäkymässä on kolme mahdollista kopiointitapausta. Esimerkki 1

18 Plagiaatti? Click! Esimerkki 2 ?

19 Tässä kirjoittaja on korvannut yksittäisiä numero/koodiarvoja toisiin, mutta hyödyntänyt muun tekstirakenteen sellaisenaan. Kyseessä on heikkotasoinen parafraasi. Esimerkki 2

20 Esimerkki 3 Tietty lähde (48) esiintyy usein kappaleiden johtolauseissa. Viittausta löydöksen opiskelijatyöhön ei ole, joten opettaja haluaa vertailla opinnäytteitä tarkemmin. Avoimen internetin sivuilla olevat sisällöt sekä kustannettujen julkaisujen sisällöt pääsee näkemään suoraan kokoteksteinä. Yliopistoissa tallennettuja käsikirjoituksia ei näytetä ilman ohjaajan suostumusta.

21 Turnitin Paper View Request Dear Totti Tuhkanen, Turnitin is forwarding this request on behalf of Nigel M(…), an instructor at Tampereen yliopisto. This instructor requests your permission to view the paper, ”Draft_1", submitted to your Plagiaatintunnistuskokeilu/GR (Moodle 6666666) class at Turun yliopisto on Aug 6, 2013. This instructor has found a 90% match to this paper in a paper submitted to his or her G-history/NM (Moodle 671&&&&) class. If you chose to grant permission to the instructor to view the paper, simply reply to this email. Please confirm the text of the student's paper is displayed in your reply email. By replying to this email, you will be sending an email (including the text of your student's paper) to the requesting instructor, Nigel M(…). The text of the paper previously submitted to your class is included below. Please remove any identifying student information in the text below to respect the privacy of your student prior to sending. Thank you for using Turnitin, The Turnitin Team Esimerkki 3 Tietty lähde (48) esiintyy usein kappaleiden johtolauseissa. Viittausta löydöksen opiskelijatyöhön ei ole merkittynä, joten opettaja haluaa vertailla opinnäytteitä tarkemmin.

22 Katso löydöksen alkuperäistekstit Klikkaa! Kommenttifraaseja + omat kirjoitetut kommentit! Katso opetusvideot: • Using Marks and Comments Using Marks and Comments • Using Rubrics for Grading and Evaluating Using Rubrics for Grading and Evaluating Originality näyttää vastaavuudet Grademarkilla liität palautemerkintöjä suoraan tekstiin Voit myös tulostaa arviointiraportin pdf-tiedostoksi.

23 Tittelisivut Johdantoluku Metodiluku Empiria Päätelmät Lähteet Sarjatiedoissa, formaaleissa tiedoissa Yleensä vähän vastaavuuksia Paljon tai tosi paljon vastaavuuksia Vaihtelevasti tai vähän vastaavuuksia Vähän vastaavuuksia Tosi paljon vastaavuuksia 98 % 20 % 100% MONOGRAFIAN/ yhden artikkelin vastaavuusjakauma ARTIKKELIVÄIKKÄRIN eri artikkeleiden vastaavuusjakauma 40 % Julkaistu Julkaisematon 40 % OK ! ”PIKASILMÄILYOHJE” OK !

24 Kun arvioit Turnitin-raportin samankaltaisuuslöydöksiä: 1.Korkeat %-luvut eivät sellaisenaan kerro ongelmista testissä: ne voivat kuvata myös luvallisia samankaltaisuuksia (sitaateissa tai viitteissä; 2.Lyhyetkin samankaltaisuudet voivat olla signaali epäkypsästä lähteiden käytöstä. Katso myös >1 % -löydökset. 3.Joidenkin asioiden täsmällinen ilmaiseminen johtaa väistämättä yhteneviin ilmaisuihin – tässä on merkittävää vaihtelua eri tieteenalojen välillä, ja olet oman alasi käytäntöjen paras asiantuntija; 4.Alkuperäisyyden tarkastus on osa työnohjausta, joten kohdattavia ongelmia on hyvä tarkastella tekstin kypsyysasteen ilmeneminä – puutteista koituvat jälkityöt ovat tekstin edelleen kypsyttelyä. 5.Plagiointiepäilyn kohdatessasi pyydä ensin opiskelijalta selvitystä. Opiskelijalla on oikeus tulla kuulluksi, mutta ei velvollisuutta perustella ratkaisujaan.

25 o Opiskelu- ja tutkimusvilpin käsittelysäännöissä ei ole mitään ”uutta”; menettelyohjeet pohjautuvat voimassa oleviin säädöksiin. o PT-palaute on yksi tekstin kypsyysasteen indikaatio. Erityisesti opinnäytteissä tekstiä on voitava korjata ja kehittää; siksi opiskelijalle tulisi tarjota mahdollisuus itse testata tekstiään ennen suorituksen luovuttamista opettajan/työnohjan arvioitavaksi. o Muodollisesti korrekti lähdeviittaus voi olla myös ongelmallinen. YHTEENVETÄEN: “From Ferret we have chosen the base-line dataset (sentence segmentation, tokenisation and lowercase), baseline plus lemmatisation, baseline plus stop-word removal, punctuation removal and number replacement. From the LM models, we have chosen bigram per-plexity and trigram perplexity. From all features computed using LCS, we have chosen the sum of the longest common subsequence for all sentences normalised by total number of sentences in associated suspicious document. Table 2 provides the average similarity scores of the selected features grouped by document type. We observed that for some features the scores did not always decrease linearly from near copy to non-plagiarism as they should. “ 1 _________________________ Chong, Specia, Mitkov 2010, 2. From all features computed using LCS, we have chosen the sum of the longest common subsequence for all sentences normalised by total number of sentences in associated suspicious document. Table 2 provides the average similarity scores of the selected features grouped by document type. We observed that for some features the scores did not always decrease linearly from near copy to non-plagiarism as they should. Korrekti viittaus lähteeseen, mutta onko lähde OK?Mahdollinen tulos: Lähteen viittaukset eivät ole kunnossa!

26 Onnea ohjaustyöhön !