Älykkään ohjauksen digitaa­li­silla jalan­jäl­jillä – osa 5 : Oppimi­sa­na­ly­tiikan visualisoinnit

Älykkään ohjauksen digitaa­li­silla jalan­jäl­jillä -artik­ke­li­sarjan aiemmissa osissa olemme esitelleet, kuinka oppimi­sa­na­ly­tiikkaa voidaan sisäl­lyttää myös sellaisen opinto­jakson toteu­tuksen suunnit­teluun, jossa työsken­nellään muualla kuin perin­tei­sessä oppimi­sym­pä­ris­tössä. Artik­ke­li­sarjan osassa 1 ja osassa 2 kuvasimme, mitä muutoksia tämä uusi tilanne tuo toteu­tuksen suunnit­teluun opettajan näkökul­masta. Artik­ke­li­sarjan kolman­nessa osassa  ”Mitä tapahtuu projek­tin­hal­lin­taym­pä­ris­tössä?”, ja osassa 4 ”Ohjaa­ja­muis­tioista XAPI-lauseiksi” puolestaan toimme esille niitä teknisiä muutoksia, joita tämä uusi tilanne aiheuttaa käyttä­mäl­lemme oppimi­sa­na­ly­tiik­ka­datan keruu­jär­jes­tel­mälle. Tässä osassa esitte­lemme pilot­ti­kurs­siksi valit­se­mamme ICT-toimek­sian­to­pro­jektin aikana synty­neitä visua­li­sointeja ja tuomme esille pilot­ti­kurssin toteu­tuksen aikana huomaa­miamme haasteita sekä niiden pohjalta synty­neitä kehitysehdotuksia. 

Ohjaus­ta­paa­misten visualisointi

Tähän näkymään (kuva 1) halusimme koostaa saman tarkas­telun alle kolmesta eri näkökul­masta syntyviä sellaisia digitaa­lisia jalan­jälkiä, jotka kertovat kuinka kokonais­val­tai­sesti ja aktii­vi­sesti projek­ti­ryhmän yksit­täiset jäsenet osallis­tuvat ryhmänsä toimintaan SCRUM-kehitys­me­ne­telmän mukai­sesta roolistaan riippu­matta. Koostimme näkymään tiedot osallis­tu­mi­sista yksit­täisiin ohjaus­ta­paa­misiin, niissä keskus­te­lujen kautta ohjaa­jille välit­tyneet vaiku­telmat yksit­täisten opiske­li­joiden sitou­tu­mi­sesta yhteis­työs­ken­telyyn, sekä kunkin opiske­lijan aktii­vi­suuden oman kehitys­blo­ginsa säännöl­li­sessä päivit­tä­mi­sessä. Näkymä antaa nopean yleis­kuvan kunkin ryhmän aktii­vi­suu­desta eri ajanjak­soilla projek­ti­kurssin kuluessa. Samoin se antaa mahdol­li­suuden tarkas­tella kunkin ryhmän yksit­täisen jäsenen henki­lö­koh­taista aktii­vi­suutta ja sitou­tu­mista suhteessa ryhmän muihin jäseniin.

Visua­li­soinnit on toteu­tettu Microsoft Power BI:n avulla. Suurin osa näkymän visua­li­soin­neista esitetään pinotulla pylväs­dia­gram­milla, jonka pysty­ak­selin yksiköt ovat joidenkin tapah­tumien lukumääriä, ja vaaka-akselin arvot ohjaus­ta­paa­misen päivä­määriä sijoi­tettuna jatku­valle aikavälille.

Osallis­tu­minen tapaa­misiin jaotellaan läsnä­olevien XAPI-verbin (attended, skipped) sekä severity-määreiden avulla (known, unknown). Lasken­nassa hyödyn­netään runsaasti DAX-kielen CALCULATE-funktiota, joka mahdol­listaa suodat­timien käytön.

Projek­ti­työs­ken­te­ly­vi­sua­li­soin­nissa lasketaan muistioista löytyvien avain­sa­nojen lukumäärää (projek­ti­toimija, mukana toimin­nassa, ei tiedossa). Aktii­vi­suutta esitetään viiva­dia­grammin avulla palkkien yhtey­dessä, ja aktii­vi­suuden yksiköt päätettiin laskea painot­ta­malla aktii­vi­suuteen liittyvien avain­sa­nojen lukumäärää (olema­tonta x 1, vähäistä x 2, aktii­vista x 4), ja muunta­malla loppu­tu­loksen suhteel­li­selle arvovälille.

Dev Blogien palau­tus­ti­lanne puolestaan ilmaisee blogi­pa­lau­tusten lukumäärät ohjaus­ta­paa­misen mennessä. Ohjaa­ja­muis­tioiden merkin­nöistä päätel­tä­vissä palautus ja palaut­ta­matta jättä­minen. Tyhjän merkki­jonon ja kysymys­merkin merki­tessä puuttuvaa palau­tusta, mikä tahansa muu arvo tulkitaan palautukseksi.

Tuottee­no­mis­tajan toiminnan visualisointi

Kuvan 2 näkymässä halusimme porautua tuottee­no­mis­tajan työsken­telyn kannalta keskeisiin aktivi­teet­teihin Azure DevOps-projek­tin­hal­lin­taym­pä­ris­tössä. Tuottee­no­mis­tajan työskentely SCRUM-kehitys­tii­missä keskittyy pitkälti tuotteen kehitys­jo­nosta huoleh­ti­miseen ja yksit­täisten sprinttien suunnit­teluun sprinttien kehitys­jo­nojen työstä­misen kautta.  Azure DevOps -ympäris­tössä työsken­nel­täessä tällaista toimintaa kuvaavat digitaa­liset jalan­jäljet syntyvät pitkälti erilaisiin SCRUMin Worki­te­meihin liittyvien muokkaus­toi­men­pi­teiden kautta. Koostimme muokkaus­toi­men­pi­teisiin liittyvän tiedon visuaa­li­siksi määrää, laatua ja tapah­tuman luonnetta kuvaa­viksi palkeiksi. Näin voidaan nopealla silmäi­lyllä tarkas­tella, kuinka paljon tuottee­no­mistaja tai joku muu projek­ti­ryhmän jäsen työsken­telee kulloinkin kehitys­jo­nojen Worki­temien parissa. 

Tuottee­no­mistaja-näkymässä laske­taankin Worki­te­meihin kohdis­tuvien toimin­tojen lukumäärää. Kaaviossa vaaka-askelilla on projektin aikajana, ja pysty­ak­se­lilla tapah­tumien lukumäärä. Tapah­tumat on jaoteltu niiden luonteen mukaan, joten lisäämis-, hyväk­symis-, valmis­tumis-, luomis-, aloit­tamis- ja päivit­tä­mis­ta­pah­tumien määrät ovat tarkas­tel­ta­vissa erikseen.

Scrum masterin ja kehit­täjien toiminnan visualisointi

Scrum Master -rooli osoit­tautui yksit­täisen opiske­lijan työsken­telyn seuraa­minen kannalta ehkä haasta­vim­maksi arvioijan kannalta. Roolin mukainen toiminta on paljolti projek­ti­ryhmän työsken­telyn seuraa­mista, tarkas­telua, kehit­tä­mi­seh­do­tusten tekemistä ja ratkai­sueh­do­tusten esittä­mistä SCRUM-viite­ke­hyksen mukai­sesti. Seuraa­mi­sesta tai tarkas­te­lusta syntyy vain niukalti digitaa­lisia jalan­jälkiä käytet­täviin työka­luihin. Kehit­tämis- ja ratkai­sueh­do­tukset nousevat puolestaan esille projek­ti­ryhmän keski­näisten tapaa­misten yhtey­dessä, eikä niistä välttä­mättä tallennu ainakaan helposti automaat­ti­sesti poimit­tavia digitaa­lisia jalan­jälkiä. Päädyimme keräämään Scrum Master-näkymään (kuva 3) Azure DevOps-wikiin tehtä­vistä merkin­nöistä syntyviä jalan­jälkiä, sillä Wikin ylläpi­tä­minen on tyypil­li­sesti Scrum Masterin tehtävä. Se antaa myös Scrum Maste­rille mahdol­li­suuden tehdä työsken­te­lyään yhdellä tapaa näkyväksi.

Kehit­täjät-näkymään (kuva 4) kerättiin digitaa­lisia jalan­jälkiä siitä, kuinka usein opiske­lijat tekevät kommitteja version­hal­linnan repoon. Version­hal­linta kuuluu väistä­mättä ammat­ti­maisen tapaan tehdä ohjel­mis­to­ke­hi­tys­työtä ja sen aktii­vista hyödyn­tä­mistä edelly­tetään etenkin loppu­vaiheen opiske­li­joilta. Siksi nämä yksit­täiset digitaa­liset jalan­jäljet antavat yksityis­koh­taista kuvaa siitä, kuinka ryhmien, ja yksit­täisten ryhmän jäsenten kehitystyö on edennyt eri ajanjak­soina. Mikäli Kehit­täjät-näkymä ei visua­lisoi yksit­täi­seltä kehitys­tiimin jäseneltä digitaa­lisia jalan­jälkiä tasaisin väliajoin, viittaa se opiske­lijan kehitystyön olevan pysäh­dyk­sissä tai ainakin sivurai­teilla suhteessa koko ryhmän kehitystyöhön.

Scrum Master – ja Kehit­täjät-näkymissä lasketaan myös XAPI-tapah­tumien lukumäärää. Kaaviossa vaaka-askelilla on projektin aikajana, ja pysty­ak­se­lilla tapah­tumien lukumäärä. XAPI-tapah­tu­massa on erotettu tapah­tuman kohde aktivi­teetin nimen avulla, joten laske­minen on yksin­ker­taista toteuttaa visua­li­soin­nissa suodat­timen avulla. Wikejä ei tarvitse erotella keskenään, joten XAPI-tapah­tu­mis­sakin kaikkien wikiak­ti­vi­teettien nimi on sama. Vastaa­vasti version­hal­lin­ta­repoon tehtyjen päivi­tysten luonnetta ei tarvitse erotella, joten kaikkien kommittien nimi on sama.

Tieto­suo­ja­kä­sittely vaatii tarkkuutta

EU:n tieto­suoja-asetuksen myötä Karelia-ammat­ti­kor­kea­kou­lussa on linjattu, että opiske­li­ja­tietoja sisäl­tävät rekis­terit on säily­tettävä paikal­li­silla palve­li­milla, jolloin voidaan olla varma tietojen tallen­nus­pai­kasta ja siten taata tieto­suoja-asetuksen ehtojen täytty­minen.  Tästä johtuen myös ohjaa­ja­muistiot säily­tetään paikal­li­sella Share­point-palve­li­mella pilvi­pal­velun sijaan.

Paikal­lisen Share­point-palve­limen käyttö tuottaa toisaalta myös hanka­luuksia. Dokumentteja ei voi editoida yhtäai­kai­sesti, eivätkä muutokset päivity kaikille suoraan. Myös vahin­gossa tapahtuva tiedoston ylikir­joit­ta­minen voi olla mahdol­lista. Nämä ongelmat ovat kierret­tä­vissä sopimalla työnjaosta etukäteen.

Poten­ti­aalia ja ponnis­telua pikavies­tinten parissa

Yksit­täiset visua­li­soinnit antavat vain yksit­täisiä, tietystä suunnasta kohdis­tettuja tiivis­tettyjä näkymiä projek­ti­ryhmien toimintaan. Arvioinnin tulisi kuitenkin olla mahdol­li­simman holis­tista ja opiske­li­joiden erilai­sista työsken­te­ly­ta­voista eri tavoin ja eri paikkoihin syntyvät digitaa­liset jalan­jäljet mahdol­li­simman katta­vasti huomioivaa. Mitä paremmin visua­li­soinnit pureu­tuvat kiinni kaikkiin projek­ti­ryhmien käytössä oleviin työka­luihin ja niissä syntyviin erilaisiin digitaa­lisiin jalan­jälkiin, sitä tasapai­noi­sempaa ja tasapuo­li­sempaa havain­nointia on arviointia varten mahdol­lista tehdä. Yksi selkeä kehitys­kohde käyttä­mäs­sämme toteu­tus­ta­vassa on projek­ti­ryhmän pikavies­tinten kautta tapah­tuvan kehitys­työhön liittyvän keski­näisen kommu­ni­kaation sisäl­lyt­tä­minen visua­li­sointien piiriin. Tämä auttaisi etenkin Scrum Master -roolissa toimivien opiske­li­joiden digitaa­listen jalan­jälkien visualisoinnissa.

Ryhmän käyttämän pikavies­tin­tä­vä­lineen datan hyödyn­tä­minen jatkossa vaatisi lisää kehitys­työtä ja osallis­taisi opiske­li­joita mukaan oppimi­sa­na­ly­tiikan käyttöön­ottoon. Kunkin ryhmän olisi määri­teltävä käyttä­mälleen Discord-palve­li­melle sovel­lus­tiedot oppimi­sa­na­ly­tiikkaa varten. Tämän jälkeen sovel­luksen auten­ti­koin­nille olisi määri­tettävä auten­ti­kaa­tio­avain, ja hyväk­syttävä se käyttöön. Itse viestien lukeminen olisi suhteel­lisen yksin­ker­taista, ja viestien sisältö sallisi selvittää esimer­kiksi aikaleimat, ja keille käyttä­jille erityi­sesti se on kohdis­tettu. Oman hanka­luu­tensa tilan­teeseen toisi Discord-palve­limen käyttä­jä­tun­nusten kartoitus suhteessa opiske­li­joihin, joka olisi kirjattava jonnekin koneen luettavaan muotoon. Opiske­lijat käyttävät Discordia myös epävi­ral­liseen viestintään, joten lukemisen salli­minen oppimi­sa­na­ly­tiikkaa varten voisi osoit­tautua kynnyskysymykseksi.

---

Kirjoit­tajat:

Anssi Gröhn, lehtori, Älykäs ohjaus -hanke, Karelia-ammattikorkeakoulu

Seppo Nevalainen, lehtori, Älykäs ohjaus -hanke, Karelia-ammattikorkeakoulu