Pakka­sella käy HOLOtna: Etätek­no­lo­gia­ko­kei­lussa virtuaalihologrammit

Karelian Base Camp-hankkeessa kehitetään yrittä­jyys­polkuja yrittä­jyyttä suunnit­te­levien tai jo yrittäjänä toimivien opiske­li­joiden tarpeisiin. Hankkeessa toteu­tetaan opiske­li­joille yrittä­jyyteen liittyviä valmen­nuksia, myös välimat­ka­riip­pu­mat­to­masti etäval­men­nuksen keinoin.

Kokoon­nuimme koko Base Camp -tiimin voimin tuumai­lemaan neljän­nessä valmen­nuk­sessa pilotoi­tavaa etätek­no­logiaa. Helpot vaihtoehdot oli jo käytetty aiemmin, ja nyt haluttiin kokeilla jotain vähän haasteel­li­sempaa sekä enemmän kokei­luas­teella olevaa tekno­logiaa. Mielessä pyörivät erilaiset laajen­netun todel­li­suuden ratkaisut.

Microsoft Research on tehnyt tutki­mus­työtä hologram­mi­tal­len­teiden kehit­tä­misen parissa jo vuodesta 2012, ja julkaisi Kinect-senso­reihin perus­tuvan holopor­taa­tio­rat­kai­sunsa 2016. Hologrammien pilotointi ei kuitenkaan aluksi herät­tänyt suurta kiinnos­tusta. Paremman pereh­ty­misen jälkeen idea vaikutti kuitenkin juuri sellai­selta, jota olimme etsineet. Euroopan sosiaa­li­ra­haston rahoit­ta­massa kansain­vä­li­sessä SMErec-hankkeessa oli pilotoitu useita erilaisia tekno­lo­gioita rekry­toin­ti­mah­dol­li­suuksien paran­ta­mi­seksi, joissa eräänä kohteena oli syvyys­ka­me­roilla toteu­tettu virtu­aa­li­ho­lo­gram­mi­tek­no­logia. Hankkeessa oli kehitetty mobii­li­lait­teilla toimiva Unity-sovellus, joka toisti hologram­mi­tal­len­netta. Tallen­teella opiskelija esitteli osaamistaan poten­ti­aa­li­sille työnan­ta­jille, ja tilassa liikku­malla esitystä pystyi katse­lemaan eri kuvakul­mista sekä eri etäisyyksiltä.

Pilotti sanana voidaan tulkita merkit­sevän jotain ensim­mäistä kertaa tai kokei­lu­luon­toi­sesti tehtävää asiaa ja idean hyödyn­tä­minen valmen­nuksen jakami­sessa etäosal­lis­tu­jille vaikutti juuri sellai­selta. Base Camp-hankkeessa päädyim­mekin pilotoimaan virtu­aa­li­ho­lo­grammeja välimat­ka­riip­pu­mat­toman etäval­men­nuksen saralla tuotteis­ta­minen ja brändäys-inten­sii­vi­val­men­nuksen avoimessa osuudessa. Alun perin ajatuksena oli toteuttaa livestriimaus hologrammia hyödyntäen, mutta aikatau­lul­li­sista syistä hologrammi toteu­tettiin tallenteena.

Tiivis­te­tysti sanottuna, virtu­aa­li­ho­lo­gram­mi­tek­no­logia perustuu fotogram­met­riaan. Siinä hyödyn­netään Intel Realsense-syvyys­ka­me­roita ympäristön lukemiseen reaalia­jassa, ja niiden tuottama reaaliai­kainen väri- ja syvyys­ku­vasta tallen­netaan h264-muotoi­seksi videoksi, joka voidaan toistaa eri päätelaitteilla.

Tallen­nusym­pä­ristön raken­ta­minen ja tallen­nuksen tekeminen

Kameroiden asette­lussa testattiin neljän ja viiden kameran kokoon­panoa, joiden hahmo­telmat ovat näkyvissä kuvassa 1. Suurin muutos viidestä neljään kameraan siirryt­täessä on suoraan sivuilta tehtävien hologram­mi­tal­len­teiden puuttu­minen. Suoraan edestä kuvattua hologrammia ei haluttu jättää pois, koska oletet­ta­vasti katsoja haluaa seurata esitystä “aitio­pai­kalta”.  Joka tapauk­sessa esittäjän takapuolen kuvaa­minen ei ole etusi­jalla, sillä katso­jatkin toden­nä­köi­sesti seuraavat esitystä edestäpäin.

Tallen­nusym­pä­ristö suunni­teltiin Intel Realsense D435-kameroita hyödyntäen (kuvat 2 ja 3) Kamerat asetettiin esiin­ty­mi­sa­lueen ympärille, jolloin edestä ja molemmin puolin etuviis­tosta olisi mahdol­lista saada parem­pi­laa­tuinen tallenne esiin­ty­jästä. Kamerat vaativat toki jalustat, joiden järjes­tä­mi­sestä suuri kiitos Karelian vahti­mestari Tomille.

Kameroiden kuvan tallen­ta­mista varten kehitettiin OBS-ohjelmaan Intel Realsense SDK:ta käyttävä liitän­näinen, jonka avulla on suhteel­lisen yksin­ker­taista sijoittaa kunkin kameran väri- ja syvyyskuva yhteen videoon, josta on esimerkki ruutu­kaap­pauksena kuvassa 4.

Iäkkään PC-koneen lasken­tateho osoit­tautui riittä­mät­tö­mäksi, kun käytettiin viittä kameraa. Tallen­nuksen nopeus tippui tuolloin alle 20 ruutuun sekun­nissa. Suurin syy on Realsense-kameroiden tallen­netun syvyys­kuvan paran­nus­suo­dat­timien käyttö, joka vie proses­so­riaikaa. Näytö­noh­jai­mella ei tähän ole niinkään vaiku­tusta. Vaihtoeh­toina on joko kytkeä paran­nusal­go­ritmeja pois päältä, tai käyttää tehok­kaampaa konetta, tai vähentää kameroiden määrää. Koska video­kuvan pitäisi olla mahdol­li­simman hyvälaa­tuinen, päädyttiin käyttämään neljää kameraa.

Tallen­nus­koneen etäkäyttö

Kuten kuvasta 3 on havait­ta­vissa, tallen­nuskone oli sijoi­tettuna esiin­tyjien TV-ruudun alapuo­lelle, jotta kameroiden vaatimat USB3-aktii­vi­kaa­pelit ylsivät kiinni koneeseen. Koska esittäjien kalvot näytettiin TV-ruudulla, tallen­nusta oli hallin­noitava etätyöpöytäohjelmistolla.

Etäoh­jel­misto on osa Windows-käyttö­jär­jes­telmää, joten se ei vaatinut erillistä asennusta. Ongelmia aiheutti ainoastaan esiin­tyjien ääntä tallentava USB-mikrofoni. Sitä ei voi ottaa etänä käyttöön, ellei aseta ennen yhteyden muodos­ta­mista etäkäyt­tö­oh­jel­miston äänien­hal­linta-asetuk­sista äänien toista­mista pelkästään etäko­neelle (kuva 5). Tämän jälkeen hallinta oli mahdol­lista varsin mutkat­to­masti esityksen aikana, ja tallenne saatiin aikaan neljän syvyys­ka­meran avulla.

Hologram­mi­tal­lenteen tekeminen itsessään oli varsin mutka­tonta, kun tekniset edelly­tykset oli saatu kuntoon. Kun tallenne seuraa­vaksi siirretään hologrammien visua­li­soin­tioh­jel­mistoon, pääsemme tutkimaan tallenteen laadun sovel­tu­vuutta etäval­men­nuksen hologram­mi­vi­sua­li­soin­nissa tarkemmin. Luodun tallenteen syvyys­kuvaa joudutaan ehkä käsit­te­lemään hologram­mie­si­tyksen laadun paran­ta­mi­seksi. Etätek­no­lo­gia­ko­keilun pariin palataan virtu­aa­li­ho­lo­grammien visua­li­soin­nista kerto­vassa artikkelissa.

---

Kirjoit­tajat:

Anssi Gröhn, lehtori, Karelia-ammattikorkeakoulu

Mika Lappa­lainen, projek­ti­asian­tuntija, Karelia-ammattikorkeakoulu