Pakka­sella käy HOLOtna: Etätek­no­lo­gia­ko­kei­lussa virtuaalihologrammit

Kare­lian Base Camp-hank­keessa kehi­te­tään yrit­tä­jyys­pol­kuja yrit­tä­jyyttä suun­nit­te­le­vien tai jo yrit­tä­jänä toimi­vien opis­ke­li­joi­den tarpei­siin. Hank­keessa toteu­te­taan opis­ke­li­joille yrit­tä­jyy­teen liit­ty­viä valmen­nuk­sia, myös väli­mat­ka­riip­pu­mat­to­masti etäval­men­nuk­sen keinoin.

Kokoon­nuimme koko Base Camp -tiimin voimin tuumai­le­maan neljän­nessä valmen­nuk­sessa pilo­toi­ta­vaa etätek­no­lo­giaa. Helpot vaih­toeh­dot oli jo käytetty aiemmin, ja nyt halut­tiin kokeilla jotain vähän haas­teel­li­sem­paa sekä enemmän kokei­luas­teella olevaa tekno­lo­giaa. Mielessä pyöri­vät erilai­set laajen­ne­tun todel­li­suu­den ratkaisut.

Micro­soft Research on tehnyt tutki­mus­työtä holo­gram­mi­tal­len­tei­den kehit­tä­mi­sen parissa jo vuodesta 2012, ja julkaisi Kinect-senso­rei­hin perus­tu­van holo­por­taa­tio­rat­kai­sunsa 2016. Holo­gram­mien pilo­tointi ei kuiten­kaan aluksi herät­tä­nyt suurta kiin­nos­tusta. Parem­man pereh­ty­mi­sen jälkeen idea vaikutti kuiten­kin juuri sellai­selta, jota olimme etsi­neet. Euroo­pan sosi­aa­li­ra­has­ton rahoit­ta­massa kansain­vä­li­sessä SMErec-hank­keessa oli pilo­toitu useita erilai­sia tekno­lo­gioita rekry­toin­ti­mah­dol­li­suuk­sien paran­ta­mi­seksi, joissa eräänä kohteena oli syvyys­ka­me­roilla toteu­tettu virtu­aa­li­ho­lo­gram­mi­tek­no­lo­gia. Hank­keessa oli kehi­tetty mobii­li­lait­teilla toimiva Unity-sovel­lus, joka toisti holo­gram­mi­tal­len­netta. Tallen­teella opis­ke­lija esit­teli osaa­mis­taan poten­ti­aa­li­sille työnan­ta­jille, ja tilassa liik­ku­malla esitystä pystyi katse­le­maan eri kuva­kul­mista sekä eri etäisyyksiltä.

Pilotti sanana voidaan tulkita merkit­se­vän jotain ensim­mäistä kertaa tai kokei­lu­luon­toi­sesti tehtä­vää asiaa ja idean hyödyn­tä­mi­nen valmen­nuk­sen jaka­mi­sessa etäosal­lis­tu­jille vaikutti juuri sellai­selta. Base Camp-hank­keessa päädyim­me­kin pilo­toi­maan virtu­aa­li­ho­lo­gram­meja väli­mat­ka­riip­pu­mat­to­man etäval­men­nuk­sen saralla tuot­teis­ta­mi­nen ja brän­däys-inten­sii­vi­val­men­nuk­sen avoi­messa osuu­dessa. Alun perin ajatuk­sena oli toteut­taa live­strii­maus holo­gram­mia hyödyn­täen, mutta aika­tau­lul­li­sista syistä holo­grammi toteu­tet­tiin tallenteena.

Tiivis­te­tysti sanot­tuna, virtu­aa­li­ho­lo­gram­mi­tek­no­lo­gia perus­tuu foto­gram­met­ri­aan. Siinä hyödyn­ne­tään Intel Real­sense-syvyys­ka­me­roita ympä­ris­tön luke­mi­seen reaa­lia­jassa, ja niiden tuot­tama reaa­liai­kai­nen väri- ja syvyys­ku­vasta tallen­ne­taan h264-muotoi­seksi videoksi, joka voidaan toistaa eri päätelaitteilla.

Tallen­nusym­pä­ris­tön raken­ta­mi­nen ja tallen­nuk­sen tekeminen

Kame­roi­den aset­te­lussa testat­tiin neljän ja viiden kameran kokoon­pa­noa, joiden hahmo­tel­mat ovat näky­vissä kuvassa 1. Suurin muutos viidestä neljään kame­raan siir­ryt­täessä on suoraan sivuilta tehtä­vien holo­gram­mi­tal­len­tei­den puut­tu­mi­nen. Suoraan edestä kuvat­tua holo­gram­mia ei haluttu jättää pois, koska oletet­ta­vasti katsoja haluaa seurata esitystä “aitio­pai­kalta”.  Joka tapauk­sessa esit­tä­jän taka­puo­len kuvaa­mi­nen ei ole etusi­jalla, sillä katso­jat­kin toden­nä­köi­sesti seuraa­vat esitystä edestäpäin.

Tallen­nusym­pä­ristö suun­ni­tel­tiin Intel Real­sense D435-kame­roita hyödyn­täen (kuvat 2 ja 3) Kamerat asetet­tiin esiin­ty­mi­sa­lu­een ympä­rille, jolloin edestä ja molem­min puolin etuviis­tosta olisi mahdol­lista saada parem­pi­laa­tui­nen tallenne esiin­ty­jästä. Kamerat vaati­vat toki jalus­tat, joiden järjes­tä­mi­sestä suuri kiitos Kare­lian vahti­mes­tari Tomille.

Kame­roi­den kuvan tallen­ta­mista varten kehi­tet­tiin OBS-ohjel­maan Intel Real­sense SDK:ta käyt­tävä liitän­näi­nen, jonka avulla on suhteel­li­sen yksin­ker­taista sijoit­taa kunkin kameran väri- ja syvyys­kuva yhteen videoon, josta on esimerkki ruutu­kaap­pauk­sena kuvassa 4.

Iäkkään PC-koneen lasken­ta­teho osoit­tau­tui riit­tä­mät­tö­mäksi, kun käytet­tiin viittä kameraa. Tallen­nuk­sen nopeus tippui tuol­loin alle 20 ruutuun sekun­nissa. Suurin syy on Real­sense-kame­roi­den tallen­ne­tun syvyys­ku­van paran­nus­suo­dat­ti­mien käyttö, joka vie proses­so­riai­kaa. Näytö­noh­jai­mella ei tähän ole niin­kään vaiku­tusta. Vaih­toeh­toina on joko kytkeä paran­nusal­go­rit­meja pois päältä, tai käyttää tehok­kaam­paa konetta, tai vähen­tää kame­roi­den määrää. Koska video­ku­van pitäisi olla mahdol­li­sim­man hyvä­laa­tui­nen, päädyt­tiin käyt­tä­mään neljää kameraa.

Tallen­nus­ko­neen etäkäyttö

Kuten kuvasta 3 on havait­ta­vissa, tallen­nus­kone oli sijoi­tet­tuna esiin­ty­jien TV-ruudun alapuo­lelle, jotta kame­roi­den vaati­mat USB3-aktii­vi­kaa­pe­lit ylsivät kiinni konee­seen. Koska esit­tä­jien kalvot näytet­tiin TV-ruudulla, tallen­nusta oli hallin­noi­tava etätyöpöytäohjelmistolla.

Etäoh­jel­misto on osa Windows-käyt­tö­jär­jes­tel­mää, joten se ei vaati­nut eril­listä asen­nusta. Ongel­mia aiheutti ainoas­taan esiin­ty­jien ääntä tallen­tava USB-mikro­foni. Sitä ei voi ottaa etänä käyt­töön, ellei aseta ennen yhtey­den muodos­ta­mista etäkäyt­tö­oh­jel­mis­ton äänien­hal­linta-asetuk­sista äänien tois­ta­mista pelkäs­tään etäko­neelle (kuva 5). Tämän jälkeen hallinta oli mahdol­lista varsin mutkat­to­masti esityk­sen aikana, ja tallenne saatiin aikaan neljän syvyys­ka­me­ran avulla.

Holo­gram­mi­tal­len­teen teke­mi­nen itses­sään oli varsin mutka­tonta, kun tekni­set edel­ly­tyk­set oli saatu kuntoon. Kun tallenne seuraa­vaksi siir­re­tään holo­gram­mien visua­li­soin­tioh­jel­mis­toon, pääsemme tutki­maan tallen­teen laadun sovel­tu­vuutta etäval­men­nuk­sen holo­gram­mi­vi­sua­li­soin­nissa tarkem­min. Luodun tallen­teen syvyys­ku­vaa joudu­taan ehkä käsit­te­le­mään holo­gram­mie­si­tyk­sen laadun paran­ta­mi­seksi. Etätek­no­lo­gia­ko­kei­lun pariin pala­taan virtu­aa­li­ho­lo­gram­mien visua­li­soin­nista kerto­vassa artikkelissa.

---

Kirjoit­ta­jat:

Anssi Gröhn, lehtori, Karelia-ammattikorkeakoulu

Mika Lappa­lai­nen, projek­ti­asian­tun­tija, Karelia-ammattikorkeakoulu