SMErec: Virtuaalihologrammit rekrytoinnin tukena – syvyyskameroista

Karelian tietojenkäsittelyn koulutuksessa etäopiskelu on varsin yleistä. Tämän vuoksi opiskelijoiden mahdollisuudet osallistua erilaisiin rekrytointitapahtumiin Joensuussa ovat käytännössä pitkien etäisyyksien vuoksi rajatumpia lähiosallistujiin nähden. SMErec-hankkeen yhtenä tavoitteena on vahvistaa pk-yritysten kilpailukykyä kehittämällä yritysten rekrytointiosaamista ja varmistamalla sitä kautta pk-yritysten rekrytointien onnistuminen. Tätä tavoitetta kohti päästään parantamalla etäosallistujien mahdollisuuksia tuoda omaa osaamistaan esille erilaisissa rekrytointitapahtumissa. Siksi kehitämme keväällä 2019 hologrammitallenteita, silmällä pitäen erityisesti tietojenkäsittelyn etäopiskelijoiden tarpeita.

Avaan seuraavaksi hieman teknistä taustaa, millainen kamerateknologia osaltaan mahdollistaa virtuaalihologrammit ja holoportaation, sekä miten pääsemme yhden askeleen lähemmäksi VASU (6/2017) -artikkelissani käsittelemääni digitaalista läsnäoloa.

Mitä Intel Realsense –syvyyskamerat ovat?

 

Intel RealSense D435-kamerat ovat varsin näppärän kokoisia.

Siinä missä Microsoftin tutkima ja kehittämä holoportaatioratkaisu käyttää Kinect-sensoreita, SMErec-hankkeessa kamerateknologiaksi on valittu Intelin Realsense. Ominaisuuksiltaan ne ovat kuitenkin vastaavia; molemmissa on normaali kamera, infrapunasensorit, sekä stereokuvien laserkeilaukseen perustuva syvyyssensori. Niiden avulla voidaan muodostaa kolmiulotteinen pistepilvi, joka kuvaa rakeisena 3D-mallina kameran havaitseman ympäristön. Tämä on eräs fotogrammetrian menetelmistä, jossa pyritään selvittämään eri kohteista niiden muodot ja ominaisuudet (Aalto-yliopisto, 2019). Fotogrammetriaa voidaan hyödyntää niin suuriin kuin pieniinkin kohteisiin. Fotogrammetria toimii joko yksittäisillä kuvilla, jotka kuvataan kohteen ympäriltä ja joista ohjelmallisesti rakennetaan 3D-malli, tai keilaukseen pohjautuvilla menetelmillä, joissa syvyystieto mitataan erillisen sensorin avulla.

 

 

Miten syvyyskameroita käytetään?

 

Realsense-viewer ja kolmen kameran kuvat.

Kameroita varten on tarjolla ohjelmistokirjasto testiohjelmineen. Esimerkiksi Realsense-viewer tukee useampaa kameraa, ja sen avulla voi tarkastella sekä säätää kaikkia kameroiden ominaisuuksia. Se tukee RGB- kuin syvyystiedon esittämistä kuvina, sekä esitettyä yhden kameran tuottaman pistepilven 3D-mallina. Kameran kuva- ja syvyystiedon käsittelyyn tarvitsee kuiteknin Librealsense-ohjelmistokirjaston, on saatavilla Github-versionhallintapalvelusta niin Windows, Linux ja Mac OS-käyttöjärjestelmille.

 

Ohjelmistoja ja kameroita kehitetään jatkuvasti, joten myös niiden firmware saa päivityksiä kohtalaisen tiheään. Myös Realsense-viewer -ohjelman versioilla on vähimmäisvaatimuksena yleensä tietty kameroiden firmware-versio, joten ei ole syytä hämmästyä, jos ohjelmisto ei toimikaan kameroilla suoraan.

Realsense-viewerin tuottama 3D-malli syvyystiedon ja videokuvan perusteella.

Onko käyttöönotto helppoa?

Kamerat saa helposti käyttöön – mutta mikäli tavoitteena on siirtää syvyyskamera metriä kauemmaksi työasemasta, tai käyttöön on tarkoitus ottaa useampi kamera kerralla, on syytä huomioida muutamia asioita.

Yksi kamera vaatii aina yhden USB 3.0-väylän, joita kyllä nykyisissä PC-työasemissa on tarjolla. Yhteen väylään on voitu kytkeä useampi liitin, jolloin väylän kaistanleveys jaetaan siihen liittettyjen laitteiden kesken. Koska yhden kameran tuottama striimi kuluttaa kaistaa noin 5Gb/s (625 MB/s), mikä on lähellä yhden USB 3.0-väylän määritettyä maksimisiirtonopeutta, voi olla, että useampaa kameraa ei voi liittää yhteen työasemaan suoraan.

 

Kaistan riittävyysongelman saa ratkottua esimerkiksi erillisellä PCI Express 4x USB3.0-ohjainkortilla, joka tarjoaa jokaiselle liittimelle oman kanavan, eli 5Gbit/s kaista on varmasti tarjolla jokaiselle siihen liitetylle laitteelle. Testilaitteistoon hankitussa kortissa on tuki neljälle erilliselle USB 3.0-väylälle. PCI Express (2.0) 4x-väylän kapasiteetti puolestaan pitäisi riittää useamman kameran datan siirtämiseen, sillä sen kapasiteetti on noin 20Gbit/s. (Edwards, 2013).

Kauemmaksi sijoitetuille kameroille tarvitaan paremmat kaapelit.

Toinen ongelma, mitä kameroiden käyttöön liittyy, on että USB 3.0-kaapeleiden pituus muodostuu rajoittavaksi. Mikäli käytössä on normaali kaapeli, signaali heikkenee vastaavasti ja tiedonsiirtonopeus laskee kaapelin pituuden kasvaessa.  Yhden kameran käyttäessä lähes koko kanavan kapasiteetin, tiedonsiirtonopeuden lasku aiheuttaa pienempää ruudunpäivitysnopeutta. Koska tässä tapauksessa kaapeleiden pituuden on oltava 3-5 metriä, tarvitaan niin sanottuja aktiivikaapeleita, jotka vahvistavat signaalia ja varmistavat tiedonsiirtonopeuden riittävyyden.

 

Mitä näillä kameroilla on tarkoitus siis tehdä?

Kameroita käytetään animoitujen virtuaalihologrammien luomiseen. Eli skannaamme ja tallennamme reaaliaikaisesti kohteen liikkeen ja äänen, jotka voidaan toistaa myöhemmin uudelleen virtuaalitodellisuuslaseilla sekä erilaisilla lisätyn todellisuuden katsontalaitteilla.

Tämä vaatii tosin testiympäristön rakentamista, erilaisten tallennusmenetelmien tutkimista, sekä soveltuvan visualisointiohjelmiston rakentamista, joihin palaan vielä myöhemmin tämän keväänä Digit!-blogissa.

Kirjoittaja Anssi Gröhn, tietojenkäsittelyn lehtori

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *