Utvikling av løsning for virtuell visning
Oppdatert 28. januar 2025
Prosjektet Fysiske og virtuelle visningsrom har behov for en enkel måte å vise frem representasjoner av ulike gjenstander på skjerm. Ved hver skjerm skal det være mulig å velge mellom visninger aqv forskjellige objekter. Visningene er enten i form av videoer, som viser frem objektene som en predefinert, kontinuerlig loop, eller brukerne kan hente frem 3D-modeller av objekter. Brukeren skal selv kunne velge mellom de ulike visningene, og styre hvordan objektene blir vist.
Knytte sammen flere visningssteder
Tanken er å knytte sammen visningssteder ved flere campus. Noen objekter kan dermed stilles ut lokalt, samtidig som de vises på skjerm i de andre visningsrommene. På denne måten utvides visningsrommene, og de blir en del av campusutvikling på tvers av ulike lokaliteter.
Konseptet ble presentert under Nettverkskonferansen 2025.
Grensesnitt for avspilling
Vi har laget en fysisk prototype, med tilhørende programbareløsning. Her vil endelig utforming komme som et resultat av en helhetlig tankeom interiøret i lokalene.
Valgt video eller 3D-objekt kommer opp i fullskjerm. Startes og stoppes ved trykk på knappene ved siden av joysticken. Dersom brukeren ikke foretar seg noe bør det komme opp en infoboks etter noen sekunder. Ved inaktivitet i f eks 20 sekunder endres skjermbildet automatisk til meny for valg.
Joysticken lar brukeren gå frem og tilbake i videoen, men sen 3D-modell kan snus og vendes på.
Konseptet innebærer at videoene er sømløse looper, dvs at når en scroller seg til begynnelse eller slutt fortsetter scrollingen automatisk ved henholdsvis slutt (når brukeren har scrollet bakover til “start”) og start (når brukeren har scrollet fremover til “slutt”).
Fysisk prototype, med kontroll via joystick og knapper.
En løsning for å skape 3D-modeller ved hjelp av fotogrammetri.
Valg, informasjons og funksjon for å komme tilbake til meny for valg legges til egne knapper. Navigasjon og håndtering av de digitale modellene skjer med en joystick. Programvareløsningen er implementert av Johannes Ringheim, ved Medielab.
<<< Her testes fysiske knapper.
3D-modell på skjerm >>>
Det hele skal bygges inn i montere, som plasseres på alle visningsstedene. Slik distribueres utstillingen på tvers av flere lokaliteter,
Funksjonalitet for å vise informasjon om verkene
Når en video spilles av, må det finnes en funksjon for å hente opp tekstinformasjon om verket ved å trykke på en dedikert knapp. Dette kan være i et helt fast format med “Tittel”, “Opphavspersoner” og “Beskrivelse”. Hvordan lagring av tekstene løses vil avhenge av valgt løsning for å hoste videofilene.
Funksjon for å hente opp informasjon
Denne funksjonen bør kunne aktiveres under avspilling av hver enkelt video, da som et tekstlag på gjennomskinnelig bakgrunn, over videoen. Ideelt sett bør teksten kunne ligge oppe, mens brukeren bruker joysticken for å spole i videoen.
Produksjon av videoene
Så langt har vi forsøkt med en produksjonsflyt der objekter filmes av, og lagres som en videofil. Denne videofilen konverteres til en tredimensjonal modell ved hjelp av såkalt NeRF-teknologi. Teknologien innebærer en nyvinning innenfor fotogrammetri, og gjør prosessen langt enklere enn for lun kort tid siden. En NeRF-modell gir mulighet til å angi en virtuell kamerabane, en brennvidde for den virtuelle linsen, bestemme varigheten av videoen osv. På den måten kan vi vise ulike objekter på skjerm, med høy kvalitet, samtidig som produksjonen ikke krever spesialkompetanse.
En porsjon kunstig intelligens gjør at 3D-modellene og videoene som skapes ved hjelp av Lumalabs fremstår som helhetlig. Statuen ovenfor er i dette tilfellet filmet av med et mobilkamera, der statuens plassering gjør at det ikke er mulig å dekke hele figuren. Dette ser vi i selve 3D-modellen, til høyre, der vi tydelig ser at det mangler informasjon.
Ved skanning av objekter der vi har bedre kontroll på opptakssituasjonen, kan vi eliminere dette problemet. Dette eksemplet synliggjør samtidig at teknologien er robust og i stand til å kompensere for relativt dårlige råopptak, noe som gjør det enklere å la brukerne selv stå for opptakene.
Teknologien gir mange tilpasningsmuligheter. Blant annet kan en enkelt isolere et objekt fra omgivelsene.
