Workshop 3D-modeller mm
Lage virtuelle modeller med NeRFs
Neural Radiance Fields (NeRFs) er en teknikk som bruker maskinlæring for å lage 3D-modeller fra bilder. NeRFer trenes på et sett med bilder av et objekt eller en scene. NeRF-er er veldig raske og kan brukes til å lage 3D-modeller med utgangspunkt i et relativt lite antall bilder.
Når de er trent, kan NeRF-er brukes til å generere nye bilder av objektet eller scenen fra alle vinkler. NeRF-er har noen fordeler i forhold til tradisjonelle 3D-modelleringsteknikker. De er mye enklere å lage, og vi kan oppnå svært tilfredsstillende resultater med naturlig lys og vanlige kameraer. Alt som trengs er en samling av visuelt materiale fra ulike synsvinkler, rundt et objekt eller en scene. Dette kan være sfæriske videoer eller bilder, vanlig video eller en serie stillbilder.
Teknologien og noen muligheter er forklart her: jonbarron.info/mipnerf360 med en rekke eksempler.
Den virtuelle modellen laget av NeRF kan brukes til å lage nye videoer av en scene. I det følgende eksemplet har vi brukt sfæriske videoopptak for å lage en modell ved hjelp av en nettjeneste: lumalabs.ai
Videoopptaket ble i dette tilfellet tatt med et 360-kamera som tok opp en sfærisk video når du gikk langs sporene vist på bildet/modellen. Legg merke til at de to skjermbildene fra den resulterende 3D-modellen er fra et perspektiv som ikke ble dekket av kameraet, utenfor og over den opprinnelig kamerabanen. Fordi NeRF er i stand til å generere en tredimensjonal modell, kan vi lage slike "umulige" bilder og kamerabevegelser.
Den tredimensjonale modellen, til venstre, og modellen med farge og lysinformasjon, til høyre.
Til høre ser vi også hvordan virtuelle kamera kan plassers i modellen.
Den samme teknikken kan brukes til å generere en 3D-modell av et objekt. I dette tilfellet brukes en smarttelefon til å filme steinfiguren fra forskjellige retninger. Resultatet kan isoleres som et eget 3D-objekt. Dette kan brukes til 3D-printing, som en ressurs i et dataspill, et objekt sett i Augmented Reality osv.
Til venstre: en 3D-printet versjon av modellen eksportert fra NeRF. Til høyre: det originale løvehodet i stein. Modellen er ikke perfekt, men har tilstrekkelig detaljer til de fleste formål. Bilder med høyere oppløsning kan øke kvaliteten enda mer.
Lumalabs.ai bruker NERFs (Neural Radiance Fields) for å lage 3D-modeller med teksturer fra vanlige videoopptak. Du kan laste opp materiale til netttjenesten, eller bruke appen
Ta en titt på "Capturing Best Practices" https://docs.lumalabs.ai/MCrGAEukR4orR9
Når du har det visuelle materialet klart kan du laste opp dette ved hjelp av nettgrensesnittet på lumalabs.ai. Det vil være litt ventetid for å trene NeRF, men så snart modellen er klar kan du åpne den og klikke på "Reshoot". Dette vil gi deg mulighet til å angi en kamerabane, en brennvidde for den virtuelle linsen, bestemme varigheten av videoen osv.
