Cloud-VR is de volgende stap in de evolutie van virtual reality. De omgeving renderen op een remote server om hem naar een headset te kunnen streamen zou betekenen dat je geen krachtige CPU nodig hebt. Maar daarvoor heb je een technologie nodig die realtime data overdraagt, want de minste lag zorgt voor misselijkheid en een vervelende gebruikerservaring.
De kracht van 5G ligt niet eens zozeer in de grotere capaciteit van de technologie - het is maar net hoe je deze frequenties inzet - maar in de low-latency van de technologie. AT&T demonstreerde met Ericsson een aantal oplossingen waarbij 5G werd gebruikt voor low-latency backhaul en VR-deskundigen denken dat hiermee virtual reality dichtbij komt voor iedereen.
Uiteindelijk hoopt de AR- en VR-sector dat je de technologie buiten kunt gebruiken, zodat je de belofte die Google Glass ooit deed kunt waarmaken. Maar om dat te kunnen doen heb je een mobiele infrastructuur nodig met hoge bandbreedte en low-latency. Ook hiervoor biedt 5G een oplossing voor de sector.
Neem de Focus Plus van HTC, ontworpen om de ingebouwde Qualcomm Snapdragon-processor over te slaan en rechtstreeks te streamen vanaf een server op afstand.
Er heerst een hoop optimisme in de demozaal van AT&T, maar er zijn wat hordes die de VR-markt moet nemen wat betreft 5G. De volgende generatie van de mobiele technologie rolt heel langzaam uit en vooral in Nederland gaan we de eerste jaren vooral 5G op lage frequenties zien. Het Agentschap Telecom veilt naar verwachting begin 2020 de 700, 800 en 2100 MHz-banden en milimetergolftechnologie volgt pas later. Daarnaast zijn er twee specifieke uitdagingen die overwonnen moeten worden.
Ondertussen groeit de VR-markt gestaag. Volgens Sony zijn er 4,2 miljoen PlayStation VR's verkocht sinds de introductie in 2016. Pas na een jaar werd de mijlpaal van 1 miljoen gehaald, zo becijferde Canalys eerder. Dat loopt ver achter op de pc-verkoop en het lijkt erop dat VR-headsets nou niet bepaald de bijna verplichte randapparatuur worden zoals toetsenborden en muizen. Zelfs Oculus Rift-uitvinder Palmer Luckey schreef vorig jaar dat VR-hardware niet goed genoeg is om echt mainstream te gaan, zelfs niet als het gratis zou zijn.
Het testlab van AT&T en Ericsson om 5G te testen.
Uitdaging 1: Latency verlagen
Het belangrijkste technische obstakel voor virtual reality is nog altijd latency. De benchmark voor stabiele VR is 90 FPS. Minder dan dat en het beeld levert verwardheid en misselijkheid op bij gebruikers. Je hoort vaak dat 5G meer bandbreedte biedt door de vrije hoge frequenties en technologieën als beamforming, maar de low-latency is hét voordeel waar netwerkoperators op hameren.
Als je kijkt naar cloud-VR is het belangrijkste de latency in milliseconden tussen de headset en de back-end server. Als je je hoofd draait, moet het systeem de omgeving ongemerkt en direct renderen zodat je niet misselijk wordt. Lees meer over het hoe en waarom van deze effecten in ons eerdere artikel Wat is cybersickness?
Volgens HTC is het magische getal om dit te voorkomen ongeveer 20 milliseconden, wat 5G met gemak waarmaakt met latency's tussen 5 en 8 ms. Houd er rekening mee dat het, zo vertellen diverse bestuurders tijdens de demonstratie, dat netwerklatency's in de praktijk uiteen kunnen lopen met 5G en dat het in de regel makkelijker is om te ontwerpen voor een draadloos netwerk als wifi.
Om te laten zien dat zulke lage latency mogelijk is, bouwde AT&T's Foundry-programma een kleine 5G-demonstratie in het hoofdkantoor van Ericsson in Silicon Valley. Denk daarbij aan een serverruimte met netwerkapparatuur, samen met een 5G smallcell die dienst deed als accesspoint voor de ruimte.
De apparatuur van Ericsson werd gebruikt als lokale draadloze infrastructuur.
De demo in het 5G-lab in de stand van Nvidia liet zien wat dit allemaal in de praktijk moet betekeken. Daar speelde ik Beat Saber, een muziekgame met een lichtzwaard, waar timing van lavensbelang is. Daar werd via 5G gestreamd vanaf een Nvidia RTX-server die eventjes verderop stond. Ik merkte wat interferentie van het trackingsysteem van HTC Vive's in de buurt, maar de game zelf streamde prima, zonder merkbare vertragingen.
De remote rendering van VR kan onderdeel worden van Nvidia's GeForce Now, zo stellen Nvidia-bestuurders en dat is een intrigerende mogelijkheid die we pas gaan zien als 5G mainstream gaat. Tegelijkertijd toonde HTC zijn HTC Focus Plus, een standalone headset met 'six-degree-of-freedom' (6DoF) controlkers. En PlayGiga demonstreerde zijn onderwatersimulatie SubNautica via 5G.
Ook al is de Focus Plus voorzien van een Qualcomm Snapdragon 835 heeft HTC hem zodanig gebouwd dat een omgeving op afstand gerenderd wordt en dan naar de headset wordt gestuurd via 5G. HTC gebruikte ook een game waar timing belangrijk was (PopStic VR, een game als Beat Saber) en dat werkte goed. Er waren soms wat horten en stoten, maar die kwamen door de manier waarop de headset de controllers detecteerde.
Uitdaging 2: De resolutie verhogen
Hoewel de demonstraties lieten zien dat 5G de latency van cloud-VR kan verlagen, lieten anderen zien hoe 5G kon concurreren met VR op hoge resoluties. GridRaster gebruikt een eigen streamingapplicatie om een 15 miljoen polygonen groot model van een vliegtuigmotor op een eerste generatie HoloLens te laten zien.
De demo van GridRaster om een AR-hologram met een hoge resolutie realtime te streamen naar een Microsoft HoloLens.
Microsofts nieuwere versie, HoloLens 2, kan maximaal 100.000 polygonen renderen, maaar de maker werkt er hard aan om die lat te verhogen. Een Azure-technologie genaamd Remote Rendering zal uiteindelijk 100 miljoen polygonen kunnen streamen, aldus Microsoft. Om de load te verlagen, liet NGCoded een FPGA-bord zien dat de data in realtime comprimeerde.
NGCodec gebruikt een FPGA-bord om wat van de CPU-workload die voor streaming wordt gebruikt te ontlasten.
Kunnen edge-apparaten deze twee combineren?
Een vraag die nog niet is beantwoord is of deze twee uitdagingen tegelijkertijd kunnen worden opgelost: low-latency virtual reality met de hoge resolutie van een bedraad apparaat. Hoewel we gewend zijn aan het client-servermodel - je pc vraagt om een bestand en die wordt afgeleverd - kan cloud-VR wel eens gebaat zijn met een derde soort hardware, een edge-apparaat die met 5G aan de cloud wordt verbonden. In dit scenario vereist de headset erg weinig verwerkingskracht en hoeft het enkel de gestreamde gegevens te decoderen. Het edge-apparaat en de cloud handelen de opslag en rendering af.
De term edge-apparaat is verwarrend, niet in de minste plaats omdat een sterke definitie ontbreekt. Het zou een dedicated apparaat bij de gebruiker kunnen zijn, of een caching-server bij een netwerkaanbieder, die het bij de zendmast plaats. Of het zou een pc kunnen zijn, met een grafische kaart. HTC ziet zijn eigen 5G Hub als potentiële cloud-VR-gatewat, maar het zou volgens het bedrijf ook potentieel een edge-apparaat kunnen zijn - de hub heeft zijn eigen Snapdragon 855-chip.
"Je VR-apparaat kan een heel dom apparaat zijn dat de gestreamde VR-data van deze endpoint ontavngt", vertelt HTC's technisch directeur Wen-Ping Ying in een interview. "We gebruiken dit als een gateway om ongecomprimeerde beeldinformatie te verzenden en dat kan heel goedkoop. Dit is op dit moment het beste wat we kunnen doen ter vervanging van de pc. In de toekomst ga je flexibelere, schaalbaardere rendering zien."
Dit gaat natuurlijk uit van een heleboel dingen: 5G moet tijdig uitgerold, het is betaalbaar, er zijn geen datalimieten en het staat cloud-VR adoptie niet in de weg. Technisch moet de ervaring overeen komen met die op maat gemaakte demo. Dit gaat er verder vanuit dat softwaremakers in staat zijn om hun content dat je nu op pc's en consoles ziet kunnen aanpassen en poorten naar VR én dat VR niet uitsluitend bestaat als bedrijfsoplossing. En ten slotte moet dit de klanten die niet voor een eerste generatie VR-headset zijn gegaan alsnog over de streep trekken.
Wat we nu hebben gezien is een cloud-VR oplossing die werkt, maar of het evolueert naar een product dat je daadwerkelijk kunt gebruiken is een tweede.
-
-
Er zijn nog geen reacties.Reageer
Preview