HCI Portfolio | Niels van der Wal

Een greep uit wat er mogelijk is met Human Computer Interaction

Augmented & Virtual Reality | Huiswerk

Opdracht naar aanleiding van het college

Voor de eerste opdracht heb ik drie toepassingsgebieden gekozen waarbij ik voor elke gebied een Augmented (AR) of Virtual Reality (VR) concept verzonnen heb.

Onderwijs

onderwijs

Het is algemeen bekend dat je beter leert door dingen te doen dan door de theorie door te lezen. In dat geval zou het prachtig zijn als je een bril opzet die een projectie toont van de anatomie van de mens op een tafel in de klas. Vervolgens kun je deze persoon samen met al je klasgenoten onderzoeken en kijken hoe de organen met elkaar verbonden zijn of aanschouwen hoe een kloppend hart eruit ziet. Sterker nog, je zou dit hart zelfs in je handen kunnen houden als je durft.

Zorg

chirurg

In de zorg zou een chirurg een soort bril op kunnen doen die hem helpt tijdens een operatie door hem te ondersteunen met informatie over de organen. De bril zou daarnaast ook aan kunnen geven als de patient begint te bloeden terwijl de arts dat niet doorheeft. Zo krijg je een veel kleinere fout-marge tijdens een operatie. De arts zou zelfs een keuzevenster kunnen krijgen voor zijn gereedschappen en vervolgens worden deze gebracht door een assistent.

Sport en bewegen

voetbal vr

Hoe gaaf zou het zijn als je een voetbalwedstrijd kunt beleven door de ogen van een speler. In mijn fantasie zou je een 360 graden camera kunnen plaatsen op een voetbalspeler en die beelden worden live opgenomen. Als kijker zou je op een zelfgekozen speler kunnen “inloggen” en zijn visie meemaken. Ook zou je dan vrij om je heen kunnen kijken en dingen mee kunnen maken die de speler niet eens doorheeft. Daarnaast zou je ook vanuit het perspectief van de coach kunnen kijken en daardoor meekrijgen wat hij dit keer aan het schreeuwen is tegen zijn spelers en wat hij bespreekt met de assistent-coach. Of voor de perverselingen onder ons: meekijken in de kleedkamer, alhoewel, zo pervers is het niet meer. Tegenwoordig wordt er met onderbroeken aan gedoucht = )

 

Onderzoek naar interessante ontwikkelingen

Ik heb gisteren voor het eerst kennis mogen maken met een VR bril, de HTC Vive om precies te zijn. Deze bril is momenteel de beste op de markt, beter zelfs dan de Oculus Rift, dankzij zijn haarscherpe resolutie en waanzinnige controls. Tijdens deze kennismaking ben ik aan de slag gegaan met een horror-game genaamd “The Brookhaven Experiment”. Gelukkig was ik voorbereid met 6 paar schoon ondergoed en een flinke dosis lef. Dat was maar goed ook want dit spel is DOODENG!

Toevallig kwam ik vandaag dit filmpje tegen op Youtube en ik begon nieuwsgierig te worden naar dit project.


Hoe komt het dat een game als deze zo eng is en hoe komt zo een game tot stand? Na wat rondneuzen op het internet kwam ik deze website tegen. Hierop staat dat deze game door 2 gasten (Steve Bowler & Jeremy Chapman) in de korte tijd van 3 weken is geproduceerd.

The Brookhaven Experiment was actually something of an accident, although the small portion of the game I was able to play seemed way more polished than its rapid development would suggest. The game was born when Chapman had the Thanksgiving weekend to himself and decided, spur of the moment, to try his hand at a VR shooter. With his family out of town for a few days, whynot make a game?”

Het grappige is dat er al uur na het idee een volledig werkend pistool ontwikkeld was. Alleen ontbraken er nog mikpunten om op te schieten. Daarom waren er een paar karakters toegevoegd om op te oefenen. Zodra een karakter in de buurt kwam kon hij erop schieten en ging deze dood. Als ze te dichtbij kwamen ging hij zelf dood.

De volgende dag heeft Bowler een aantal objecten toegevoegd aan de game en de omgeving. Op dit moment was er een vrij eenvoudige demo. Toen deze demo gepresenteerd werd tijden een lokale VR bijeenkomst, was er flinke belangstelling. Dit was het begin van de gedachte om deze demo tot een volwaardige game te maken.

Uiteindelijk is het allemaal in sneltreintempo gegaan doordat de 2 makers besloten om zoveel mogelijk dingen, die ze zelf niet konden maken vanaf scratch, uit de marketplace te halen van de Unreal Engine 4. Onderhand is het een volwaardige game en ik ben er van onder de indruk wat ze hebben gepresteerd in zo een korte tijd.

Ik ben erg benieuwd naar wat er de komende jaar ontwikkeld gaat worden op het gebied van VR en AR.

Opdracht Madmapper

De volgende opdracht is iets complexer. Ik ga een poging doen om Computer Vision te combineren met Augmented Reality. Ik wil namelijk een uitwerking van Processing combineren met Madmapper.

Hoe ga ik dat doen?

  1. Onderzoeken hoe de code in elkaar steekt die gebruikt wordt om een Syphon input aan te sturen vanuit Processing.
  2. Testen of ik de code kan plaatsen van een vorig project in combinatie met de code die Syphon aanstuurt.
  3. De laatste stap wordt trial on error want ik heb heb geen idee of het lukt.

Poging 1

In deze poging probeer ik de Nederlandse vlag te maken in processing en deze te versturen in combinatie met de code die de frames doorstuurt via de Syphon methode.

Processing Syphon en Madmapper

Dit lukt in één keer en was niet een hele lastige opgave. Ik heb de output iets vervormd zodat het perspectief iets veranderd. De volgende stap wordt wat moeilijker.

Poging 2

In de onderstaande video heb ik geprobeerd om de animatie van de cirkel door te zetten naar Madmapper en er een soort van show van te maken.

Dit experiment lukte mij niet in één keer. Ik had de twee variabelen (boolean en diameter) over het hoofd gezien. Het leuke bij dit experiment vind ik dat de animatie en de bewegende beelden een veel leuker resultaat geven dan een statisch plaatje.

Poging 3

Tot slot wilde ik de Processing Library “Open CV” in Madmapper kunnen manipuleren. Ik heb daarvoor een drietal muren gemaakt om een soort van kamer te simuleren. Zie hieronder het resultaat:

Opdracht Unity

Ik ben nog één keer aan het stoeien geslagen met Unity om de virtuele wereld uitgebreider te maken. Ik had besloten om een hele nieuwe wereld te maken. Die wereld moest bestaan uit een lange route met bochten en een wegdek om te volgen. Daarna heb ik een toffe auto uitgezocht die zou dienen als bestuurbaar voertuig en heb ik er een camera boven geplaatst die vanuit een derde-persoonsperspectief en met een lichte kanteling naar beneden kon kijken om de auto beter in beeld te krijgen.

Vervolgens wilde ik een vorm van gamification aan het spel toevoegen. Dus bedacht ik spelelement waarbij je met een auto op een weg moest rijden en inkomende obstakels probeert te ontwijken. Als je een obstakel aanraakt dan ontploft het en wordt je weggeslingerd doordat het obstakel als een soort stootkussen fungeert. Het idee is om zo snel mogelijk de finish te bereiken. Als je de finish bereikt schiet er aan alle kanten vuurwerk om je heen.

In het onderstaande filmpje zie je het resultaat van deze best geinige game. Djinte (een onervaren coureur) speelt hierin de hoofdrol en mag de auto besturen met:

W = Gas geven

A = Links sturen

S = Remmen / achteruit

D = Rechts sturen

Spatie = handrem

 

Verder Bericht

Vorige Bericht

Laat een reactie achter

© 2019 HCI Portfolio | Niels van der Wal

Thema door Anders Norén