Ether Sense Mixed Reality
Seminar Interaction Design Mixed Reality | WS 2019/20 | Fachhochschule Bielefeld | Prof. Patricia Stolz
Samuel Cerqueira da Rocha Grafik und Kommunikationsdesign M.A.
„Ether Sense“ ist ein Konzept für eine Mixed Reality App inklusive Brille und Haptikhandschuh. Dadurch wird 3D Modelling für Industrial Design effizienter und das Ergebnis besser einschätzbar: Materialien und Farbgebung lassen sich mit intuitiven Gesten auswählen und zuordnen und Oberflächen mit dem Handschuh haptisch erleben.
Bedürfnisse nach Marc Hassenzahl 
Das Gewebe des „Sense Glove“ erzeugt durch HD-Aktuatoren eine differenzierte Stimulation der Handoberfläche und schafft damit ein immersionsförderndes Haptikerlebnis.
Recherche- und Inspirationsquellen: haptx.com | researchgate.net | onlinelibrary.wiley.com
Die „Ether Vision“ ist eine Hybrid-Brille aus Mixed Reality (MR) und Virtual Reality (VR). Im VR-Modus ermöglicht sie video see-through, indem sie den Umgebungsraum über vier RGB-Kameras aufnimmt.
Die „Ether Vision“ verfügt über Eye Tracking, mit denen der Fokuspunkt der Augen bestimmt werden kann.
Die zwei 360-Grad-Mikrofone unterscheiden dabei Sprachinteraktion von Nebengeräuschen.
Mit einer hochaufgelösten Projektion und speziellen Beschichtung der Linsen wird direkt auf die Retina projiziert.
Für den immersiveren VR-Modus werden die elektrochromen Brillengläser abgedunkelt.
bynorth.com | Apple Patent (PDF)
Das bearbeitete digitale Designobjekt ist im Raum fixiert. Der Nutzer kann sich dadurch beim Bearbeiten frei bewegen. Er wählt ein Element aus, indem er es mit dem Blick fixiert. Der „Gaze Cursor“ gibt hierbei Feedback.
Bei der Sprachinteraktion gibt es auch abkürzende Befehle (Shortcuts). Zum Beispiel „All Materials“ (oder kontextbezogen und kurz: „All“), welcher alle Materialien aufruft.
Der Sound wird während der Sprachinteraktion über die „Bone Conduction“ der Brillenbügel gehört, was die Ohren frei lässt für Umgebungsgeräusche. Der Sound wird hierbei über Schädelknochen statt Mittelohr geleitet).
Der „Material Hula Hoop“ (ringförmige Materialpalette) ist um die Hüfte herum positioniert. Der Nutzer kann durch Gaze und Schiebe-Gesten durch diesen Ring navigieren.
Mit „Gaze“ (dem Blick-Cursor) wird ein Material fixiert und mit einer intuitiven Greifgeste ausgewählt. Nachdem mit „Gaze“ der Zielkörper (Teil-Mesh des Designobjekts) ausgewählt ist, kann das Material dort „fallen gelassen werden“.
Mit dem Sprachbefehl „Color“ wird der „Color Cube“ aufgerufen und der Farbwert des Materials angepasst. Der Wert wird durch eine Pinch-Geste (Pinzette) und Drag-Geste (Ziehen) verändert.
Über die drei Würfelachsen lassen sich Farbe, Sättigung als auch Helligkeit gleichzeitig manipulieren.
Die Einstellungsobjekte wie der „Color Cube“ bewegen sich mit dem Benutzer mit, wenn er sich im Raum bewegt. Das bearbeitete Designobjekt bleibt im Raum fixiert.
Einstellungsobjekte wie der „Color Cube“ lassen sich einfach über eine intuitive Wischgeste aus dem „Field of View“ (aktiver Sicht- und Interaktionsbereich des Benutzers) in die Peripherie verschieben.
Mit dem Befehl „Texture“ kann man den „Texture Sphere“ aufrufen und die Beschaffenheit des Materials anpassen. Die vorhandene Struktur kann entweder verstärkt oder abgeschwächt werden. Zudem kann die Rauheit des Materials verändert werden.
Ist man mit einer Änderung nicht zufrieden, so können Aktionen rückgängig gemacht werden, indem „die Zeit zurückgedreht“ wird. Die geballte Faust macht den Zeitzeiger sichtbar, der dann nach links gedreht wird. Alle 30 Grad (fünf Minuten) wird ein weiterer Arbeitsschritt rückgängig gemacht.
Der „Texture Cube“ ist nicht nur eine Materialvorschau, sondern auch eine Haptikvorschau. Mit dem „Sense Glove“ kann die Oberfläche der Kugel abgetastet werden und es entsteht ein Eindruck über die haptische Qualität des Materials.
Wenn das Design stimmig ist, kann der Nutzer mit einem bestätigenden „Thumbs up“ den Stand bestätigen, die Bearbeitung abschließen und sich zufrieden zurücklehnen.