Ether Sense Mixed Reality

Seminar Interaction Design Mixed Reality | WS 2019/20 | Fachhochschule Bielefeld | Prof. Patricia Stolz

Samuel Cerqueira da Rocha Grafik und Kommunikationsdesign M.A.

zum Intro

„Ether Sense“ ist ein Konzept für eine Mixed Reality App inklusive Brille und Haptikhandschuh. Dadurch wird 3D Modelling für Industrial Design effizienter und das Ergebnis besser einschätzbar: Materialien und Farbgebung lassen sich mit intuitiven Gesten auswählen und zuordnen und Oberflächen mit dem Handschuh haptisch erleben.

weiter

Positionierung / Zielgruppe

Positionierung: Persona Max Neuer Jahre alt 37 (Material) Industrie Designer , keine Kinder Verheiratet Berlin lebt in Perfektionist Bezeichnet sich als detailverliebt kommunikativ ungeduldig visuell perfektionistisch einfühlsam ehrgeizig haptisch Persönlichkeit: introvertiert extrovertiert analytisch kreativ loyal wankelmütig passiv aktiv Marken / Anwendung Affinitäten: Ziele: » Materialien effizienter anpassen » Arbeitsplatz flexibler wählbar » Haptik früher einschätzen Frustrationen: » Viele Materialtests sind nötig » Workflow der Software ist umständlich » Viel Detailarbeit raubt Zeit für Design-Entscheidungen Motivationen: Preis Umfang Effizienz / Simplizität Treuevorteile
Positionierung: Archetypen Ordnung Erfüllung Verbindung Wandel Freude Wissen Kontrolle Macht Nähe Sicherheit Zugehörigkeit Freiheit Innovation Herrschaft Fürsorge Befreiung Der Weise Der Entdecker Der Rebell Der Held Der Schöpfer Der Liebende Der Unschuldige Der Narr Der Jedermann Der Zauberer Der Betreuer Der Herrscher » Neue Produkte kreieren und Material spüren, das noch nicht existiert. » Fürsorge für die Details in Aussehen und Haptik aller erschaffenen Produkte. » Kontrolle über das Interface und über das End-Produkt. 12 Archetypen nach Thomas Pyczak

Positionierung: Bedürfnisse

Sicherheit

Das Projekt ermöglicht ein ruhigeres strukturiertes Arbeiten mit mehr Vorhersehbarkeit und Behaglichkeit. Sogar die Arbeit im Homeoffice ist problemlos möglich.

Kompetenz

Das Projekt vereinfacht die Arbeit und gibt das Gefühl von Kontrolle. Auch Menschen mit eingeschränkter Mobilität wird flexibleres Arbeiten ermöglicht.

Stimulation

Das eigene Design haptisch und dadurch immersiver erleben zu können, ist faszinierend. Auch Blinde können in vielen Bereichen der App mitwirken.

Bedürfnisse nach Marc Hassenzahl

Hardware / Technik

Das Gewebe des „Sense Glove“ erzeugt durch HD-Aktuatoren eine differenzierte Stimulation der Handoberfläche und schafft damit ein immersionsförderndes Haptikerlebnis.

Recherche- und Inspirationsquellen: haptx.com | researchgate.net | onlinelibrary.wiley.com

Die „Ether Vision“ ist eine Hybrid-Brille aus Mixed Reality (MR) und Virtual Reality (VR). Im VR-Modus ermöglicht sie video see-through, indem sie den Umgebungsraum über vier RGB-Kameras aufnimmt.

AR Technologies (Buch)

Die „Ether Vision“ verfügt über Eye Tracking, mit denen der Fokuspunkt der Augen bestimmt werden kann.
Die zwei 360-Grad-Mikrofone unterscheiden dabei Sprachinteraktion von Nebengeräuschen.

vr.tobii.com | vrtonung.de

Ether Vision im

„ Off-Zustand “

„ MR-Modus “

„ VR-Modus “

Mit einer hochaufgelösten Projektion und speziellen Beschichtung der Linsen wird direkt auf die Retina projiziert.

Für den immersiveren VR-Modus werden die elektrochromen Brillengläser abgedunkelt.

bynorth.com | Apple Patent (PDF)

Im video see-through Modus lassen sich mit der „Ether Vision“ störende Gegenstände aus dem Raum entfernen (Diminished Reality) und ergänzen (Augmented Reality).

researchgate.net

Software / Anwendungsbeispiel

Das bearbeitete digitale Designobjekt ist im Raum fixiert. Der Nutzer kann sich dadurch beim Bearbeiten frei bewegen. Er wählt ein Element aus, indem er es mit dem Blick fixiert. Der „Gaze Cursor“ gibt hierbei Feedback.

Bei der Sprachinteraktion gibt es auch abkürzende Befehle (Shortcuts). Zum Beispiel „All Materials“ (oder kontextbezogen und kurz: „All“), welcher alle Materialien aufruft.

Der Sound wird während der Sprachinteraktion über die „Bone Conduction“ der Brillenbügel gehört, was die Ohren frei lässt für Umgebungsgeräusche. Der Sound wird hierbei über Schädelknochen statt Mittelohr geleitet).

Der „Material Hula Hoop“ (ringförmige Materialpalette) ist um die Hüfte herum positioniert. Der Nutzer kann durch Gaze und Schiebe-Gesten durch diesen Ring navigieren.

Mit „Gaze“ (dem Blick-Cursor) wird ein Material fixiert und mit einer intuitiven Greifgeste ausgewählt. Nachdem mit „Gaze“ der Zielkörper (Teil-Mesh des Designobjekts) ausgewählt ist, kann das Material dort „fallen gelassen werden“.

Mit dem Sprachbefehl „Color“ wird der „Color Cube“ aufgerufen und der Farbwert des Materials angepasst. Der Wert wird durch eine Pinch-Geste (Pinzette) und Drag-Geste (Ziehen) verändert.

Über die drei Würfelachsen lassen sich Farbe, Sättigung als auch Helligkeit gleichzeitig manipulieren.

Die Einstellungsobjekte wie der „Color Cube“ bewegen sich mit dem Benutzer mit, wenn er sich im Raum bewegt. Das bearbeitete Designobjekt bleibt im Raum fixiert.

Einstellungsobjekte wie der „Color Cube“ lassen sich einfach über eine intuitive Wischgeste aus dem „Field of View“ (aktiver Sicht- und Interaktionsbereich des Benutzers) in die Peripherie verschieben.

Mit dem Befehl „Texture“ kann man den „Texture Sphere“ aufrufen und die Beschaffenheit des Materials anpassen. Die vorhandene Struktur kann entweder verstärkt oder abgeschwächt werden. Zudem kann die Rauheit des Materials verändert werden.

Ist man mit einer Änderung nicht zufrieden, so können Aktionen rückgängig gemacht werden, indem „die Zeit zurückgedreht“ wird. Die geballte Faust macht den Zeitzeiger sichtbar, der dann nach links gedreht wird. Alle 30 Grad (fünf Minuten) wird ein weiterer Arbeitsschritt rückgängig gemacht.

Der „Texture Cube“ ist nicht nur eine Materialvorschau, sondern auch eine Haptikvorschau. Mit dem „Sense Glove“ kann die Oberfläche der Kugel abgetastet werden und es entsteht ein Eindruck über die haptische Qualität des Materials.

Wenn das Design stimmig ist, kann der Nutzer mit einem bestätigenden „Thumbs up“ den Stand bestätigen, die Bearbeitung abschließen und sich zufrieden zurücklehnen.

Voice Interaction Fix Hula Hoop Filter Favorites Fabric please Filter Lether now It’s fixed You have 2 Favorite Lists Which one? Lether or Fabric ? Here you go Hula Hoop Kontrolle Beispiel für Auswahl Feedback Switch to RGB Set Red to 241 Set the color purple My purple please Reset the color to default RGB activated Done Standard or predefined? It’s set Color Cube Kontrolle Beispiel für genaue Manipulation Set bump depth to default Remove all roughness Please explain That would be nice. Do it OK, that’s more natural This could cause problems It’s too shiny for that color I can adjust the color value OK? Texture Sphere Kontrolle Beispiel für unterstützende KI
Mixed Reality Ether Sense Sense Glove für Haptik Ether Vision für MR und VR Interaktionen Voice Control Material zuweisen Farbe wählen Beschaffenheit Rewind Haptik Test

Ether Sense Mixed Reality

Seminar Interaction Design Mixed Reality | WS 2019/20 | Fachhochschule Bielefeld | Prof. Patricia Stolz

Eine Arbeit von Samuel Cerqueira da Rocha Grafik- und Kommunikationsdesign M.A.

Prof. Patricia Stolz | patricia.stolz@fh-bielefeld.de 

Samuel Cerqueira da Rocha | sdr@blitzgarten.com | 0151 67 30 8335