Der In-Game-Gebärdensprachübersetzer von Sony durchbricht Barrieren

Sony hat eine Patentanmeldung eingereicht, um gehörlosen und stummen Spielern bessere Zugänglichkeitsfunktionen für Spiele bereitzustellen. Das Patent zeigt, wie in einem Spiel eine Gebärdensprache in eine andere übersetzt werden kann.

Sony-Patent: Entwicklung eines Übersetzers für amerikanische Gebärdensprache in japanische Gebärdensprache für Videospiele

Es ist geplant, VR-Geräte zu verwenden und diese durch Cloud-Spiele laufen zu lassen

Sony hat eine Patentanmeldung eingereicht, die Videospielen Gebärdensprachübersetzung in Echtzeit hinzufügen würde. Das Patent mit dem Titel „Sign Language Interpretation in Virtual Environments“ demonstriert eine Technologie, die die amerikanische Gebärdensprache (ASL) in die japanische Gebärdensprache (JSL) für Japanischsprecher übersetzen kann.

Sony sagt, sein Ziel sei es, ein System zu entwickeln, das gehörlosen Spielern hilft, indem es Gebärdensprache in Echtzeit während Gesprächen im Spiel übersetzt. Die im Patent beschriebene Technologie würde es einem auf dem Bildschirm angezeigten virtuellen Indikator oder Avatar ermöglichen, Gebärdensprache in Echtzeit zu vermitteln. Das System übersetzt zunächst Gesten in einer Sprache in Text, wandelt dann den Text in eine andere angegebene Sprache um und übersetzt schließlich die empfangenen Daten in Gesten in einer anderen Sprache.

Sony beschreibt im Patent: „Ausführungsformen der vorliegenden Offenlegung beziehen sich auf Methoden und Systeme zum Erfassen der Gebärdensprache eines Benutzers (z. B. eines Japaners) und zum Übersetzen der Gebärdensprache für einen anderen Benutzer (z. B. einen Englisch sprechenden Benutzer) .“ „Da Gebärdensprachen je nach regionaler Herkunft variieren, sind Gebärdensprachen nicht universell anwendbar. Dazu ist es erforderlich, die Gebärdensprache eines Benutzers angemessen zu erfassen, seine Muttersprache zu verstehen und eine neue Gebärdensprache für einen anderen Benutzer als Ausgabe in seiner Muttersprache zu generieren Gebärdensprache.“

Sony gab ein Beispiel dafür, dass eine Möglichkeit zur Implementierung dieses Systems die Verwendung von VR-Geräten oder Head-Mounted-Displays (HMD) ist. Details von Sony: „In einigen Ausführungsformen ist das HMD über eine kabelgebundene oder drahtlose Verbindung mit einem Benutzergerät wie einem PC, einer Spielekonsole oder einem anderen Computergerät verbunden.“ „In einigen Ausführungsformen rendert das Benutzergerät den Inhalt.“ werden über die HMD-Grafik angezeigt und bieten Benutzern ein immersives Seherlebnis in virtuellen Umgebungen“

Sony schlug außerdem vor, dass ein Benutzergerät über das Netzwerk nahtlos mit einem anderen Benutzergerät auf dem Spieleserver kommunizieren kann. „In einigen Ausführungsformen führt der Spieleserver eine gemeinsame Sitzung des Videospiels durch, behält den kanonischen Zustand des Videospiels und seiner virtuellen Umgebung bei“, sagte Sony, „und das Benutzergerät synchronisiert sich damit in Bezug auf den Zustand der virtuellen Umgebung.“ ."

Mit diesem Setup können Benutzer in derselben virtuellen Umgebung (z. B. Spiel) in einem gemeinsam genutzten Netzwerk oder Server teilen und interagieren. Sony fügte außerdem hinzu, dass in einigen Implementierungen des Systems der Spieleserver Teil eines Cloud-Gaming-Systems sein könnte, das „Videos rendert und streamt“ zwischen jedem Benutzergerät.