Sony Innowacje dzięki tłumaczowi języka migowego w grze

Sony złożyło wniosek patentowy, aby zapewnić większą wygodę niesłyszącym graczom. Patent pokazuje, jak w grze można przetłumaczyć jeden język migowy na inny.

Patent Sony: tłumacz ASL na JSL dla gier wideo

Planowane jest wykorzystanie sprzętu VR i uruchomienie go poprzez gry w chmurze

Sony złożyło wniosek patentowy dotyczący dodania do gier wideo tłumaczenia języka migowego w czasie rzeczywistym. Patent zatytułowany „Tłumaczenie języka migowego w środowiskach wirtualnych” opisuje technologię umożliwiającą tłumaczenie amerykańskiego języka migowego (ASL) na japoński język migowy (JSL), zrozumiały dla osób mówiących po japońsku.

Sony twierdzi, że jego celem jest zbudowanie systemu pomagającego niesłyszącym graczom poprzez tłumaczenie gier na język migowy w czasie rzeczywistym. Technologia opisana w patencie umożliwiłaby wyświetlanie na ekranie wirtualnych wskaźników lub awatarów komunikowanie się w języku migowym w czasie rzeczywistym. System najpierw przetłumaczy gesty w jednym języku na tekst, następnie przekonwertuje tekst na inny określony język, a na koniec przetłumaczy otrzymane dane na gesty w innym języku.

„Przykłady wykonania niniejszego ujawnienia dotyczą sposobów i systemów przechwytywania języka migowego jednego użytkownika (np. Japończyka) i tłumaczenia języka migowego innemu użytkownikowi (np. osobie mówiącej po angielsku)” – opisuje Sony w patent. „Ponieważ języki migowe różnią się w zależności od pochodzenia regionalnego, języki migowe nie mają uniwersalnego zastosowania. Wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania nowego języka migowego jako wyjścia dla innego użytkownika, dostosowanego do jego języka ojczystego język migowy.”

Sony podało przykład, że w jednej implementacji tego systemu można wykorzystać sprzęt VR lub wyświetlacze nagłowne (HMD). „W niektórych przypadkach HMD łączy się z urządzeniem użytkownika, takim jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego” – podaje Sony. „W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną za pośrednictwem HMD, zapewniając użytkownikowi wciągające wrażenia wizualne w środowisku wirtualnym.”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. „W niektórych przykładach serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego” – stwierdziło Sony, „a stan urządzenia użytkownika w odniesieniu do środowiska wirtualnego jest zsynchronizowany”.

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony stwierdziło również, że w niektórych przykładach systemu serwer gier może stanowić część systemu gier w chmurze, który mógłby „renderować i przesyłać strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.