Wiem, że zanudzam już o VR, ale tym razem kontekst jest nieco inny. Kilka ciekawych spostrzeżeń z zabawy z VR w podróży spisałem poniżej

GearVR wziąłem ze sobą w ramach eksperymentu i w razie, gdyby w Amsterdamie wiało nudą ( to pierwszy raz, nie wiedziałem jeszcze, że w Amsterdamie nie da się nudzić ), to i bym kontynuował pracę nad swoją grą na VR. Podróż pociągiem to jakieś 5 godzin, więc postanowiłem pobawić się tą zabawką, by mi czas jakoś zleciał.

VR pozwala się odciąć od otoczenia, a im bardziej zabawa jest imersyjna, tym bardziej można się zapomnieć. Doświadczyłem spojrzeń, które wyraźnie wskazywały na zaciekawienie, co to ja mam na głowie ( w każdym razie, przypuszczam, że dzięki szeroko zakrojonej akcji reklamowej tego sprzętu większośc ludzi wie co to jest ). Również było kilka spojrzeń w stylu "co ten debil wyprawia, zaraz tę kawę co stoi przed nim rozleje" Ale to było minimum.

Z "minimum" tym wiąże się dosyć ciekawa historia. Otóż dotyczy to pary siedzącej w siedzeniach po lewej stronie pociągu. Facet był wyraźnie zaciekawiony i... pomachał mi ręką przed goglami Żona to zauważyła i mnie "wybudziła", że ten gość coś odemnie chce. Najpierw się bronił, później powiedział, że chciał sprawdzić, czy coś widzę. Owszem, widzę przez tzw. "pass-through camera" i dlatego wiem, gdzie stoi moja kawa Zmieszał się, bo zdał sobie sprawę, że prawdopodobnie widziałem, że z dziewczyną coś tam zerkają, szepczą i podśmiechują.

Więc co w takiej sytuacji zrobić? Salival wyskakuje z "Come on, you should try it for yourself ". Znów, koleś się bronił, ale dziewczyna go popchnęła i można się domyślić jak zareagował. Zwykle pokazuję krótki show "Cirque du Soleil" nakręcony w 360 i 3D, gdzie jest się wśród aktorów. Nie chcę nikomu dawać nic interaktywnego na początek, bo to wyższy stopień wtajemniczenia Po kilku sekundach zaczął namawiać swoją dziewczynę, że koniecznie ta musi też tego spróbować W interaktywne rzeczy też poszliśmy ( choć drobne, jak wirtualne wędkowanie ). Nie pokazywałem porno Ostatecznie pogadaliśmy o tym jak to działa i ile kosztuje ( najbardziej zmartwiła ich konieczność posiadania Samsunga, bo to posiadacze Apple byli ). W każdym razie ot taki mały eksperyment zrobiłem

Jeszcze kilka spostrzeżeń na temat działania tej technologii w ruchu:

- Pojawia się problem z orientacją headsetu. Pociąg nie porusza się w końcu po linii prostej więc np. grając w Minecraft widać było, że centrum przesuwa się to w lewo, to w prawo, mimo że głową nie kręcę. Pociąg robił to za mnie, tzn. skręcał to w lewo, to w prawo. Gry mobilne powinny w jakiś sposób brać poprawkę na telefon w ruchu ( może z GPS? ). Inaczej odpada coś tak prostego jak oglądanie filmu na wirtualnym ekranie kinowym, bo ekran nie będzie zawsze wycentrowany.

- Sterowanie w przypadku gier mobilnych również powinno brać pod uwagę, że możemy nie mieć możliwości obrotu 360 ( sphere ), a jedynie 180 ( dome, hemisphere ). To ma szczególne znaczenie, gdy siedzimy w pociągu czy samolocie. Kilka gier rozwiązuje ten problem przez automatyczny obrót lub użycie pada. Inne są niegrywalne w takiej sytuacji.

- Na chorobę symulacyjną bardzo pomaga bycie w prawdziwym ruchu. Gry takie jak Omega Agent ( latanie jetpackiem ), czy świetne Anshar Wars 2 powodują znacznie mniej problemów, gdy poruszamy się.

Już nie nudzę o VR, następnym razem wrzucę coś o Anczarted 4

Na problem ze skręcającym pociągiem można jakoś zaradzić dodając stały punkt odniesienia, np. żyroskop w telefonie. Parujesz jakoś urządzenia, kładziesz telefon na półkę albo choćby do kieszeni i już masz dane do dekorelowania ruchu pociągu.

:brtk No ale to wymaga dwóch urządzeń - bardzo niepraktyczne Sam GearVR też nie używa żyroskopu z telefonu, bo ten nie jest tak precyzyjny. Headset ma własny. Problem ze skręcaniem pociągu nie jest taki trywialny, bo jak odróżnić, czy to pociąg skręca, czy głowa się obraca? GPS pozwala z kolei na śledzenie kierunku ruchu przez porównanie stanu przed i po. To mogłoby dostarczyć dane, które mogłyby posłużyć do takiej korekty. Szczególnie, że nie musi to być korekta precyzyjna i szybka, o czym świadczy choćby fakt, że nie jesteś w stanie zauważyć, że pociąg zmienił kierunek dopóki nie masz punktu odniesienia wewnątrz świata gry lub aplikacji ( jak np. wirtualny ekran kinowy ). We wspomnianym Anshar Wars 2 mamy możliwość obracania się za pomocą pada i w tym przypadku w ogóle nie zauważyłem problemu, aż do momentu, gdy pokazują się elementy UI, które nie są wycentrowane. Korekta taka mogłaby reorientować headset interpolując między obecnym stanem/kierunkiem, a tym kolejnym odczytanym przez GPS.

Nawet z GPS nie odróżnisz, czy głowa skręca, czy cały pociąg. Bez punktu odniesienia nieruchomego względem ciała/pociągu raczej niemożliwe będzie określenie ruchu głowy, bo potrzebujesz ustalić pozycję względem ciała. Sensory w okularach podają pozycję względem ziemi, ale w pociągu poruszasz się względem ziemi.

:brtk chodzi mi o coś w tym rodzaju:

https://www.youtube.com/watch?v=SiH3IHEdmR0

Tylko tu by posłużyło to do kalibracji headsetu względem kierunku ruchu pojazdu.

Nie obejrzę teraz filmiku, bo parę innych rzeczy robię.

Ale coś jeszcze mi do głowy przyszło.
"pass through camera" - można jeszcze spróbować potwierdzać ruch głowy względem otoczenia. Prosta analiza obrazu pozwoli na określenie kilku punktów, które lepiej lub gorzej pozwolą wykrywać ruch / brak ruchu. Hmm, jakby dobrze pokombinować to na podstawie obrazu otoczenia w ogóle można by pozycje głowy (skręt, pionowo/poziomo) określać, bez żadnych sensorów w "okularach". Do czasu aż ktoś światło zgasi.

:brtk positional tracking z wykorzystaniem kamery na razie możliwy nie jest. Przynajmniej to jest jeden z powodów, dla których Oculus nie inwestuje w tzw. inside-out tracking. Po prostu nie mamy takiej technologii w telefonie. Trzeba też pamiętać, że sam GearVR działa nieco bardziej "realtime" niż kamera czy inne sensory ( co zresztą widać, jeśli np. spróbujesz chodzić z pass-through camera ). Jednym z założeń mobilnego VR jest to, że nie potrzeba żadnego innego sprzętu, ale na chwilę obecną nie wygląda to tak różowo. O GPS pomyślałem, bo właśnie tak np. apki działają - określają kierunek poruszania się właśnie dzięki GPS, a nie sensorowi w telefonie. Pozwala ci to mieć telefon w kieszeni i np. słuchawkę w uchu, by tylko słyszeć, gdzie masz się przemieszczać. Załączony filmik z kolei pokazuje, że drobne rekalibracje są całkowicie niezauważalne dla obserwatora. Stąd GPS mógłby być dobrym rozwiązaniem. Kamera z kolei ma tutaj jeden mankament - strasznie żre baterię, a "power consumption" to kolejna rzecz, która musi być wzięta pod uwagę. Hmm.. chyba mam domowy projekt

Czyli granie na VR w jadącym samochodzie jest na razie niemożliwe (jako pasażer ).

Do centrowania widoku i kalibracji bez problemu wystarczyłoby ustrojstwo na podczerwień w postaci małej kostki dołączanej do gogli.
Stawiasz przed sobą, kamera będzie widziała punkt odniesienia i wtedy nawet w samochodzie będzie prawidłowo działać.

:maciek_cherokee kamera nie bardzo się nada. Rozumiem, że chcesz korektę wprowadzać znając zmianę w stanie żyroskopu i kamera ( kamera nie zmienia się, żyroskop tak - to samochód zmienia kierunek jazdy ). Tylko że potrzebujesz o wiele więcej informacji, by wprowadzić korektę i zwykła kamera nie da rady. Tu musiałbyś mieć "depth camera", która w dodatku musi być "wide angle". Zauważ, że przez obrócenie głowy o 90 stopni w lewo lub wprawo stracisz z pola widzenia "ustrojstwo". Poza tym znów - kamera żre baterię, czego w tym przypadku chce się uniknąć. Carmack chciał wykorzystać kamerę do "positional tracking" i też się poddał To musiałaby być zupełnie inna kamera, niż stosowana obecnie. No i generalnie ma nie być żadnych dodatkowych akcesoriów. Był pomysł z positional tracking outside-in dla GearVR, ale właśnie dlatego nie przeszedł, bo firma nie chce mieć żadnych dodatkowych zewnętrznych gadżetów potrzebnych do "doświadczenia VR" Wydaje mi się, że GPS to jedyny sensor, który może temu podołać, bo jedyne co dostarcza to pozycja. Przy szybko poruszającym się pojeździe powinno się dać w miarę ok odczytać wektor kierunku i wykorzystać go do korekcji. Musiałbym sprawdzić czy to zadziała Każdego dnia do roboty pociągiem jeżdżę więc powinno się dać i przetestować

:salival wewnątrz pociągu gps tak sobie działa, zazwyczaj nie działa, chyba że odbiornik do szyby przystawiasz...
Do tego moje doświadczenia, eksperymenty z gps są takie, że raczej cieżko oczekiwać wystarczającej dokładności, sygnał jest słaby, podatny na zakłócenia. W mapach, nawigacjach, dokładne położenie, szczególnie skręcanie, można poprawić właśnie żyroskopem/akcelerometrem. Ponadto mapy często poprawiaja położenie obiektu na mapie przyklejając położenie do najbliższej drogi. Szczególnie jadąc pociągiem to widać, gdy tory biegną koło torów - pozycja jest przesuwana na drogę (przynajmniej w Here Maps tak robiło).

Ale jeśli mimo wszystko uda się, daj znać. Trzymam kciuki!

Problemem nie jest prędkość pojazdu jako taka, tylko jej zmiany, więc poza skręcaniem także przyspieszanie i zwalnianie. A, no i jeszcze jazda pod górę lub z góry, bo przecież takie odchylenie też będzie interpretowane jako ruch głowy. No i nie wydaje mi się, żeby GPS był w stanie wystarczająco szybko i dokładnie rejestrować takie zmiany, szczególnie jeśli są niewielkie, żeby to było przydatne.
Poza tym, jak już :brtk pisał - pociąg to metalowa puszka, która raczej negatywnie wpływa na odbiór sygnału, do tego jakieś tunele, wysokie budynki czy inne drzewa po drodze i ustalanie pozycji i prędkości robi się tak nieprecyzyjne, że będzie pewnie bardziej przeszkadzać niż pomagać. Chyba jednak lepszym rozwiązaniem byłoby użycie drugiego telefonu albo jakiegoś zewnętrznego dynksa z jakimś akcelerometrem (w sensie, że musieliby dawać coś takiego w zestawie z headsetem, żeby się to łączyło przez bluetooth czy coś) jako punktu odniesienia.

:gen_Italia Wyczuwam nowy potencjał do trololo - dajesz komuś VR, a potem majtasz kostką we wszystkie strony i człowiek się zastanawia, czemu mu się samo rusza

Jako, że robiłem magisterkę na temat trackingu w AR, to mogę powiedzieć, że jedynie śledzenie mechaniczne nadaje się do zastosowań gdzie wymagana jest jako taka precyzja. Natomiast do gierek itp wystarczą nawet drukowane markery (takie większe kody QR).

No ok, ale chodzi o rozwiązanie inside-out, czyli bez dodatków do rozstawiania ( szczególnie, że na to może najzwyczajniej nie być miejsca ). W pociągu nie miałem na pewno miejsca na postawienie czegokolwiek tak, by było dobrze widziane przez kamerę

:salival dlatego sugerowałem w pierwszej myśli dodatkowe urządzenie, przystawkę. Zważywszy, że w nieruchomych miejscach tego nie trzeba, to może jako akcesorium warto rozważyć, tak jak zewnętrzne baterie na usb, pałerbanki znaczy sie. Na codzień niepotrzebne, ale w szczególnych okolicznościach...
W sumie to czujnik położenia w power banku może to mieć sens, bo w podróży i tak bateria może niewystarczyć.

A kamera nie potrzebuje nadajnika, analiza obrazu w wielu przypadkach starczy. Tylko to znowu drenuje bateryjkę.

:brtk port USB jest zajęty przez GearVR, niestety ten nie pozwala dodatkowo podpiąć powerbanku, a szkoda. Co do analizy obrazu, to telefon niestety trochę niedomaga Poza tym kamera w telefonie dostarcza bardzo mało informacji. Bez kamery depth trzeba bardzo się napracować ( czyli CPU/GPU będą musiały się napracować ), by dostarczyć dane do rekalibracji ze zwykłego obrazu 2D. Dodatkowy czujnik zapewne zdałby egzamin, ale właśnie problemem jest założenie, że ma nie być dodatków żadnych. To akurat wk**wia też Carmacka, bo przez takie założenie do tej pory nie ma "positional tracking" w GearVR. Aczkolwiek możliwe, że pojawią się nowe sensory ( może i kamera głębi ). Tymczasowo sam chciałem zobaczyć co da się zrobić z tym, co jest.