Na początek wyjaśnienie skrótów. AR to skrót od angielskich słów augmented reality tłumaczonych na polski język zazwyczaj jako „rzeczywistość rozszerzona”. Jest to połączenie obrazu (czasem również dźwięku) rzeczywistego z generowanym sztucznie. VR to skrót od virtual reality, co powinno być tłumaczone na język polski jako fantomatyka, ale niestety przyjęło się tłumaczenie dosłowne: rzeczywistość wirtualna. Oba terminy są Wam zapewne znane, jednak niebawem mogą nabrać znacznie większego znaczenia, a to za sprawą mocnego zaangażowania się Apple w obie technologie.
Zacznijmy od prawdopodobnie trudniej dostępnej typowemu Apple Userowi fantomatyki, zostawiając AR na deser.
Wirtualna rzeczywistość
Na początek przypomnienie, że fantomatyka jest polskim „wynalazkiem”. Opisał ją wraz z jej zaletami oraz zagrożeniami już w 1964 Stanisław Lem w „Summie Technologiae” i wracał do tematu wirtualnej rzeczywistości jeszcze wielokrotnie, np. w opowiadaniu „Skrzynie doktora Corcorana” zawartym w „Dziennikach gwiazdowych”. Jednak pierwszym praktykiem VR był artysta i informatyk Myron W. Krueger (1969). Mój kontakt z VT nastąpił w 1996 roku za sprawą specjalnego kasku i karty graficznej w pokazowym sprzęcie w kawiarni internetowej.
Obecnie technologia VR polega głównie na dostarczaniu obrazu stereoskopowego, który generowany jest z uwzględnieniem ruchów, kierunku spojrzenia oraz innych reakcji użytkownika. Jeszcze niedawno wsparcie VR w produktach Apple ograniczało się do niewielkiej ilości aplikacji dla iOS oraz kilku modeli „nakładek” okularowych na iPhone. W komputerach Apple było jeszcze gorzej.
Co się zmieni?
Apple postanowiło podejść do sprawy VR w komputerach po swojemu, czyli kompleksowo. Po pierwsze wraz z nowymi systemami pojawia się nowa wersja środowiska graficznego Metal 2. Poza znaczną optymalizacją pozwoli on na ominięcie systemu obsługi okien i renderowaniu grafiki wprost do urządzenia np. właśnie okularów VR. Znacznie zmniejszy to opóźnienia w generowaniu wrażeń wzrokowych. Dodatkowo Metal 2 zawiera funkcje wspierające interaktywność.
Kolejna zmiana, znacznie ułatwiająca korzystanie z fantomatyki, która jest bardzo zasobożerna, to systemowa obsługa zewnętrznych kart graficznych w macOS. Teraz każdy, komu doskwiera zbyt mała moc sterowników grafiki w MacBookach czy iMacach z Thunderbolt 3 będzie mógł podłączyć za pomocą kabla wydajniejsze systemy graficzne i wykorzystać pełną ich moc. Przypomnę, że Thunderbolt jest technologią „wyprowadzającą” najważniejszą magistralę komputerową: PCI kabelkiem „na zewnątrz”.
Bez wsparcia programistów i producentów sprzętu oczywiście nic się nie uda, ale Apple zadbało i o to. Obecnie z Metal 2 (macOS) działa HTC Vive, a Steam udostępnił wersję beta swojego SteamVR Unreal Engine 4 oraz Unity już wspierają Metal 2 i można za ich pomocą tworzyć zgodne z technologią VR od Apple gry i programy.
Przy okazji tej rewolucji najważniejsza aplikacja do montażu wideo Apple Final Cut Pro X zyskała wsparcie dla kamer 360°.
Tak poważne zaangażowanie Apple w rzeczywistość wirtualną jest trochę zaskakujące, ponieważ sprzęt komputerowy Apple nigdy nie był specjalnie „poważany” przez graczy, jednak może to być początek zmian. Z drugiej strony, na sprzęcie Apple (przynajmniej częściowo) powstaje wiele produkcji wydawanych potem na inne platformy i wsparcie VR może być istotne dla projektantów pracujących przy tworzeniu gier.
Rzeczywistość rozszerzona
Tu sytuacja wydaje się mniej zagmatwana, a efekty wsparcia Apple dla tej technologii dotrą do nas znacznie szybciej i będziemy korzystać z nich zdecydowanie częściej nie tylko w grach. Już teraz wiele programów używa AR, często są to aplikacje do nawigacji, astronomii, czy słynny FlightRadar 24 oraz trochę gier. Działa to dość fajnie, ale jak twórcy nowego środowiska systemowego oraz programiści korzystający z wersji beta już udowadniają, że można znacznie lepiej!
Co się zmienia?
Do tej pory autorzy programów korzystających z rzeczywistości rozszerzonej musieli radzić sobie sami lub używać mniej czy bardziej udanych dostępnych dodatków. Obecnie Apple postanowiło ułatwić im życie i opracowało własny system AR wbudowany jako API w iOS 11. Od teraz programista nie musi sam tworzyć procedur do analizy obrazu z kamery, detekcji obiektów, ruchu i zmian w otoczeniu. Tym wszystkim zajmie się ARKit, ułatwiając tworzenie aplikacji i gier z rzeczywistością rozszerzoną oraz znacznie zwiększając ich ogólną jakość i realność połączenia świata prawdziwego z generowanym.
Jak to działa?
Programista otrzymuje trzy rodzaje wsparcia od systemowego ARKit. Pierwsze to dokładne i szybkie pozycjonowanie w przestrzeni i ciągła analiza zmian położenia obiektów w kadrze oraz poza nim. Służy do tego odometria wizualno-bezwładnościowa (Visual Inertial Odometry VIO). Wykorzystuje ona analizę obrazu z nierozmytych klatek kluczowych oraz analizę danych z żyroskopów i przyśpieszeniomierzy wbudowanych w iUrządzenia. Kolejna funkcja ARKit to „zrozumienie” otaczającej przestrzeni i warunków oświetlenia. System rozpoznaje powierzchnie, jak podłogi, stoły czy ściany i potrafi dokładnie śledzić ich przesunięcia w kadrze, nawet gdy nie mają zbyt wielu charakterystycznych punktów. Dodatkowo aplikacja otrzymuje aktualizowane na bieżąco warunki oświetlenia w miejscu, gdzie umieszczamy nasze obiekty wirtualne. Kolejna zaleta ARKit to pełne wsparcie sprzętowe i optymalizacja zarówno rozpoznania sceny, pozycjonowania, jak i za sprawą Metal 2 — renderowania. Niestety wymaga to procesorów A9 i A10. Ważna jest również współpraca z obcymi narzędziami tworzenia gier, jak Unity oraz Unreal Engine.
Co osiągniemy?
Moim skromnym zdaniem nową jakość w bardzo wielu rodzajach aplikacji (nie tylko gier). Obserwując przykłady możliwości ARKit i iOS 11 pokazywane przez wielu deweloperów na filmach, nie sądzę, abym przesadził z optymizmem. Gdy piszę te słowa, Apple zaprezentowało wybranym dziennikarzom pierwsze przykłady zapowiadanych aplikacji od przodujących wydawców oraz rozesłało do zarejestrowanych deweloperów zaproszenie do przedstawienia swoich osiągnięć z ARKit, a bardziej opornym dostarczyło dodatkowe przykłady projektów w Xcode oraz wytyczne dotyczące zasad prawidłowego wykorzystania AR.
Jak na razie największe wrażenie zrobiła na mnie wirtualna taśma miernicza. Dokładność pomiarów nawet jednolitych powierzchni była zadziwiająca. Kolejny hit też należy do programów praktycznych. Jest nim „katalog” Ikea, z pomocą którego możemy umeblować mieszkanie bez wnoszenia mebli i przekonać się, czy będą one pasowały do naszych „czterech ścian”. Z gier urzekł mnie pomysł platformówki „Arise”. Musimy ustawiać się wraz z iPhone’em tak, aby rozsunięte w przestrzeni przedmioty układały się w jednej linii pozwalającej na przejście wirtualnemu żołnierzykowi. Atak zombie wychodzących z drzwi w ścianie pokoju też zasługuje na pochwałę ze względu na jakość realizacji, ale nie jest to już tak błyskotliwy pomysł. Bardzo interesująca wydała się mi również gra edukacyjna zachęcająca dzieci do wybierania zdrowszych pokarmów.
Co do sukcesu ARKit jestem spokojny, jedynie pozostaje pytanie, czy programiści i producenci sprzętu nie zmarnują szansy związanej z zaangażowaniem się Apple w rzeczywistość wirtualną. Tak czy siak, czeka nas emocjonujący koniec roku!
Artykuł oryginalnie pojawił się w numerze 8/2017 Mój Mac Magazynu.
Bardzo ciekawy artykuł. Mam tylko zastrzeżenie co do „Gdy piszę te słowa, Apple zaprezentowało wybranym dziennikarzom pierwsze przykłady zapowiadanych aplikacji od przodujących wydawców oraz rozesłało do zarejestrowanych deweloperów…” – prezentacja odbyła się już około półtora miesiąca temu, a wiele gier i apek VR jest dostępnych od premiery iOS11.