Pozrite si
NVIDIA na konferencii v Kanade ukázala, ako dokáže jej nová technológia využiť video na vytvorenie imaginárneho a interaktívneho prostredia, kde je natočený skutočný svet. V budúcnosti to môže mať veľký prínos pre umelcov a vývojárov.
Na konferencii NeurIPS AI v Montreali ukázala fascinujúcu simuláciu jazdy cez virtuálne mesto. Dokázala to vďaka inteligentnému strojovému učeniu a superpočítaču, v ktorom AI dokáže spracovať video a využiť z neho objekty a scény na vytvorenie interaktívneho prostredia.
Viceprezident divízie aplikovaného hĺbkového vzdelávania NVIDIA, Bryan Catanzano, povedal, že generatívne modely v neurónových sieťach zmenia spôsob vytvárania grafiky. „Umožní to vývojárom, najmä v oblasti hier a automobilov, vytvoriť scény za zlomok tradičných nákladov.“
Catanzano prezradil, že vedci použili videá, ktoré boli zhotovené z niekoľkých dashkamier (kamera zaznamenávajúca jazdu automobilu) a potom ich spracovávali asi týždeň v jednom z firemných superpočítačov DXG-1. Výskumný tím pomocou nástrojov technológie Unreal Engine 4 vytvoril sémantickú mapu scény, ktorá pridelila doslova každému jednotlivému pixelu štítok. Takto sa priradili pixely k jednotlivým objektom, napríklad k automobilu, smetnému košu, lampe, budove, oblohe, ulici. Zhluky pixelov dostali jasne definované hrany, Unreal Engine z nich vytvoril nákres scény a tá sa dostala do neurónového modelu NVIDIE. Tam už dokázala AI aplikovať informácie ktoré mala, takže vedela, že auto je auto, smetný kôš smetný kôš s podobne.
Tento postup sa zdá byť zdĺhavý a nudný. Aby sme sa aj trochu zabavili, aplikovala NVDIA tento spôsob využitia skutočného videa na syntetické a zdokonalila tanec jedného člena z ich tímu ako PSY. Umelá inteligencia dostala za úlohu „vyčistiť“ nedokonalé tanečné pózy. Na videu to môžete vidieť približne od 1:15 minúty.
Výskum NVIDIE však naozaj nie je len prezentáciou toho, čo dokáže jeho technológia, ale bude skutočnou pomocou pre vývojárov, umelcov alebo tvorcov vzdelávacieho obsahu, aby mohli dosiahnuť realistické virtuálne svety. Tým, že nebudú musieť podrobne navrhovať objekty, scény a ľudí, ušetria čas aj peniaze. Po novom im bude stačiť, aby len približne definovali parametre a neurónová sieť to dokreslí za nich.
Samozrejme sa tu hneď vynára otázka, či sa nebude takáto technológia zneužívať. Onedlho totiž môže vyspelá technika ľahko sfalšovať realitu a vydávať ju za skutočnosť. Bryan Catanzano k tejto téme povedal, že hoci ľudia radi vyhľadávajú virtuálne zážitky, väčšinou ich využívajú na dobré veci. Pripustil však, že retušovanie fotografií zneužíval Stalin ešte predtým, než bol Photoshop vôbec naprogramovaný.
Zdroj