Cel mai recent generator video AI de la Google poate arăta animale drăguțe în situații neplauzibile

Google a anunțat marți Lumiereun generator video AI numit „Model de difuzie spațiu-timp pentru generarea video realistă” în Foaie de pretipărire însoțitoare. Dar să nu ne păcălim: face o treabă grozavă de a crea videoclipuri cu animale drăguțe în scenarii stupide, cum ar fi folosirea patinelor cu rotile, conducerea unei mașini sau cântând la pian. Sigur, poate face mai mult, dar este probabil cel mai avansat generator video alimentat cu inteligență artificială text-to-animal de până acum.

Potrivit Google, Lumiere folosește o structură unică pentru a genera întreaga durată a unui videoclip dintr-o singură mișcare. Sau cum a spus compania: „Oferim o arhitectură U-Net Space-Time care generează întreaga durată temporală a unui videoclip dintr-o dată, printr-o singură trecere în model. Acest lucru este în contrast cu modelele video existente care asambla- cadre cheie la distanță urmate de rezoluție temporală ultra-înaltă – „Este o abordare care îngreunează obținerea coerenței globale a timpului”.

În termeni simpli, tehnologia Google este concepută pentru a gestiona simultan aspecte ale spațiului (unde sunt lucrurile în videoclip) și ale timpului (cum se mișcă și se schimbă lucrurile pe parcursul videoclipului). Așadar, în loc să creeze un videoclip prin unirea mai multor părți mici sau cadre, poate crea întregul videoclip, de la început până la sfârșit, într-un singur proces fără întreruperi.

Lumiere poate face și o mulțime de trucuri de petrecere, care sunt frumos așezate cu exemple Pagina demonstrativă Google. De exemplu, poate efectua conversie text în video (conversia unei solicitări scrise într-un videoclip), poate converti imagini statice în clipuri video, poate crea videoclipuri în stiluri specifice utilizând o imagine de referință, poate aplica o editare video consecventă folosind solicitări bazate pe text și crea Segmente cinematografice Prin mutarea unor zone specifice ale imaginii și afișarea videoclipului com. inpictura Abilități (de exemplu, pot schimba tipul de rochie pe care o poartă o persoană).

În lucrarea Lumiere, cercetătorii Google au raportat că modelul AI produce videoclipuri de cinci secunde la o rezoluție de 1024 x 1024 pixeli, pe care le descriu drept „rezoluție joasă”. În ciuda acestor limitări, cercetătorii au efectuat un studiu asupra utilizatorilor și au susținut că rezultatul lui Lumiere este preferabil modelelor de sinteză video bazate pe inteligență artificială.

În ceea ce privește datele de antrenament, Google nu a spus de unde a obținut videoclipurile pe care le-a introdus în Lumiere, scriind: „Ne antrenăm propriul dispozitiv T2V”. [text to video] Modelați pe un set de date care conține 30 de milioane de videoclipuri împreună cu legenda lor. [sic] Videoclipurile au o lungime de 80 de cadre la 16 fps (5 secunde). Modelul de bază a fost antrenat pe 128 x 128.”

Videoclipul generat de AI este încă într-o stare incipientă, dar a progresat în calitate în ultimii doi ani. În octombrie 2022, am acoperit primul model de compoziție de imagini dezvăluit public de Google, Imagen Video. Poate crea videoclipuri scurte de 1280 x 768 dintr-un prompt tastat la 24 de cadre pe secundă, dar rezultatele nu au fost întotdeauna consistente. Înainte de asta, Meta și-a lansat propriul generator de video AI, Make-A-Video. În iunie anul trecut, modelul de compoziție video Gen2 de la Runway a permis crearea de videoclipuri de două secunde din mesaje text, creând reclame suprareale, satirice. Și în noiembrie, am acoperit Stable Video Diffusion, care poate crea clipuri scurte din imagini statice.

Companiile de inteligență artificială oferă adesea generatoare video de animale drăguțe, deoarece generarea de oameni coerenți, nedistorsionați este dificilă în prezent, mai ales că noi, oamenii (sunteți oameni, nu?) suntem buni să observăm orice imperfecțiuni în corpul oamenilor sau în modul în care se mișcă. Uită-te doar la Will Smith, generat de inteligență artificială, care mănâncă spaghete.

Judecând după exemplele Google (și nu le folosim noi înșine), Lumiere pare să depășească alte modele de creare video bazate pe inteligență artificială. Dar, deoarece Google tinde să-și țină modelele de cercetare AI aproape de piept, nu suntem siguri când publicul va avea șansa de a-l încerca singur.

Ca întotdeauna, când vedem că modelele de sinteză text-to-video devin mai capabile, nu putem să nu ne gândim… Implicații viitoare Pentru societatea noastră online, care se referă la partajarea elementelor media – și ipoteza generală că videoclipurile „realiste” reprezintă de obicei lucruri reale în situații reale surprinse cu camera. Viitoarele instrumente de compoziție video de la Lumiere vor face extrem de ușoară crearea de deepfake-uri înșelătoare.

În acest scop, cercetătorii au scris în secțiunea „Impactul social” a lucrării Lumiere: „Scopul nostru principal în această lucrare este de a permite utilizatorilor începători să creeze conținut vizual într-un mod creativ și flexibil. [sic] Cu toate acestea, există riscul unei utilizări abuzive pentru a crea conținut fals sau dăunător folosind tehnologia noastră și considerăm că este necesar să dezvoltăm și să implementăm instrumente pentru a detecta părtinirile și cazurile de utilizare dăunătoare pentru a asigura o utilizare sigură și corectă.