Sonarul alimentat de AI pe ochelari inteligenți urmărește privirile și expresiile faciale

Cercetătorii de la Universitatea Cornell au dezvoltat două tehnologii care urmăresc privirea și expresiile faciale ale unei persoane prin senzori asemănător sonarului.

Tehnologia este suficient de mică pentru a se potrivi în ochelari inteligenți comerciali sau în căștile de realitate virtuală (VR) sau de realitate augmentată (AR), dar consumă mult mai puțină energie decât gadgeturile similare care folosesc camere.

Ambele folosesc difuzoare și microfoane montate pe rama ochelarilor pentru a trimite unde sonore inaudibile de pe față și pentru a capta semnalele reflectate generate de mișcările faciale și oculare. Un dispozitiv, GazeTrak, este primul sistem de urmărire a ochilor bazat pe semnale audio. Al doilea, EyeEcho, este primul sistem bazat pe ochelari care detectează continuu și precis expresiile faciale și le recrea printr-un avatar în timp real.

Dispozitivele pot dura câteva ore pe o baterie de sticlă inteligentă și peste o zi pe o cască VR.

„Sunt mici, ieftine și au o putere foarte scăzută, așa că îi puteți purta pe ochelari inteligenți în fiecare zi – nu vă vor descărca bateria”, a spus el. Cheng ChangAnne S., profesor asistent de știința informației la Cornell College. Puterile Informatica si Stiintele Informatiei. direcționează Zhang Laborator de interfețe inteligente pentru computere pentru interacțiuni viitoare (science fiction). Asta a creat noi dispozitive.

„Într-un mediu VR, doriți să recreați expresiile faciale detaliate și mișcările privirii, astfel încât să puteți interacționa mai bine cu alți utilizatori”, a spus Ke Li, doctorand în știința informației, care a condus dezvoltarea GazeTrak și EyeEcho.

Utilizarea semnalelor audio în loc de video prezintă, de asemenea, mai puține probleme de confidențialitate, a spus Lee. „Există multe sisteme bazate pe camere în acest domeniu de cercetare sau chiar pe produse comerciale pentru a urmări expresiile faciale sau mișcările privirii, cum ar fi Vision Pro sau Oculus”, a spus el. „Dar nu toată lumea își dorește camere foto pe dispozitive portabile pentru a captura imagini cu tine și cu împrejurimile tale tot timpul.”

Lee va depune”GazeTrak: Explorarea urmăririi audio a ochilor pe un cadru de sticlă,la Conferința Internațională Anuală privind Calculul și Rețelele Mobile (MobiCom'24), 30 septembrie-4 octombrie.

„Preocupările legate de confidențialitate asociate cu sistemele care utilizează video vor deveni mai importante pe măsură ce căștile VR/AR devin mult mai mici și, în cele din urmă, similare cu ochelarii inteligenți de astăzi”, a spus co-autorul. François Gimbertier, profesor de știința informației la Cornell's Powers CIS și Departamentul de Tehnologie de proiectare interuniversitară. „Deoarece ambele tehnologii sunt atât de mici și eficiente din punct de vedere energetic, vor fi o potrivire perfectă pentru ochelari AR inteligenți și ușori.”

Pentru GazeTrak, cercetătorii au plasat un difuzor și patru microfoane în interiorul fiecărei rame de ochi a unei perechi de ochelari, pentru a sări și a capta undele sonore din globul ocular și din zona din jurul ochilor. Semnalele audio rezultate sunt introduse într-o conductă de învățare profundă personalizată care utilizează inteligența artificială pentru a deduce continuu direcția privirii unei persoane.

GazeTrak nu funcționează încă la fel de bine ca tehnologia sa inovatoare de urmărire a ochilor bazată pe camere, dar noul dispozitiv este o dovadă a conceptului că semnalele audio sunt, de asemenea, eficiente. Cercetătorii cred că pot obține aceeași acuratețe și pot reduce numărul de difuzoare și microfoane necesare, cu îmbunătățiri suplimentare.

Pentru EyeEcho, un difuzor și un microfon stau lângă balamalele ochelarilor, cu fața în jos pentru a capta mișcarea pielii pe măsură ce expresiile faciale se schimbă. Semnalele reflectate sunt interpretate și folosind inteligența artificială.

Folosind această tehnologie, utilizatorii pot efectua apeluri video hands-free prin avatarul lor, chiar și într-o cafenea zgomotoasă sau pe stradă. În timp ce unii ochelari inteligenți au capacitatea de a recunoaște fețele sau de a diferenția între câteva expresii specifice, în prezent, niciunul dintre ei nu urmărește expresiile la fel de continuu ca EyeEcho.

Lee va oferi această lucrare.”EyeEcho: Urmărire continuă, cu putere redusă, a expresiilor faciale pe ochelarila Conferința CHI a Asociației pentru Mașini de Calcul (ACM) privind factorii umani în sistemele de calcul (CHI'24), care a avut loc în perioada 11-16 mai.

Aceste două progrese au aplicații dincolo de îmbunătățirea experienței VR a unei persoane. GazeTrak poate fi folosit cu cititoare de ecran pentru a citi porțiuni de text pentru persoanele cu deficiențe de vedere în timp ce navighează pe un site web.

GazeTrak și EyeEcho pot ajuta, de asemenea, la diagnosticarea sau monitorizarea bolilor neurodegenerative, cum ar fi Alzheimer și Parkinson. În aceste cazuri, pacienții au adesea mișcări anormale ale ochilor și fețe mai puțin expresive, iar acest tip de tehnologie poate urmări progresia bolii din confortul casei pacientului.

La această lucrare au contribuit și mai mulți cercetători Cornell, inclusiv Ruidong Zhang, Mos Sakashita și Saif Mahmood, toți doctoranzi în știința informației; James Chen ’24, Shawn Chen ’24 și Kenny Liang ’24; și Sicheng Yin, student la master la Universitatea din Edinburgh.

Această cercetare este susținută de Fundația Națională pentru Știință și Programul de accelerare a inovației IGNITE.

Patricia Waldron este scriitoare la Cornell Anne S. Puterile Informatica si Stiintele Informatiei.