Cercetătorii MIT prezintă un nou sistem de viziune computerizată care transformă orice obiect strălucitor într-un fel de cameră: permițând observatorului să vadă în jurul colțurilor sau în spatele obstacolelor.

Informații valoroase și adesea ascunse despre împrejurimile imediate ale unei persoane pot fi obținute din reflectarea obiectului. Reutilizandu-le ca camere, se pot realiza fapte inimaginabile anterior, cum ar fi privirea prin pereti sau in cer. Acest lucru este o provocare deoarece mulți factori influențează reflexiile, inclusiv geometria obiectului, proprietățile materialului, mediul 3D și punctul de vedere al observatorului. Prin deconstruirea geometriei unui obiect și strălucirea internă din radiația speculară care se reflectă asupra acestuia, oamenii pot obține indicii și concluzii profunde despre părțile învăluite ale mediului înconjurător.

Cercetătorii de viziune computerizată de la MIT și Rice au dezvoltat o modalitate de a folosi reflecțiile pentru a produce imagini ale mediului real. Folosind reflexii, ele transformă obiectele strălucitoare în „aparate foto”, dând impresia că utilizatorul privește lumea prin „lentilele” obiectelor obișnuite, cum ar fi o ceașcă de cafea din ceramică sau un presăpac de metal.

Metoda folosită de cercetători implică transformarea obiectelor strălucitoare cu geometrie nedefinită în camere cu câmp de radiații. Ideea principală este de a folosi suprafața obiectului ca senzor digital pentru a înregistra lumina reflectată din mediul înconjurător în două dimensiuni.

Cercetătorii explică că noua sinteză a vederii, prezentând noi perspective care sunt vizibile doar direct obiectului luminos din scenă, dar nu și observatorului, datorită restabilirii câmpurilor de radiații ale mediului. În plus, ne putem imagina aglodrați generați de obiectele din apropiere în scenă folosind câmpul de radiații. Metoda dezvoltată de cercetători este predată de la capăt la capăt prin utilizarea mai multor fotografii ale obiectului pentru a estima simultan geometria, radiația difuză și câmpul de radiație al mediului său 5D.

Cercetarea își propune să separe obiectul de reflexia lui, astfel încât obiectul „să vadă” lumea ca și cum ar fi o cameră și să înregistreze împrejurimile sale. Viziunea computerizată se luptă cu reflexiile de ceva timp, deoarece acestea sunt o reprezentare 2D distorsionată a unei scene 3D de formă necunoscută.

Cercetătorii modelează suprafața obiectului ca un senzor virtual și colectează proiecția bidimensională a câmpului de radiație 5D din jurul obiectului pentru a crea o reprezentare tridimensională a lumii așa cum este văzută de obiect. Cea mai mare parte a câmpului de radiații al mediului este blocată, cu excepția reflexiilor obiectului. Dincolo de câmpul vizual, sintetizarea expunerii romanului sau prezentarea de noi perspective care sunt direct vizibile doar obiectului luminos din scenă, dar nu și observatorului, este posibilă prin utilizarea câmpurilor de radiații ale mediului ambiant, care permit și pentru estimarea adâncimii și luminozității de la obiect la împrejurimile acestuia.

Pe scurt, echipa a făcut următoarele:

• Ele arată cum suprafețele tacite pot fi transformate în senzori virtuali cu capacitatea de a face imagini 3D ale mediului lor folosind doar conuri virtuale.
• Împreună, calculează câmpul de radiație înconjurător 5D al obiectului și estimează radiația difuză a acestuia.
• Ele arată cum să folosești câmpul luminos al mediului înconjurător pentru a genera noi perspective invizibile pentru ochiul uman.

Acest proiect își propune să reconstruiască câmpul de radiații în cinci dimensiuni al oceanului din multe fotografii ale unui element luminos de formă necunoscută și albedo. Stralucirea de la suprafețele reflectorizante dezvăluie elemente ale unei scene în afara câmpului vizual. Mai exact, regulile de suprafață și curbura obiectului luminos determină modul în care imaginile observatorului sunt mapate în lumea reală.

Cercetătorii pot avea nevoie de informații mai precise despre forma obiectului reflectat sau a realității, ceea ce contribuie la denaturare. De asemenea, este posibil ca culoarea și textura unui obiect strălucitor să se amestece cu reflexiile. Mai mult, nu este ușor să discerneți adâncimea în scenele reflectate, deoarece reflexiile sunt proiecții bidimensionale ale unui mediu tridimensional.

Echipa de cercetători a depășit aceste obstacole. Încep prin a fotografia obiectul strălucitor din diferite unghiuri, captând o varietate de reflexii. Orca (Objects Like Radiance-Field Cameras) este un acronim pentru procesul lor în trei etape.

Orca poate înregistra reflecții cu mai multe vizualizări imaginând obiectul din diferite unghiuri, care sunt apoi folosite pentru a estima adâncimea dintre obiectul luminos și alte obiecte din scenă și forma obiectului luminos în sine. Mai multe informații despre puterea și direcția razelor de lumină care vin din fiecare punct din imagine și care lovesc sunt capturate de modelul de câmp de radiații 5D al ORCa. Orca poate face estimări mai precise de adâncime datorită datelor din acest câmp de radiații 5D. Deoarece scena este redată ca un câmp de radiații 5D, mai degrabă decât o imagine 2D, utilizatorul poate vedea detalii care ar fi ascunse de unghiuri sau alte obstacole. Cercetătorii explică că odată ce ORCa a colectat câmpul de radiație 5D, utilizatorul poate plasa o cameră virtuală oriunde în zonă și poate crea imaginea sintetică pe care o va produce camera. Utilizatorul poate schimba, de asemenea, aspectul unui articol, de exemplu din ceramică în metal, sau poate încorpora obiecte virtuale în scenă.

Prin extinderea definiției câmpului de radiații dincolo de câmpul de radiație tradițional, cercetătorii pot deschide noi căi pentru investigarea mediului și a obiectelor din interiorul acestuia. Folosind lățimi și adâncimi virtuale proiectate, lucrarea poate deschide posibilități în inserarea obiectelor virtuale și percepția 3D, cum ar fi extrapolarea informațiilor din afara câmpului vizual al camerei.

scanează hârtie Și Pagina de proiect. Nu uitați să vă alăturați 22k+ML Sub RedditȘi canal de discordieȘi Și Newsletter prin e-mail, unde împărtășim cele mai recente știri despre cercetarea AI, proiecte interesante de AI și multe altele. Dacă aveți întrebări cu privire la articolul de mai sus sau dacă am omis ceva, nu ezitați să ne trimiteți un e-mail la [email protected]

🚀 Consultați instrumentele AI 100 din Clubul de instrumente AI