Cum a învățat-o Amazon pe Alexa să vorbească irlandeză

La fel ca Henry Higgins, vocalistul din piesa lui George Bernard Shaw „Pygmalion”, Marius Kotescu și Georgy Tenchev au arătat recent cum elevul lor încerca să-și depășească dificultățile de articulare.

Cei doi oameni de știință de date, care lucrează ambii pentru Amazon în Europa, predau Alexa, asistentul digital al companiei. Misiunea lor: să o ajute pe Alexa să stăpânească limba engleză cu accent irlandez cu ajutorul inteligenței artificiale și a înregistrărilor de la vorbitori nativi.

În timpul demonstrației, Alexa a vorbit despre o noapte memorabilă. „Petrecerea de aseară a fost atât de nebună”, a spus Alexa în sfârșit, folosind cuvântul irlandez pentru distracție. „Am luat înghețată în drum spre casă și ne-am bucurat să ieșim”.

Domnul Tenchev clătină din cap. Alexa a scăzut „r” în cuvântul „Petrece”, făcând cuvântul să sune plat, ca pah-tee. A concluzionat că era foarte britanic.

Tehnologii fac parte dintr-o echipă de la Amazon care lucrează într-o zonă provocatoare a științei datelor cunoscută sub numele de decodare audio. Este o problemă provocatoare care a căpătat o nouă semnificație pe fondul unui val de dezvoltări ale inteligenței artificiale, deoarece cercetătorii cred că puzzle-ul vorbirii și tehnologiei poate ajuta la ca dispozitivele, roboții și sintetizatoarele de vorbire alimentate cu inteligență artificială să fie mai conversaționale, adică capabile să atragă mulți. jucători regionali. accente.

Confruntarea cu descurcarea fonematică implică mai mult decât înțelegerea vocabularului și a gramaticii. Tonul, timbrul și accentul vorbitorului dau adesea sens exact cuvintelor și greutatea emoțională. Lingviștii numesc această caracteristică de limbă „afișaj” și este ceva ce mașinile au avut greu să stăpânească.

Abia în ultimii ani, datorită progreselor în inteligența artificială, cipurile de calculator și alte dispozitive, cercetătorii au făcut pași în rezolvarea problemei decodării audio, transformând vorbirea generată de computer în ceva mai plăcut urechii.

O astfel de muncă poate converge în cele din urmă cu o explozie de „AI generativă”, au spus cercetătorii, care este o tehnologie care le permite chatboților să-și genereze propriile răspunsuri. Chatbot-uri precum ChatGPT și Bard ar putea într-o zi să opereze în întregime pe comenzile vocale ale utilizatorilor și să răspundă verbal. În același timp, asistenții vocali precum Alexa și Siri de la Apple vor deveni mai conversaționali, ceea ce ar putea trezi interesul consumatorilor pentru un sector tehnologic care pare să fi stagnat, au spus analiștii.

Obținerea asistenților vocali precum Alexa, Siri și Google Assistant să vorbească mai multe limbi a fost un proces costisitor și consumator de timp. Companiile de tehnologie au angajat actori vocali pentru a înregistra sute de ore de vorbire, ceea ce a ajutat la crearea de voci artificiale pentru asistenții digitali. Sisteme avansate de inteligență artificială cunoscute sub denumirea de „modele text-to-speech” – deoarece convertesc textul în vorbire sintetică cu sunet natural – Abia incep sa simplific acest proces.

Tehnologia este „acum capabilă să creeze o voce umană și o voce sintetică bazată pe introducerea textului în diferite limbi, dialecte și dialecte”, a declarat Marion Laborie, strateg șef la Deutsche Bank Research.

Amazon a fost sub presiune pentru a ajunge din urmă concurenți precum Microsoft și Google în cursa inteligenței artificiale. În aprilie, Andy Jassy, ​​CEO al Amazon, a declarat: pentru analiștii de pe Wall Street că compania plănuia să o facă pe Alexa „mai activă și mai vorbitoare” cu ajutorul IA generativă de ultimă oră, Rohit Prasad, om de știință al Amazon pentru Alexa, a spus. a spus el la CNBC În mai, a văzut asistentul vocal ca pe o „AI personală disponibilă instantaneu” activată prin voce.

Irish Alexa și-a făcut debutul comercial în noiembrie, după nouă luni de antrenament pentru a înțelege și apoi a vorbi cu accent irlandez.

„Accentul este diferit de limbaj”, a spus domnul Prasad într-un interviu. Tehnicile AI trebuie să învețe să extragă accent din alte părți ale vorbirii, cum ar fi intonația și frecvența, înainte de a putea reproduce caracteristicile dialectelor locale – de exemplu, poate un „a” fiind mai plat și un „t” pronunțat mai puternic.

Aceste sisteme trebuie să detecteze aceste modele, a spus el, „astfel încât să poată crea un accent complet nou”. „este dificil.”

Mai greu încă încearcă să facă tehnologia să învețe un nou accent aproape singură, dintr-o formă de vorbire care sună diferit. Asta a încercat echipa domnului Cotescu să construiască Alexa irlandeză. Ei s-au bazat foarte mult pe modelul de vorbire existent, cu accente englezești britanice, cu o selecție mult mai mică de accente americane, canadiene și australiene, pentru a-i instrui să vorbească engleza irlandeză.

Echipa s-a confruntat cu diverse provocări lingvistice ale limbii engleză-irlandeză. Irlandezii tind să renunțe la „h” în „th”, pronunțând literele ca „t” sau „d”, de exemplu, făcând „bath” să sune ca „liliac” sau chiar „rău”. Engleza irlandeză este, de asemenea, rhotic, ceea ce înseamnă că litera „r” este pronunțată excesiv. Aceasta înseamnă că „r” din „petrecere” va fi mai pronunțat decât ceea ce ați putea auzi din gura unui londonez. Alexa a trebuit să învețe și să stăpânească aceste caracteristici ale vorbirii.

Engleza irlandeză este „dificilă”, a spus domnul Kotescu, care este român și a fost investigatorul principal al echipei irlandeze a lui Alexa.

Modelele de vorbire care susțin abilitățile verbale ale Alexa au evoluat mai avansat în ultimii ani. În 2020, cercetătorii Amazon predau Alexa Vorbește fluent spaniola De la un model vorbitor de engleză.

Domnul Cotescu și echipa au văzut dialectele drept următoarea frontieră pentru capacitățile de vorbire ale Alexa. Ei au proiectat-o ​​pe Alexa Irish să se bazeze mai mult pe inteligența artificială decât pe actori pentru a-și construi modelul de vorbire. Drept urmare, irlandezul Alexa a fost instruit într-un grup relativ mic – aproximativ 24 de ore de înregistrări de către actori vocali care au recitat 2.000 de discursuri în engleză irlandeză.

La început, când cercetătorii Amazon au prezentat înregistrările irlandeze Alexa irlandeză, care încă învață, s-au întâmplat niște lucruri ciudate.

Uneori, litere și silabe s-au scurs din răspuns. Uneori, „S” sunt lipite împreună. Unul sau două cuvinte, uneori decisive, erau mormăite în mod inexplicabil și de neînțeles. În cel puțin un caz, vocea feminină a lui Alexa a scăzut cu câteva octave, sună mai masculin. Mai rău, vocea masculină suna distinct britanică, genul de prostie care ar putea părea surprinzător în unele case irlandeze.

„Sunt cutii negre mari”, a spus Tenchev, om de știință bulgar și șef al Amazon, despre modelele de vorbire. „Trebuie să ai o mulțime de experiențe la care să te conectezi.”

Aceasta este ceea ce au făcut tehnicienii pentru a corecta derapajul „partizan” al lui Alexa. Au descurcat vorbirea, cuvânt cu cuvânt, sunet (cea mai mică bucată audibilă dintr-un cuvânt) cu sunet pentru a identifica și ajusta cu precizie unde alunecă Alexa. Apoi au alimentat modelul de vorbire irlandez al Alexa cu mai multe date audio înregistrate pentru a corecta eroarea verbală.

Rezultat: „r” este returnat în „partid”. Dar apoi „p” a dispărut.

Așa că oamenii de știință au făcut același proces din nou. În cele din urmă, se concentrează asupra sunetului care conține „p” lipsă. Apoi au reglat mai mult modelul, astfel încât sunetul „p” să revină și „r” să nu dispară. Alexa a învățat în sfârșit să vorbească ca un Dublin.

De atunci, doi lingviști irlandezi – Eileen Vaughan, care predă la Universitatea din Limerick, și Kate Tallon, o doctorandă care lucrează la Laboratorul de fonetică și vorbire de la Trinity College Dublin – au acordat lui Alexa note mari la accentul irlandez. Ei au spus că modul în care Alexa irlandeză a accentuat „r” și a înmuiat „t” sa oprit, iar Amazon a primit accentul corect.

„Mi se pare real”, a spus doamna Tallon.

Cercetătorii Amazon au spus că sunt mulțumiți de feedback-ul în mare parte pozitiv. Modelele lor de vorbire au descurcat accentul irlandez atât de repede, dându-le speranța că accentele ar putea fi replicate în altă parte.

Și au scris în limba lui A Lucrare de cercetare din ianuarie Despre proiectul Alexa irlandez.