Yapay Zeka Algoritmaları Yaş, Cinsiyet ve Cilt Rengiyle Oldukça Oynuyor mu?

Yapay Zeka Algoritmaları Yaş, Cinsiyet ve Cilt Rengiyle Oldukça Oynuyor mu?

Bir algoritma, farklı aydınlatma koşullarında bile farklı yaş, cinsiyet ve ten rengine sahip insanlara eşit muamele ediyor mu? Facebook'un Yapay Zeka Kırmızı Ekibi bugün , bu soruyu yanıtlarken kullanılmak üzere Gündelik Konuşmalar adlı bir veri seti yayınladı  . On terabaytlık veri, 3011 katılımcı tarafından kaydedilen videolardan oluşmaktadır; veri seti, 45.000 dakikadan fazla bir süre için kişi başına yaklaşık 15 adet birer dakikalık bölümden oluşmaktadır. Videolar, her katılımcının bildirdiği yaş ve cinsiyet, standart bir ölçek kullanarak eğitimli ek açıklayıcılar tarafından belirlenen ten rengine ve yine ek açıklamalar tarafından belirlenen aydınlatma koşullarına göre etiketlenir.

Facebook AI Red Team'in araştırma yöneticisi Cristian Canton, veri setinin geliştiriciler tarafından nasıl kullanılabileceğine dair bana basit bir örnek verdi.

"Portal cihazını düşünün," diyor. ( Portal  , Facebook'un 150 dolarlık masa üstü akıllı ekranıdır.) “İçinde insanları izleyen bir kameramız var. Bugün bu teknolojiyi inşa eden mühendis olsaydım, kapsayıcı olduğundan emin olmak için Günlük Konuşmalar veri setini alabilir, portaldaki izleme algoritması aracılığıyla çalıştırabilir ve nerede iyi performans göstermediğini ölçebilirdim. Diyelim ki, belli bir yaş, renk veya cinsiyetteki bir kişi için düşük ışıkta işe yaramadığını fark edebilirsiniz. O zaman algoritmamın belirli bir alt grup için eksikliği olduğunu anlardım. "

Facebook araştırmacıları , dolandırıcı medyayı otomatik olarak tespit etmek için tasarlanmış araçlar geliştirmeye yönelik bir yarışma olan, geçen yılki Deepfake Detection Challenge'ın ilk beş galibi üzerinde test ederek veri setini  denedi .  Bugün yayınlanan bir araştırma makalesi ve  blog gönderisinde , beş algoritmanın tümü daha koyu ten tonlarıyla mücadele ederken, yaş, cinsiyet ve aydınlatma koşulları boyutlarında en tutarlı performans gösteren modelin ilk sırada yer alan Selim Seferbekov olmadığını, ancak daha ziyade üçüncü sırada yer alan NTechLab takımı. Dördüncü sırada yer alan Onsekiz Yaşındaki ekip, ironik bir şekilde, 45 yaşın üzerindeki en yaşlı gruptaki deneklerin videolarını analiz etmede en iyisi oldu.

Tam Casual Conversations veri kümesi henüz mevcut olmadığından, farklı demografilerde eşit şekilde performans sergilemek, Derin Sahte Mücadelesi için değerlendirme kriterlerinin bir parçası değildi.

Canton, "Bugün rekabeti yeniden düzenleseydik, belki daha kapsayıcı bir yaklaşım aramayı düşünebilirdik." Dedi.

Canton, bu hafta yayınlanan Casual Conversations veri kümesinin, AI'da adalet yaratmak için gereken çalışmanın sadece başlangıcı olduğunu söylüyor. Birincisi, sorunun çok yönlü olduğunu ve bu tür verilere sahip olmak yardımcı olsa da, her şeyin nihai çözümü olmadığını belirtiyor.

Veri kümesi geliştirmenin kendisine gelince, diyor ki, takım "uzun bir yolculuğun ilk adımında. Yaşı, cinsiyeti, cilt tonunu ve ışık koşullarını belirledik, ancak [bu videoların hepsi] ABD'de kaydedildi Belki başka ülkelerde kayıt yaparsak, henüz görmediğimiz çeşitlilik eksenlerini dikkate almamız gerektiğini görebiliriz. "

Canton, kayıtların ses kısmının da kullanılmayan potansiyeli temsil ettiğini belirtti. Deneklerden "En sevdiğiniz yemek nedir" gibi basit konuşma istemlerine yanıt vermeleri istenerek oluşturulan ses dosyaları şu anda yalnızca yaş ve cinsiyet için etiketlenmiştir.

"Aksanları henüz açıklamadık, ancak bu gelecekteki uygulamalar için potansiyel bir yol. Bunun konuşma kısmından bazı ilginç sonuçlar olacağını düşünüyoruz. Ses modellerinin kapsayıcılığını test etmek istiyoruz. "

Canton, bu verileri doğaya yaymanın, veri kümesini daha zengin ve daha kapsayıcı hale getirmek için kullanılabilecek geri bildirimleri ortaya çıkaracağını umuyor. “Evlat edinmeyi görmeyi çok isterim ve ardından meslektaşlarım ve akademisyenlerimin bize ne düşündüklerini söylemelerini isterim. Kendimizi eleştirmek istiyoruz. Geri bildirimlerle onu geliştirmeye devam edebiliriz. Yapay zeka adaletini ölçmenin standart bir yolu olmasını umuyoruz. "

Canton ayrıca bu veri setinin geliştirilmesinin yeni bir standart oluşturacağını umuyor. Sorumlu bir şekilde elde edildiği gerçeği de dahil olmak üzere, bu veri setinin oluşturulma biçiminden gurur duyuyor. Konuşmamız sırasında, 3000'den fazla denek için çabalarının karşılığını aldığını, ses ve video görüntülerinin nasıl kullanılacağı konusunda tamamen bilinçlendirildiğini ve katılım konusunda fikirlerini değiştirirlerse daha sonra geri çekilebileceklerini birkaç kez vurguladı.

"Sorumlu yapay zekanın gelecekte nasıl görünmesi gerektiğine dair standardı belirlemeye çalışıyoruz" diyor ve Facebook ekibinin "veri setlerini kaydeden diğer insanlara ilham vermek istediğini" ekliyor. Doğru şeyleri yapmak ve doğru araçları kullanmak önemlidir. "

What's Your Reaction?

like
0
dislike
0
love
0
funny
0
angry
0
sad
0
wow
0