Deepfakes Makine Öğrenmesiyle Eşleşmiyor - İşte Neden

2018 ara seçim kampanyaları ısınırken, çevrimiçi topluluklar arasında yayılmaya yeni bir yanlış bilgilendirme şekli geliyor. Tekniği popüler hale getiren sözde çevrimiçi hesaptan sonra adı “derin öğrenme” olarak adlandırdı - tekniği “derin öğrenme” olarak adlandırılan teknik bir yöntem kullandığı için adını seçmiş olabilir - bu sahte videolar çok gerçekçi görünüyor.

Şimdiye kadar, insanlar pornografide derin videolar kullandılar ve ünlü kişilerin normalde yapamayacağı şeyleri yaptıklarını göstermek için hicivlerini kullandılar. Ancak, kampanya sezonunda asıl adayın bir şeyleri söylemediğini ya da gidecekleri yerleri gösterme iddiasını öne sürerek, kesin sezon boyunca ortaya çıkacak neredeyse kesin.

Bu teknikler çok yeni olduğu için, insanlar gerçek videolar ve derin görüntüler arasındaki farkı söylemekte güçlük çekiyorlar. Çalışmalarım, meslektaşım Ming-Ching Chang ve doktora programımızla. öğrenci Yuezun Li, derin videolardaki gerçek videoları güvenilir bir şekilde anlatmanın bir yolunu buldu. Kalıcı bir çözüm değil çünkü teknoloji gelişecek. Ancak bu bir başlangıçtır ve bilgisayarların insanların gerçeği söylemekten kurtarabilmelerine yardımcı olacağı umudunu sunar.

Herneyse, “Deepfake” nedir?

Derin bir video çekmek, diller arasında çeviri yapmak gibidir. Google Translate gibi hizmetler, çeviriyi oluşturmak için kullandıkları kelime kullanım modellerini saptamak için makine öğrenmesini - birden fazla dilde onbinlerce metnin bilgisayar analizi - kullanır.

Deepfake algoritmaları aynı şekilde çalışır: Bir kişinin yüz hareketlerini incelemek için derin sinir ağı denilen bir tür makine öğrenme sistemi kullanırlar. Sonra başkalarının yüzündeki görüntüleri benzer hareketler yaparak sentezler. Bunu etkin bir şekilde yapmak, kaynak kişinin yaptığı şeyleri yapan veya söyleyen hedef kişinin bir videosunu oluşturur.

Düzgün çalışamadan önce, derin sinir ağları, kimliğe bürünme kaynağı olan kişilerin fotoğrafları gibi çok sayıda kaynağa ihtiyaç duyar. Derin bir algoritma geliştirmek için kullanılan görüntüler ne kadar çok olursa, dijital kimliğe bürünme o kadar gerçekçi olacaktır.

Yanıp Sönme Algılama

Bu yeni algoritma türünde hala kusurlar var. Onlardan biri, simüle edilmiş yüzlerin nasıl yanıp söndüğü ile ilgilidir - ya da yapmayın. Sağlıklı yetişkin insanlar her iki ila 10 saniyede bir yerlerde gözlerini yumarlar ve tek bir göz kırpma saniyenin onda biri ile dörtte biri arasında sürer. Konuşan bir kişinin videosunda görmek normaldir. Fakat birçok derin sahte videoda olanlar bu değildir.

Bir derin yüz algoritması bir kişinin yüz görüntüleriyle ilgili olarak eğitildiğinde, internette mevcut olan ve eğitim verisi olarak kullanılabilecek fotoğraflara bağlıdır. Sık fotoğraflanan insanlar için bile, gözlerini kapalı olarak gösteren çok az resim çevrimiçidir. Bu kadar nadir fotoğraflar değil, insanların gözleri çoğu zaman açık olduğu için değil, aynı zamanda fotoğrafçılar genellikle ana konuların gözlerinin kapalı olduğu yerlerde görüntüler yayınlamazlar.

Yanıp sönen insanların eğitim görüntüleri olmadan, derin sahte algoritmaların normalde yanıp sönen yüzler oluşturma olasılığı daha düşüktür. Genel yanıp sönme oranını hesapladığımızda ve bunu doğal aralıkla karşılaştırdığımızda, derin sahte videolardaki karakterlerin gerçek insanlarla karşılaştırıldığında daha az yanıp söndüğünü gördük. Araştırmamız videolarda göz açma ve kapamayı incelemek için makine öğrenmeyi kullanıyor.

Ayrıca bakınız: Hollywood Asya-Amerikan Yıldızlarını Oyuncu Seçmeyecek, ancak A.I. Makine Öğrenmesi Yapabilir

Bu bize derin videoları izlemek için ilham veriyor. Daha sonra, videodaki kişinin yanıp söndüğünü tespit etmek için bir yöntem geliştiriyoruz. Daha spesifik olmak gerekirse, söz konusu videonun her bir karesini tarar, içindeki yüzleri algılar ve ardından gözleri otomatik olarak bulur. Daha sonra, gözün görünümünü, geometrik özelliklerini ve hareketini kullanarak algılanan gözün açık mı kapalı mı olduğunu belirlemek için başka bir derin sinir ağı kullanır.

Yaptığımız çalışmaların derin algoritmalar geliştirmek için mevcut olan veri türündeki bir kusurdan faydalandığını biliyoruz. Avın benzer bir kusurdan düşmesini önlemek için, sistemimizi hem açık hem de kapalı gözlerden oluşan geniş bir görüntü kütüphanesinde eğittik. Bu yöntem iyi çalışıyor gibi görünüyor ve bunun sonucunda yüzde 95’in üzerinde bir tespit oranı elde ettik.

Tabii ki, bu derin suları tespit etmenin son sözü değil. Teknoloji hızla gelişiyor ve sahte videolar üretmek ve tespit etmek arasındaki rekabet bir satranç oyununa benziyor. Özellikle, kapalı gözlerle yüz görüntüleri içererek veya eğitim için video dizileri kullanılarak derin sahte videolara göz kırpma eklenebilir. Halkı şaşırtmak isteyen insanlar yanlış videolar yapma konusunda daha iyi olacaklar - ve biz ve teknoloji topluluğundaki diğer kişilerin onları tespit etmenin yollarını bulmaya devam etmemiz gerekecek.

Bu makale, ilk olarak Siwei Lyu'nun Sohbeti üzerine yayınlandı. Orijinal makaleyi buradan okuyun.