Müziğe Yüz Atın: "Göz Kondüktörü" Paralytics'in Fuck Out'u Kayalaştırmasına Nasıl Yardımcı Olur

Amsterdam'da yaşayan bir etkileşim tasarımcısı ve yaratıcı kodlayıcı olan Andreas Refsgaard, fiziksel engelli kişilerin müzik yapmalarını sağlayan bir müzikal arayüz tasarladı. Eye Conductor, yüz hareketlerini farklı müzikal kompozisyon bileşenlerine dönüştürmek için göz izleme yazılımını ve bilgisayarın web kamerasını kullanır. Kullanıcılar kendilerini yüzleriyle oynayacakları bir şekilde eğitebilirler; bu da felçli insanlar anlamına gelir - artık enstrümanlar çalamazlar - güzel sesler çıkarmak için ikinci bir şansları olabilir. Doğru bakış, tam anlamıyla Refsgaard’ın icadıyla bir akor vurur. Doğru ifade kendisini yüksek sesle ifade eder.

Refsgaard konuştu Ters Projesinin ardındaki motivasyon, yol boyunca karşılaştığı mücadeleler ve müziği başka bir şans haline getirme yeteneğini kaybetmiş insanlara ne verdiğini öğrendi.

Müzikli geçmişiniz nedir?

Kendime müzisyen demezdim çünkü sadece eğlenmek için oynuyorum ama gitar ve bas çalıyorum. Ableton bir müzik programıdır, Mantık veya Protokoller veya Garaj Bantları gibi yazılımları kaydetmeye benzer bir dijital iş istasyonu. Bir kursa gittim ve onunla müzik yapmakta o kadar iyi değildim ama gördüklerime hayran kaldım. Daha sonra sesleri tasarlayacağı, daha derinlemesine bir kamera gibi kullanabileceğim, daha derli toplu bir kamera gibi işbirliği yapmaya ve daha ustalık gibi bir şeyler yapmaya başladık, böylece insanlar geçmişte yürürken projenin bazı yönlerini kontrol ediyorlardı.

Öyleyse bir etkileşim tasarımcısı ve yaratıcı kodlayıcısınız. Bu başlıkların ne anlama geldiğini açıklayabilir misiniz?

Tasarladığım her şey etkileşimli. Yani bir tür mobilya yapacak olsaydım, bir şeye tepki vermesini sağlayacak bir işlevi olurdu. Ben de yaratıcı bir kodlayıcıyım. Diğer birçok insanla karşılaştırıldığında - örneğin Kopenhag’da Kopenhag Etkileşim Tasarımı Enstitüsü’nde, insanların birçok farklı geçmişe sahip olduğu - okudum - kodlama tarafında biraz daha fazlayım. Ayrıca kendime “yaratıcı kodlayıcı” diyorum çünkü uygun bir kodlayıcı değilim. Bunda iyi değilim ama bazı şeyleri hızlı bir şekilde yapabilirim ve bazı şeyleri birbirine bağlayabilirim ve yeni fikirlerle gelmekte başarılıyım.

Fiziksel engelli insanlara müzik yapmalarında yardımcı olmak için ilham veren neydi?

İki ya da üç ay boyunca liseden sonra kas distrofisi olan biri için bekçi oldum. Her zaman onunla birlikte olmak, ona yardım edemediğim bazı şeyleri fark etmemi sağladı. Onlardan biri kendini yaratıcı bir şekilde ifade ediyordu. “Tamam, çözmem gereken bir sorun var” diye düşünmedim, çünkü o zaman gençtim ve profesyonel bir yeteneğim yoktu. Ama bana yapışmış.

Teknik ilhamdan ne haber?

Yaklaşık bir yıl önce gördüğüm Eyewriter adlı bir proje, eskiden grafiti sanatçısı olan bir adam için tasarlanmış ancak sonra felç olmuş bir resim programı. Arkadaşlarından bazıları kodlayıcıydı ve onun için çizim yapmasını sağlayan göz takibi ile bir araç yaptı. Ve sonra müzik yazılımındaki sensörler ve eşyalarla uğraştığım için bir bağlantı kurdum. Okuldaki son projem olarak yaptım.

Müzik, keşfetmek istediğiniz yaratıcı alan olarak nasıl sonuçlandı?

Belki de kendim ve proje için geçirdiğim zaman açısından müzikten çok zevk aldığım için düşünüyorum. Çalışmak istediğim şeyin müzik olduğu anlaşıldı. Sonra Eyewriter'dan grafik yapmak konusunda çok ilham aldım.

Müzik evrenseldir, çünkü harika bir seçim gibi görünüyor. Müzikten hoşlanmayan birini düşünemiyorum.

Başlangıçta, tasarladığım grup için müziğin ne kadar önemli olduğunu denemek istedim. İlk adımlar, sadece farklı fiziksel engelli kişilerin müzikle nasıl etkileşime girdiğini gözlemlemekti. Ziyaret ettiğim bir evde Perşembe Müzik vardı. Bazıları klavyeyi biraz gösterebilir veya biraz oynayabilir, bazıları ise hiçbir şey yapamaz, ancak gerçek şu ki, Müzik Perşembe günleri ortaya çıkmaktadır.

Cihazı gözlemlemek ve daha sonra yapmak arasında ne kadar sürdü?

Genellikle bir tasarım sürecinde bunlar iki ayrı şey olur, ancak bu yaklaşımı sevmiyorum. En başından beri inşa etmekten hoşlanıyorum ve sonra ne inşa ettiğimi konuşuyorum. Ve sonra onu değiştirir veya iyileştiririm.

İnsanları ilk kez kullanırken görmek nasıl bir şeydi?

Çok güzeldi, evet. Bazı insanların konuşamadığı için bağlantı zor olabilir. Ama sonra Göz İletkenimi kullandıklarında, gerçekten bağlandık. Bana bakıyorlardı ve gülümsüyorlardı ya da gerçekten mutlu davranıyorlardı. Müziğin insanların etkileşimde bulunmasına ve duygularını ifade etmesine yardımcı olabileceği güzel bir örnekti.

Çok teknik olmadan, Göz İletkenini tasarlarken karşılaştığınız en büyük sorun neydi?

Sistemin çalışması için şu anda dizüstü bilgisayarlarımızın önünde oturduğumuz pozla oturmak zorundasınız çünkü şu anda gördüğüm görüntü düz ve yüzümü ve gözlerimi izlemek için iyi. Fakat tekerlekli sandalyede, duruşunu veya sırtını veya boynunu kontrol edemeyen biriyle birlikteyseniz, bazen daha fazla yanlara otururlar ve sistem yüz hareketlerini izleyemez. Ve sonra bazen, “Tamam bunun çalışması için daha dik oturmak zorundasınız” demeyi denemek benim için biraz rahatsız edici olurdu. Ve sonra sözsüz olmalarıyla, bunu nasıl iletiriz?

Birisi başı böyle yatırılırsa, dizüstü bilgisayarı teorik olarak yüz hareketlerini alacak şekilde tutabilir misiniz?

Evet. Bu yüzden bu sorunu çözmedim ama bir sürü insan tekerlekli sandalyelerine monte edilmiş bilgisayarlara sahip ve bilgisayar bir direğe takılı ve daha sonra o direğe bir montaj cihazı var ve doğru noktaya yönelttiler insanın yüzü. Doğru ya da yanlış bir pozisyon yok, sadece web kamerasını ve göz izleyiciyi algılayıcıların kafayı düz tutması gerekiyor. Bu biraz zor oldu. Daha çok bir donanım meselesiydi çünkü aksi halde bir yapı denemek zorunda kalıyordum ve bu çok karışık olurdu. Bu konuda pek iyi değilim.

Her şeyi kendiniz mi yaptınız veya sadece diğer kişilerin nasıl çözeceğini bildiği teknik meselelerle mi karşılaştınız?

Kendi başıma yaptım ama ses tasarımı tarafında, size bahsettiğim profesörden yardım aldım. Temelde sadece ses tasarım şeyleri. Ayrıca bana gerçekten harika olduğu Max adında bir programlama dili konusunda bazı ipuçları veren bir danışmanım vardı. Sadece bazı programlama detaylarında daha rahat olmamı sağladı. Elbette birçoğu yeniydi ama temellerini daha önce edindiğim deneyimlerden zaten biliyordum. Göz Kondüktörünü sekiz haftada yaptım ve insanlar “Ah bu ne kadar da sekiz haftada bunu yapabilirsin?” Dedi. Ancak sensörler ve müzik yazılımı ile çalışmak konusunda da ileri gelen ve daha uzun süren başka şeyler de yaptım çünkü Nasıl yapacağımı bilemedim. Artık bu projenin daha karmaşık olmasına rağmen, zor olmadığını biliyorum. Tamamen çalışan bir prototip olduğunu ancak bir ürün olmadığını belirtmek benim için de önemli. Böylece insanlar dışarı çıkıp satın alamaz ve bilgisayarıma yükleyemezler.

Sana satmak için planların var mı diye soracaktım?

Aslında satmak istemiyorum, vermek istiyorum. Açık kaynak kodlu bir şey yapmak istiyorum ama şimdi hiçbir şey için söz veremiyorum. Henüz bunun için herhangi bir fonum yok ve işim ve yapacak başka işlerim var. Mesela Michigan'daki bir adamdan bir yapımcı olan ve sonra ALS'yi alan bir adamdan bir mesaj aldım. Bir şekilde tüm bu insanlar için erişilebilir olmasını sağlamalıyım. Bir noktada benim için çok önemli, ve ne zaman ama umarım çok yakında umut veremem, bir şekilde paketleyin, böylece insanların hepsini tek bir şey olarak indirebilir ve çoğu bilgisayarda çalıştırılabilir ya da deneyebilir Tarayıcıda Tarayıcı işlevi yapmanın arkasındaki fikir, insanların yalnızca çevrimiçi erişimi olan bir bilgisayara sahip olmalarını ve daha sonra bilgisayarlarında olabilecek bir fareyle değiştirebilecekleri her şeyi almasını gerektirir. Açık kaynak yaparsam temel demosu sağlayabilirim ve sonra insanlar kendi twist'lerini ekleyebilirler.

Bunu yaptığınızı duymak güzel çünkü insanlara yardım etmek istiyorsunuz, zengin olmak ya da benzeri bir şey yapmak istemiyorsunuz.

Yaptığım aletler - en azından çalışan prototip - açık kaynak. Neden krediyi alayım ki? Örneğin, prototipim için kullandığım, insanların kaşlarını kaldırarak veya ağızlarını açarak ses oluşturmalarını sağlayan yüz izleme sistemi, Kyle McDonald adlı bir adam tarafından yapılan FaceOSC denen ve açık kaynaklı bir sistem. Bu yazılım parçası olmadan elde edebileceğimi sanmıyorum.