Wajah Muzik: Bagaimana "Pengalir Mata" Membantu Paralytics Rock The Fuck Out

Andreas Refsgaard, pereka interaksi dan pengkarya kreatif yang tinggal di Amsterdam, telah merancang antara muka muzik yang membolehkan orang kurang upaya fizikal membuat muzik. Conductor Eye menggunakan perisian pengesanan mata dan webcam komputer untuk menterjemahkan pergerakan wajah ke dalam komponen komposisi muzik yang berbeza. Pengguna boleh melatih diri untuk memainkan perkara itu dengan wajah mereka, yang bermaksud orang yang lumpuh - orang yang tidak dapat lagi memainkan instrumen - boleh mempunyai peluang kedua untuk membuat bunyi yang indah (atau hanya kuat). Pandangan kanan secara harfiah menyerang akord dengan ciptaan Refsgaard. Ekspresi yang betul menyatakan dengan kuat.

Refsgaard bercakap dengan Songsang tentang motivasi di belakang projeknya, perjuangan yang dia lari sepanjang perjalanan, dan apa yang dia pelajari tentang apa yang dia berikan kepada orang yang kehilangan kemampuan untuk membuat muzik menjadi satu lagi peluang.

Apakah latar belakang anda dengan muzik?

Saya tidak akan memanggil diri saya pemuzik kerana saya hanya bermain untuk keseronokan, tetapi saya bermain gitar dan bass. Ableton adalah program muzik, stesen kerja digital yang serupa dengan perisian rakaman seperti Logic atau Protools atau Garage Band. Saya mengambil kursus, dan saya tidak begitu hebat untuk membuat muzik dengannya tetapi saya terpesona dengan kemungkinan yang saya lihat. Kemudian kami mula bekerjasama dan melakukan beberapa perkara jenis pemasangan yang bersifat artsy di mana dia akan mereka bentuk bunyi dan saya akan menghubungkan sensor, contohnya kamera kedalaman supaya apabila orang berjalan melepasi, mereka akan mengawal beberapa aspek projek.

Jadi anda seorang pereka interaksi dan pengkod kreatif. Bolehkah anda menerangkan maksud tajuk tersebut?

Semua perkara yang saya reka adalah interaktif. Jadi jika saya membuat beberapa jenis perabot, maka ia akan mempunyai beberapa fungsi yang akan membuatnya bertindak balas terhadap sesuatu. Saya juga seorang penanda kreatif. Berbanding dengan banyak orang lain - contohnya saya belajar di Copenhagen di Reka Bentuk Institut Interaksi Copenhagen di mana orang ramai berasal dari banyak latar belakang yang berbeza - saya lebih kepada arah pengkodan. Saya juga memanggil diri saya sebagai "coder kreatif" kerana saya bukan juru kod yang betul. Saya tidak begitu baik tetapi saya boleh melakukan beberapa perkara yang sangat cepat dan saya boleh menyambungkan perkara dan saya pandai membuat idea baru.

Apakah yang memberi inspirasi kepada anda untuk membantu orang kurang upaya fizikal membuat muzik?

Selepas sekolah menengah selama dua atau tiga bulan saya menjadi penjaga bagi seseorang yang mengalami distrofi otot. Bersama-sama dengannya sepanjang masa membuatkan saya menyedari beberapa perkara yang saya tidak dapat membantunya. Salah seorang daripada mereka telah menyatakan dirinya secara kreatif. Bukannya saya fikir, "Baiklah, inilah masalah yang perlu saya selesaikan," kerana pada masa itu saya masih muda dan tidak mempunyai kemahiran profesional. Tetapi ia terjebak dengan saya.

Bagaimana pula dari segi inspirasi teknikal?

Projek yang dikenali sebagai Eyewriter yang saya lihat kira-kira setahun yang lalu adalah satu program lukisan yang direka untuk seorang lelaki yang pernah menjadi artis grafiti tetapi kemudian lumpuh. Beberapa kawannya adalah coder dan membuat alat untuknya dengan penjejakan mata yang membuatnya dapat menarik. Dan sejak saya telah bermain dengan sensor dan barangan dalam perisian muzik, saya membuat sambungan. Saya melakukannya sebagai projek akhir saya di sekolah.

Bagaimanakah muzik menjadi bidang kreatif yang ingin anda pelajari?

Saya fikir mungkin kerana saya menikmati muzik banyak diri saya dan dari segi masa yang saya ada untuk projek itu. Ia hanya menjadi jelas bahawa muzik adalah apa yang saya mahu bekerjasama. Kemudian saya sangat terinspirasi oleh Eyewriter dari segi membuat grafik.

Muzik seolah-olah satu pilihan yang hebat kerana ia universal. Saya tidak boleh berfikir sesiapa yang tidak suka muzik.

Pada mulanya saya benar-benar mahu menguji betapa pentingnya muzik untuk kumpulan yang saya buat. Langkah-langkah awal hanya memerhati bagaimana orang yang kurang upaya fizikal berinteraksi dengan muzik. Satu rumah yang saya lawati mempunyai Muzik Khamis. Ada yang boleh menunjuk sedikit atau bermain sedikit pada papan kekunci, dan ada yang tidak dapat berbuat apa-apa, tetapi hakikatnya mereka muncul untuk Music Thursdays.

Antara memerhati dan kemudian membuat peranti itu, berapa lama ia mengambil?

Selalunya dalam proses reka bentuk mereka akan menjadi dua perkara yang berasingan, tetapi saya tidak suka pendekatan itu. Saya suka membina dari awal dan kemudian apabila saya mempunyai perbualan mengenai apa yang saya bina. Dan kemudian saya mengubah suai atau menyempurnakannya.

Apa yang hendak dilihat oleh orang yang menggunakannya buat kali pertama?

Ia agak bagus, ya. Kerana sesetengah orang tidak dapat bercakap, sambungan boleh jadi sukar. Tetapi ketika mereka menggunakan Konduktor Mata saya, kita sangat berhubung. Mereka memandang saya dan tersenyum atau bertindak sangat gembira atau apabila saya hanya demo'd mereka benar-benar fokus. Ini adalah contoh indah cara muzik dapat membantu orang berinteraksi dan mengekspresikan emosi.

Tanpa terlalu teknikal, apakah masalah terbesar yang anda lalui semasa anda merancang Pemancar Mata?

Untuk sistem yang berfungsi, anda perlu duduk dalam keadaan yang sama seperti yang kita duduk di hadapan komputer riba kita kerana imej yang anda lihat pada saya sekarang adalah lurus dan baik untuk mengesan wajah dan mata saya. Tetapi jika anda bersama seseorang di kerusi roda yang tidak mempunyai kawalan ke atas postur mereka atau belakang atau lehernya, misalnya, maka kadang-kadang mereka akan duduk lebih jauh dan sistem tidak dapat mengesan pergerakan wajah mereka. Dan kemudian kadang-kadang agak tidak selesa untuk saya cuba untuk mengatakan, "Ok untuk ini untuk bekerja anda perlu duduk tegas." Dan kemudian dengan mereka tidak lisan, bagaimana kita berkomunikasi ini?

Jika kepala seseorang dimatikan seperti itu, bolehkah anda secara teori memegang komputer riba dengan cara yang mengambil gerak isyarat mereka?

Yeah. Jadi saya tidak benar-benar menyelesaikan masalah ini tetapi ramai orang mempunyai komputer yang dipasang di kerusi roda mereka dan komputer berada di tiang dan kemudian di tiang itu ada peranti pemasangan dan mereka menyoroknya ke arah yang betul untuk menunjuk pada muka manusia. Tidak ada kedudukan yang betul atau salah, ia hanya mendapat sensor - iaitu webcam dan pelacak mata - untuk menjadi lurus untuk kepala. Itu agak mencabar. Ia adalah lebih daripada satu perkara perkakasan kerana jika tidak, saya perlu mencuba dan membina struktur dan itu akan menjadi kemas. Saya tidak begitu baik pada itu.

Adakah anda melakukan perkara itu sendiri atau adakah anda mengalami masalah teknikal yang hanya orang lain tahu bagaimana untuk menyelesaikannya?

Saya melakukannya sendiri tetapi pada bahagian reka bentuk bunyi saya mendapat bantuan daripada profesor yang saya ceritakan tentang anda. Pada dasarnya hanya barangan reka bentuk yang baik. Saya juga mempunyai seorang penasihat yang memberi saya beberapa petunjuk dari segi bahasa pengaturcaraan yang dipanggil Max, yang dia sangat hebat. Dia hanya membantu saya menjadi lebih selesa dengan butiran pengaturcaraan tertentu. Sudah tentu banyak yang baru tetapi asasnya saya sudah tahu dari pengalaman sebelumnya. Saya membuat Conductor Mata dalam lapan minggu dan orang berkata, "Oh, itulah gila bagaimana anda boleh membuatnya dalam lapan minggu?" Tetapi saya membuat beberapa perkara lain yang juga maju dari segi bekerja dengan sensor dan perisian muzik dan yang telah lama berlanjutan kerana Saya tidak tahu bagaimana untuk melakukannya. Sekarang saya tahu ia tidak begitu sukar, walaupun projek ini lebih rumit. Ia juga penting bagi saya untuk menunjukkan bahawa ia adalah prototaip yang berfungsi sepenuhnya tetapi bukan produk. Jadi orang tidak boleh keluar dan membelinya dan memasangnya di komputer saya.

Saya akan bertanya kepada anda jika anda mempunyai rancangan untuk menjualnya?

Saya sebenarnya tidak mahu menjualnya, saya mahu memberikannya. Saya mahu menjadikannya sebagai sumber terbuka tetapi saya tidak boleh menjanjikan sesuatu sekarang. Saya tidak mempunyai dana untuk itu dan saya mempunyai kerja dan perkara lain yang perlu dilakukan. Saya mendapat mesej dari seorang lelaki di Michigan misalnya yang dulu menjadi pengeluar dan kemudian dia mendapat ALS. Saya harus menjadikannya entah bagaimana tersedia untuk semua orang ini. Ia sangat penting untuk saya pada satu ketika, dan saya tidak boleh menjanjikan apabila tetapi diharapkan dengan segera, pakej dengan cara supaya orang boleh memuat turun semuanya sebagai satu perkara dan ia akan dijalankan pada kebanyakan komputer atau sebenarnya mencubanya dalam pelayar. Idea di sebalik membuatnya sebagai penyemak imbas hanya memerlukan orang untuk mempunyai komputer dengan akses dalam talian dan kemudian mempunyai penggantian apa pun untuk tetikus yang mereka mungkin ada pada komputer mereka. Jika saya menjadikannya sumber terbuka, saya dapat menyediakan demo dasar dan kemudian orang dapat menambah kelainan mereka sendiri untuk menjadikannya sendiri.

Adalah baik untuk mendengar bahawa anda melakukan ini kerana anda mahu membantu orang ramai dan bukan kerana anda ingin menjadi kaya atau seperti itu.

Alat yang saya bina dengan - setidaknya prototaip berfungsi - adalah sumber terbuka. Mengapa saya kemudian mendapat kredit? Contohnya sistem penjejakan muka yang saya gunakan untuk prototaip saya yang membolehkan orang ramai membuat bunyi dengan menaikkan alis mereka atau membuka mulut mereka, itulah satu perkara yang dipanggil FaceOSC dibuat oleh seorang lelaki bernama Kyle McDonald dan itu adalah sistem sumber terbuka. Saya tidak fikir saya akan mendapat sejauh yang saya lakukan tanpa perisian itu.