Gelişmiş kamera teknolojileri ve sofistike algoritmalar, sesin görünür dünyadaki fiziksel izlerini ortaya çıkarma potansiyeli sunarak, ses dinleme yöntemlerinde devrim yaratıyor. Bu yeni yaklaşım, ses dalgalarının temas ettiği her yüzeyde yarattığı mikroskobik titreşimleri yakalamayı temel alır. Bu titreşimler, bir cips paketi, bitki yaprağı veya su gibi nesnelerde o kadar küçük boyutludur ki insan gözüyle fark edilemezler. Ancak yüksek hızlı kameralar, saniyede binlerce kare kaydederek bu minik hareketleri dondurur ve analiz eder.
Araştırmacılar, bu video karelerindeki piksellerdeki konum değişikliklerini hesaplayarak, bu veriyi orijinal ses dalgasını yeniden oluşturmak için kullanır. MIT, Microsoft ve Adobe’nun ortaklaşa yürüttüğü çalışmalar, ses geçirmez bir camın arkasında bulunan bir cips paketinin görüntüsünden, 4,5 metre uzaklıktaki bir konuşmanın net bir şekilde geri kazanılmasını başarmıştır. Bu süreçte, nesnenin sadece bir pikselin binde biri kadar hareket etmesi bile, sesin yeniden oluşturulması için yeterli bilgi sağlar.
Teknolojinin temelinde, piksellerdeki renk ve ışık değişimlerinin zamana bağlı analizi yatar. Bir nesne titrediğinde, üzerine düşen ışığın piksellerdeki yoğunluğu çok küçük bir miktar değişir. Özel yazılımlar, bu değişimleri filtreleyerek gürültüyü ortadan kaldırır ve saf ses verisini elde eder. Saniyede 2000 kare ve üzeri çekim yapan kameralar, insan sesinin tüm frekans aralığını yakalayabilirken, daha düşük kare hızına sahip akıllı telefonlar bile ortamdaki müziğin ritmini veya bas seslerini analiz edebilir.
Bu yöntem, özellikle alüminyum folyo, plastik ambalajlar ve bitki yaprakları gibi esnek ve hafif nesnelerde daha etkili bir performans gösterir. Camın arkasından yapılan çekimlerde bile, camın kendisi değil, içerideki nesnelerin titreşimleri kaydedilir. Bu durum, fiziksel olarak erişilemeyen veya ses yalıtımı yapılmış odalardaki sesli bilgilerin, bir pencere aralığından çekilen video ile elde edilmesini mümkün kılar.
Görüntüden ses çıkarma teknolojisi, siber güvenlik ve casusluk faaliyetleri gibi alanların yanı sıra adli tıp ve mühendislik alanlarında da yeni olanaklar sunmaktadır. Bir suç mahallindeki güvenlik kamerası kayıtları, ortamda ses kaydı olmasa bile sessiz bir tanık olarak olay anındaki konuşmaları kaydedebilir. Bu teknolojinin gelişmesiyle birlikte, herhangi bir nesnenin pikselleri üzerinden ses analizi, gelecekte rutin bir veri işleme prosedürü haline gelebilir.
