Tüketici cihazlarını kullanarak gerçek zamanlı tam vücut hareketini yakalamak için yeni bir sistem

Northwestern Üniversitesi mühendisleri tüm vücut hareketini yakalamak için yeni bir sistem geliştirdi; Özel odalara, pahalı ekipmanlara, büyük kameralara veya bir dizi sensöre ihtiyaç duymaz.

Bunun yerine basit bir mobil cihaz gerektirir.

MobilePoser adı verilen yeni sistem, akıllı telefonlar, akıllı saatler ve kablosuz kulaklıklar da dahil olmak üzere tüketici mobil cihazlarında halihazırda yerleşik olan sensörlerden yararlanıyor. Sensör verileri, makine öğrenimi ve fiziğin bir kombinasyonunu kullanan MobilePoser, bir kişinin tüm vücut duruşunu ve uzaydaki küresel çeviriyi gerçek zamanlı olarak doğru bir şekilde izler.

Northwestern’den Karan Ahuja şunları söyledi: “Mobil cihazlarda gerçek zamanlı olarak çalışan MobilePoser, gelişmiş makine öğrenimi ve fizik tabanlı optimizasyon yoluyla en üst düzeyde doğruluk elde ederek oyun, fitness ve iç mekan navigasyonunda özel ekipmanlara ihtiyaç duymadan yeni olanaklar sunuyor.” . Çalışmayı kim yönetti?

Bu teknoloji, mobil hareket yakalamaya yönelik büyük bir atılımı temsil ediyor, sürükleyici deneyimleri daha erişilebilir hale getiriyor ve çeşitli sektörlerde yenilikçi uygulamaların kapılarını açıyor.

Karan Ahuja, Kuzeybatı Üniversitesi

Ahuja ekibi MobilePoser’ı 15 Ekim’de Pittsburgh’daki 2024 ACM Kullanıcı Arayüzü Yazılımı ve Teknolojileri Sempozyumunda tanıtacak. “MobilePoser: Mobil tüketici cihazlarındaki IMU’lardan gerçek zamanlı tüm vücut poz tahmini ve 3 boyutlu insan çevirisi”, “Girdi Olarak Pozlar” konulu bir oturumun parçası olarak gerçekleştirilecek.

İnsan-bilgisayar etkileşimi konusunda uzman olan Ahuja, Northwestern Üniversitesi McCormick Mühendislik Okulu’nda Lisa Wiesner Slivka ve Benjamin Slivka Bilgisayar Bilimleri alanında Yardımcı Doçenttir ve burada Algılama, Algı, Etkileşimli Hesaplama ve Deneyim (SPICE) Laboratuvarını yönetmektedir.

Mevcut sistemlerin sınırlamaları

Film meraklılarının çoğu, genellikle kamera arkası çekimlerinde ortaya çıkan hareket yakalama tekniklerine aşinadır. CGI karakterleri oluşturmak için -; “Yüzüklerin Efendisi”ndeki Gollum veya “Avatar”daki Na’vi gibi -; Oyuncular özel odalarda dolaşırken sensörlerle kaplı dar elbiseler giyiyorlar. Bilgisayar, sensör verilerini yakalar ve ardından oyuncunun hassas hareketlerini ve ifadelerini görüntüler.

Ahuja, “Bu, hareket yakalama için altın standarttır, ancak bu kurulumu çalıştırmanın maliyeti 100.000 dolardan fazladır” dedi. “Herkesin halihazırda sahip olduğu ekipmanlarla kullanabileceği, demokratik, erişilebilir bir versiyon geliştirmek istedik.”

Örneğin Microsoft Kinect gibi diğer hareket algılama sistemleri, vücut hareketlerini algılayan sabit kameralara dayanır. Kişi kameranın görüş alanı içerisindeyse bu sistemler iyi çalışır. Ancak mobil uygulamalar veya hareket halindeyken pratik değiller.

Durumların tahmini

Ahuja’nın ekibi bu sınırlamaların üstesinden gelmek için bir dizi sensör kullanan bir sistem olan eylemsiz ölçüm birimlerine (IMU’lar) yöneldi; İvmeölçerler, jiroskoplar ve manyetometreler -; Vücudun hareketini ve yönünü ölçmek için. Bu sensörler zaten akıllı telefonların ve diğer cihazların içinde bulunuyor ancak çözünürlükleri, hassas hareket yakalama uygulamaları için yeterli olamayacak kadar düşük. Performanslarını artırmak için Ahuja’nın ekibi, yüksek kaliteli hareket yakalama verilerinden oluşturulan sentezlenmiş IMU ölçümlerinden oluşan geniş, halka açık bir veri kümesi kullanarak eğittikleri, özel olarak tasarlanmış çok aşamalı bir yapay zeka algoritması ekledi.

MobilePoser, sensör verilerini kullanarak nesnenin hızlanması ve yönelimi hakkında bilgi edinir. Daha sonra bu verileri, eklem konumlarını ve dönüşünü, yürüme hızını ve yönünü ve kullanıcının ayağı ile yer arasındaki teması tahmin eden bir yapay zeka algoritması aracılığıyla besliyor.

Son olarak MobilePoser, tahmin edilen hareketleri iyileştirmek ve bunların gerçek hayattaki vücut hareketleriyle eşleştiğinden emin olmak için fizik tabanlı bir optimize edici kullanıyor. Örneğin gerçek hayatta eklemler geriye doğru eğilemez ve kafa 360 derece dönemez. Fizik optimize edici, yakalanan hareketlerin fiziksel olarak imkansız şekillerde hareket edememesini sağlar.

Ortaya çıkan sistemin izleme hatası yalnızca 8 ila 10 santimetredir. Karşılaştırıldığında, Microsoft Kinect’in, kullanıcının kameranın görüş alanı içinde kaldığı varsayıldığında, 4 ila 5 santimetrelik bir izleme hatası vardır. MobilePoser ile kullanıcı dolaşımda özgürdür.

Ahuja, “Bir kişi bileğinde akıllı saat ve cebinde akıllı telefon gibi birden fazla cihaz taktığında doğruluk daha iyidir” dedi. “Ancak sistemin en önemli kısmı uyarlanabilir olmasıdır. Bir gün saatiniz olmasa ve yalnızca telefonunuz olsa bile, sistem tüm vücut duruşunuzu öğrenecek şekilde uyum sağlayabilir.”

Potansiyel kullanım durumları

MobilePoser oyunculara daha sürükleyici deneyimler sunarken, yeni uygulama aynı zamanda yeni sağlık ve fitness olanakları da sunuyor. Kullanıcının egzersiz sırasında formunun doğru olduğundan emin olabilmesi için tüm vücut pozisyonunu görebilmesi için konu sadece adım saymakla sınırlı değildir. Yeni uygulama aynı zamanda doktorların hastaların hareketliliğini, aktivite düzeyini ve yürüyüşünü analiz etmesine de yardımcı olabiliyor. Ahuja ayrıca teknolojinin iç mekan navigasyonu için de kullanılabileceğini düşünüyor; Şu anki zayıf nokta, yalnızca açık havada çalışan GPS’tir.

Ahuja, “Şu anda doktorlar bir hastanın hareketini adımsayar kullanarak takip ediyor” dedi. “Bu çok üzücü, değil mi? Telefonlarımız Roma’daki sıcaklığı hesaplayabiliyor. Dış dünya hakkında, vücudumuz hakkında bildiklerinden daha fazlasını biliyorlar. Telefonların akıllı adım ölçerlerden daha fazlası olmasını istiyoruz.” farklı aktiviteleri tespit edin, duruşlarınızı belirleyin ve daha proaktif bir yardımcı olun.”

Ahuja’nın ekibi, diğer araştırmacıları bu çalışmayı geliştirmeye teşvik etmek için önceden eğitilmiş modellerini, veri ön işleme komut dosyalarını ve model eğitim kodunu açık kaynaklı yazılım olarak yayınladı. Ahuja ayrıca uygulamanın yakında iPhone, AirPods ve Apple Watch için de kullanıma sunulacağını söylüyor.