Araştırmacılar, matris katlarına verimli bir şekilde yaklaşmak için makine öğrenimi tabanlı bir algoritma sunuyor

Matris çarpımı, makine öğrenimindeki en önemli ve zorlu aritmetik işlemlerden biridir. Sonuç olarak, iyi tahmin edilebilen matris çarpımları üzerine birçok araştırma yapılmıştır. Araştırmacılar, bu çalışmada mevcut yöntemlerden çok daha iyi performans gösteren öğrenmeye dayalı bir sistem geliştirmeye çalışıyorlar. Çeşitli alanlardan yüzlerce matris kullanan deneylere göre, gerçek matris ürünlerinden 100 kat ve en popüler yaklaşım algoritmalarından on kat daha hızlı çalışır. Bu yaklaşımın ilginç bir avantajı da, tipik bir senaryo olan, tek bir dizi zaten biliniyorsa sıfır-çift toplamlı işlemler gerektirmesidir.

Bu sonuçlar, son zamanlarda kapsamlı bir şekilde incelenen ve donanıma yatırım yapılan seyrek, faktörlü ve nicel matris ürünlerinden makine öğrenimi için daha umut verici bir temele işaret ediyor: karma, aracılık ve bayt karıştırmanın bir kombinasyonu. Ana zorluk, belirli bir doğruluk düzeyi ile doğrusal işlemlere yaklaşmak için gereken hesaplama süresini azaltmaktır. Satırları örnek olan bir veri matrisi A alındığında ve bu örneklere doğrusal bir B faktörü uygulamak istendiğinde, bu durum makine öğrenmesi ve veri madenciliğinde doğal olarak ortaya çıkar. B, diğer şeylerin yanı sıra, doğrusal bir sınıflandırıcı, doğrusal eğim veya bir atama matrisi olabilir.

Pratik bir örnek olarak, bir sinir ağından elde edilen motifleri kullanarak görüntü etiketlerini tahmin etmek için eğitilmiş bir softmax sınıflandırıcının yaklaşıklığını yapın. Burada B sütunları her kategori için ağırlık vektörlerini temsil ederken, A satırları her görüntü için motifleri temsil eder. AB çarpımını hesaplayarak ve her sonuç satırındaki argmax’ı alarak, sınıflandırma elde edilir. CIFAR-10 ve CIFAR-100 veri setlerinde teknolojimiz en iyi rakiplerini geride bıraktı. Sonuçlar aşağıdaki şekilde gösterilmiştir.

Bunun yerine, MADDNESS1 doğrusal olmayan bir işleme işlevi uygular ve sorunu tablo aramalarına kadar basitleştirir. Ayrıca, B erken bilindiğinde, örneğin yeni verilere eğitilmiş bir doğrusal model uygulandığında, MADDNESS hiçbir toplama çarpması gerektirmez. Yaklaşım, vektör benzerliği araştırma yöntemleriyle yakından ilgilidir. Birden çok çarpma ile pahalı bir niceleme işlevi kullanmak yerine, çarpma eklemeleri olmayan bir nicemleme işlevi seti tanıtıldı.

Makalenin katkıları şu şekilde özetlenebilir:

1. Saniyede 100 gigabayttan fazla veriyi tek bir CPU iş parçacığına kodlayabilen hızlı bir eğitici vektör niceleme algoritmaları ailesi.
2. Düşük bant genişliği için doğru havuzlama tekniği, ani dalgalanmaları, doygunluğu ve taşmayı önler.
3. Bu fonksiyonlara dayalı yaklaşık matris çarpımı için bir yöntem. Yüzlerce farklı matrisle yapılan deneyler, yaklaşımımızın mevcut seçenekleri fazlasıyla aştığını gösteriyor. Ayrıca teorik kalite garantilerini de içerir.

Önemli ampirik sonuç, önerilen MADDNESS yaklaşımının, mevcut AMM yöntemlerine kıyasla bir büyüklük mertebesinde bir hızlanma ve mobilize edilmiş taban çizgisi üzerinde iki büyüklük mertebesine kadar bir hızlanma sağlamasıdır. Diziler ayrıca boyut olarak üç katına kadar sıkıştırılabilir. Bu sonuçlar CPU üzerinde hesaplanır ve yalnızca tek bir matris eğitim seti olduğunda kullanılabilir. Araştırmacılar, yalnızca bir matris diğerinden daha büyük olduğunda ve her iki matris de uzun olduğunda daha yüksek performans iddia ediyor. Bu, yüksek hızlı (ancak daha az hassas) şifreleme işlevinin kullanışlı olduğu sistemdir.

En kapsamlı matris önceden bilindiğinde, yaklaşım kullanışlılığını kaybeder; Bu varsayım, benzerlik aramasında sık görülür ve hızlı bir kodlayıcı işlevine olan ihtiyacı ortadan kaldırır. Yaklaşık tam sayıların ve birleştirilmiş tablo aramalarının toplanması, bu varsayımlardan herhangi biri olmadan bile kullanılabilir olabilir, ancak bunları oluşturmak gelecek için bir görevdir. MADDNESS için kaynak kodu GitHub’da ücretsiz olarak mevcuttur.

This Article is written as a summary article by Marktechpost Staff based on the paper 'Multiplying Matrices Without Multiplying'. All Credit For This Research Goes To Researchers on This Project. Checkout the paper, github.

Please Don't Forget To Join Our ML Subreddit