Cloudflare, web sitelerinin tek tıklamayla AI botlarını engellemesine olanak tanır

Dijital manzarayı değiştiren yapay zeka çağında web sitesi sahiplerinin karşılaştığı yeni sorun, yapay zeka destekli botların içeriklerini izinsiz olarak kazımasıdır. Artan bu endişeyi gidermek için, Bulut parlaması o var ayak Müşterilerin yapay zeka botlarını tek tıklamayla engellemesine olanak tanıyan bir özellik.

AI botları veya kazıyıcıları olarak da bilinen AI botları, internette sistematik olarak gezinmek ve büyük miktarda veri toplamak için tasarlanmış otomatik programlardır. Arama motorlarının içeriği indekslemek için kullandığı geleneksel web botlarının aksine, AI botları genellikle büyük dil modellerini eğitmek veya AI odaklı uygulamaları çalıştırmak için bilgi toplar. Arama motoru botları genellikle robots.txt dosyalarına saygı duymak ve bunları açıkça tanımlamak gibi yerleşik protokolleri izlese de bazı yapay zeka botları bu kurallara uymayabilir.

Üretken yapay zekanın yükselişi, eğitim verilerine olan talebi önemli ölçüde artırarak orijinal web içeriğini her zamankinden daha değerli hale getirdi. Bu durum, telif hakkıyla korunan materyallerin, kişisel bilgilerin ve fikri mülkiyetin izinsiz kullanımına ilişkin endişelere yol açmıştır. Google raporu gibi yüksek profilli olaylar bu sorunları öne çıkardı 60 milyon dolar Reddit’te kullanıcı tarafından oluşturulan içeriğin lisanslanması için yıllık baskı ve yapay zeka şirketlerinin ünlülerin seslerini izinsiz kullandığı yönündeki suçlamalar.

Yapay zeka botları için daha iyi erişim kontrolüne yönelik artan ihtiyacın farkına varan Cloudflare, müşterilerin tüm yapay zeka botlarını tek tıklamayla engellemesine olanak tanıyan yeni bir özellik başlattı. Bu seçenek, ücretsiz katmandakiler de dahil olmak üzere tüm Cloudflare kullanıcılarının kullanımına açıktır. Bu korumayı etkinleştirmek için müşterilerin Cloudflare kontrol panelinin Güvenlik bölümüne gitmeleri ve “AI Kazıyıcılar ve Tarayıcılar” anahtarını açmaları yeterlidir.

Bu özellik dinamik olacak şekilde tasarlanmıştır; Cloudflare, modelleri eğitmek için büyük ölçekli web kazıma gerçekleştirdiği belirlenen hileli botların yeni parmak izlerini işlemek üzere sürekli olarak günceller. Cloudflare, saniyede ortalama 57 milyon isteği işleyen geniş ağından yararlanarak, ortaya çıkan bot etkinliğini hızlı bir şekilde tespit edip yanıt verebilir.

Cloudflare’in yapay zeka botlarının ağındaki hareketine ilişkin analizi bazı ilginç içgörüleri ortaya çıkardı:

1. Sipariş hacmi açısından en aktif AI botları Bytespider, Amazonbot, ClaudeBot ve GPTBot’tur.

2. Bytespider tarafından işletilmektedir. ByteDance (TikTok’un ana şirketi), talep hacmi ve çevrimiçi mülk aramalarının kapsamı açısından lider konumdadır.

3. Çalıştırdığınız GPTBot OpenAITarama etkinliği ve web sitesi sahiplerinin yasaklama sıklığı açısından ikinci sırada yer alıyor.

4. Yapay zeka botları, Cloudflare kullanan en büyük 1 milyon İnternet özelliğinin %39’una erişime sahip olmasına rağmen, bu özelliklerin yalnızca %2,98’i yapay zeka bot isteklerini aktif olarak engelliyor veya bunlara meydan okuyor.

5. En popüler web sitelerinin yapay zeka botları tarafından hedeflenme olasılığı daha yüksektir ve bu nedenle engelleme önlemleri uygulama olasılıkları daha yüksektir.

AI bot trafiğini yönetmedeki zorluklardan biri, bazı operatörlerin sahte kullanıcı aracıları kullanarak botlarını meşru web tarayıcıları olarak gizlemeye çalışmalarıdır. Cloudflare, bu aldatıcı uygulamaları tespit etmek için gelişmiş makine öğrenimi modelleri geliştirdi. Küresel bot kayıt sistemi, kullanıcı aracılarını değiştirseler veya diğer gizleme tekniklerini kullansalar bile, kaçan yapay zeka botlarından gelen trafiği doğru bir şekilde tanımlayabiliyor.

Cloudflare’in yaklaşımı birinci sınıf makine öğrenimi modellerine dayanır ve farklı bot parmak izlerinin ne kadar güvenilir olduğunu anlamak için çeşitli göstergeler üzerinden veri toplar. Bu, her botun parmak izini manuel olarak almak zorunda kalmadan yeni kazıma araçları ve davranışları keşfetmelerine olanak tanıyarak müşterilerin en son bot etkinliği dalgalarından korunmasını sağlar.

Cloudflare, kullanımı kolay bu engelleme özelliğini sağlayarak, web sitesi sahiplerinin içerikleri üzerinde kontrol sahibi olmalarını ve bu içeriğin AI eğitiminde veya uygulamalarında nasıl kullanılacağına karar vermelerini sağlamayı amaçlamaktadır. Bu hamle aynı zamanda yapay zeka şirketlerine içerik oluşturucuların haklarına saygı duymanın ve verileri kullanmak için uygun izinleri almanın önemi konusunda açık bir mesaj gönderiyor.

Cloudflare ayrıca kullanıcıların uygunsuz davranan AI botlarını bildirmeleri için mekanizmalar da sağladı. Kurumsal Bot Yönetimi müşterileri, Bot Analytics aracılığıyla yanlış geri bildirim raporları gönderebilirken, tüm Cloudflare müşterileri, web sitelerini izinsiz olarak kazıyan AI botlarını bildirmek için özel bir raporlama aracı kullanabilir.

Yapay zeka teknolojisi gelişmeye devam ettikçe Cloudflare, bazı yapay zeka şirketlerinin tespit edilmekten kaçınmak için yöntemlerini sürekli olarak uyarlamasını bekliyor. Buna yanıt olarak Cloudflare, AI Scrapers ve Crawlers kurallarını sürekli olarak güncelleyeceğine ve makine öğrenimi modellerini geliştireceğine söz verdi. Amaçları, internetin, içerik oluşturucuların gelişebileceği ve çalışmalarının yapay zeka eğitimi ve uygulamalarında nasıl kullanıldığı üzerinde tam kontrol sahibi olabilecekleri bir yer olarak kalmasını sağlamaktır.

Cloudflare’in bu girişimi, yapay zeka etiği, veri hakları ve dijital çağda içerik oluşturmanın geleceği etrafında devam eden diyalogda önemli bir adımı temsil ediyor. Cloudflare, yapay zeka botlarının erişimini yönetmek için araçlar sağlayarak, içerik yaratıcıları ile yapay zeka geliştiricileri arasında daha şeffaf ve uyumlu bir ilişki kurulmasına yardımcı oluyor; bu da yapay zeka gelişiminin daha sorumlu ve etik uygulamalara doğru yönünü etkileyebilir.