200 MİLYON DOMAIN TARANDI
Bir web sitesi buldum. Arkasındaki ağı merak ettim.
İnternette karşılaştığınız bir site, daha büyük bir yayıncı ağının parçası olabilir. Farklı isimler, farklı tasarımlar, farklı ülkeler… Peki aralarındaki bağlantıyı nasıl bulursunuz?
Yaklaşık 200 milyon domaini taradım. Geliştirdiğim paralel .NET spider ile sitelerin ads.txt dosyalarını inceledim. Bu dosyalardaki reklam yayıncı kimliklerinden, domainler arasındaki bağlantıları çıkardım.
Ortaya Pubatlas çıktı: Bir domain girerek aynı publisher kimliğiyle ilişkili diğer siteleri keşfedebildiğiniz; kayıtlı trafik tahminlerini, ülkelerini ve anahtar kelimelerini inceleyebildiğiniz bir araştırma aracı.
| Taranan kaynak | Toplam tarama süresi | Günlük ortalama | Geliştirdiğim araç |
|---|---|---|---|
| ≈200 milyon domain | ≈20 gün | ≈10 milyon domain / gün | Paralel .NET spider |
Bir publisher kimliğiyle ilişkili altı domain. Ekrandaki 28.766.342 aylık organik trafik tahmini, trafik verisi bulunan iki sitenin toplamı; altı sitenin tamamının trafiği değil. Ekran görüntüsü: 21 Ekim 2026.
Bir siteyi incelemekten, bir ağı keşfetmeye
Diyelim ki arama sonuçlarında ilginç bir hesaplama aracı buldunuz. Ne yaptığını, nasıl tasarlandığını ve hangi ihtiyacı karşıladığını incelediniz.
Peki aynı yayıncı kimliği başka nerelerde kullanılıyor? Başka araç sitelerinde mi? Farklı dillerde içerik projelerinde mi? Daha önce hiç karşılaşmadığınız domainlerde mi?
Pubatlas bu sorunun peşinden gitmenizi sağlıyor:
Araştırma artık tek bir sitenin sınırlarında kalmıyor. İlişkili domainleri açabiliyor, veri bulunan sitelerin trafiklerini karşılaştırabiliyor ve hangi konularda çalıştıklarını inceleyebiliyorsunuz.
Benim bu projeyi geliştirme amacım da buydu: Yeni web sitesi ve içerik fırsatlarını araştırırken, tek tek sitelerin ötesindeki bağlantıları görebilmek.
Ortak publisher kimliği bir araştırma sinyali. Tek başına sitelerin aynı kişi veya şirkete ait olduğunu kanıtlamıyor; ortak reklam yönetimi ve aracılık ilişkileri de bu bağlantıyı oluşturabiliyor.
Gerçek bir araştırma akışı: calculator.net → publisher ağı → unitconverters.net
Başlangıç: calculator.net kaydından publisher kimliğine ve ilişkili altı domaine geçilebiliyor.
Ağ görünümünde calculator.net, unitconverters.net, math.net ve diğer ilişkili domainler birlikte listeleniyor. Eksik trafik verileri sıfır olarak gösterilmiyor.
Sonraki adım: unitconverters.net kaydında 2.392.247 aylık organik trafik tahmini, ülke dağılımı ve anahtar kelimeler incelenebiliyor. Bu kayıtlı tahminin tarihi 22 Eylül 2026. Ortak publisher kimliği, tek başına ortak sahiplik kanıtı değildir.
Bunun için 200 milyon kapıyı çaldım
Başlangıçta yaklaşık 200 milyon domain içeren hazır bir veri seti satın aldım. Elimde geniş bir liste vardı. Bu domainleri, reklam yayıncılığı üzerinden ilişkilendirebileceğim bir yapıya dönüştürmek istiyordum.
Bunun için paralel çalışan bir .NET console spider geliştirdim. Spider domainlerin ads.txt dosyalarını taradı. Kaynak listedeki yaklaşık 200 milyon domainin tamamı, yaklaşık 20 günde taramadan geçirildi. Bu toplam kapsam ve süreden hesaplanan günlük ortalama yaklaşık 10 milyon domain ediyor.
Her domain kullanılabilir bir sonuç vermedi. Bazı siteler erişilemiyordu, bazılarında ads.txt dosyası yoktu. Çıkarabildiğim publisher ilişkileri, Pubatlas’ın ilk veri katmanını oluşturdu.
200 milyon, taranan kaynak domain sayısıdır. Bugünkü veritabanında 200 milyon doğrulanmış ilişki bulunduğu anlamına gelmez.
Bugün bu veri nasıl besleniyor?
İlk tarama bağlantı zeminini oluşturdu. Sonrasında iki ihtiyaç öne çıktı: Bu ilişkiler hâlâ geçerli mi ve ilişkili siteler ne kadar trafik alıyor?
Bugün veriyi iki yoldan geliştiriyorum:
- Geliştirdiğim Chrome/Edge eklentisi: Birden fazla tarayıcı sekmesinde trafik tahmini, ülke ve anahtar kelime verilerinin toplanmasını sağlıyor. Doğrulama gereken sekmeler operatörü beklerken diğer çalışanlar ilerleyebiliyor.
- Site içi aramalarla yeni domain keşfi: Pubatlas’ta araştırdığım bir domain henüz veritabanında yoksa sistem domaini kaydedip ads.txt kontrolünü yapıyor. Belirlenebilen publisher ilişkisi üzerinden diğer sitelere geçebiliyorum. Böylece uygulamayı kullanırken yeni domainler de araştırma havuzuna katılıyor. Bu adım publisher ilişkisini araştırıyor; trafik verisi toplama süreci ayrıca yürütülüyor.
İlk büyük tarama başlangıç havuzunu oluşturdu. Tarayıcı eklentisi bu havuzu trafik sinyalleriyle zenginleştirirken, site içindeki araştırmalar yeni domainleri ve bağlantıları görünür hâle getiriyor.
İşin teknik olarak zor kısmı
Aynı işi iki çalışana vermemek
Paralel sekmeler açmak, işlerin doğru paylaşılmasını tek başına çözmüyor. İki çalışan aynı domaini alabilir veya eski bir sekme gecikmiş sonuç gönderebilir.
Sunucu bu yüzden her işe süreli bir atama kimliği veriyor. İş sahipliği koşullu veritabanı güncellemeleriyle kuruluyor. Sonuç geldiğinde atamanın hâlâ geçerli olduğu kontrol ediliyor; süresi dolmuş veya başka çalışana geçmiş atamanın sonucu reddediliyor.
Kesintiden sonra devam edebilmek
Tarayıcı eklentisi, göndereceği sonuçları önce yerel olarak saklıyor. Bağlantı kesilirse yeniden göndermeyi deneyebiliyor. Süresi dolan işler tekrar alınabilir hâle geliyor.
Yeni bir hata yüzünden eski veriyi kaybetmemek
Bir sitenin bugün yanıt vermemesi, geçmişteki publisher ilişkisinin kesin olarak bittiğini göstermiyor. Benzer şekilde trafik veya ülke alanının eksik gelmesi, önceki değerin sıfırlanmasını gerektirmiyor.
Bu nedenle geçici hatalar, eksik sonuçlar ve ilişki değişiklikleri ayrı değerlendiriliyor. Güncel domain durumu ve ilişki geçmişi tutuluyor; geçersiz yeni sonuçların mevcut snapshot’ı silmesi önleniyor.
Ekranın arkasındaki yapı
| Bileşen | Teknoloji / görev |
|---|---|
| İlk büyük tarama | Paralel .NET console spider |
| Web uygulaması | .NET 8, ASP.NET Core MVC |
| Veri katmanı | Entity Framework Core, MySQL |
| Tarayıcı toplayıcısı | JavaScript, Manifest V3 |
| Güncel veri akışı | Tarayıcı eklentisi, API ve arama sırasında ads.txt kontrolü |
| Doğrulama | İzole entegrasyon ve eklenti testleri |
Araştırma ekranı bu altyapıyı domain/publisher araması, site listeleri, trafik sıralaması, filtreler ve CSV aktarımıyla kullanılabilir hâle getiriyor. Notlar ve favoriler de araştırmaya daha sonra devam etmeyi sağlıyor.
Trafik rakamları dış kaynakların tahminleri; sitelerin doğrudan analitik verileri değil. Mevcut model son trafik snapshot’ını tutuyor. Network toplamları da yalnızca veri bulunan sitelerin kapsamıyla birlikte okunmalı.
Bir domain, yeni araştırma yolları
Pubatlas’ta bir siteyi açtığımda, aynı yayıncı kimliğiyle ilişkili başka sitelere geçebiliyor; hangi ülkelerde ve konularda görünür olduklarını araştırabiliyorum.
Yaklaşık 200 milyon domainlik taramanın benim için karşılığı burada: Tek bir siteyi bulmak, daha geniş bir web araştırmasının başlangıcına dönüşüyor.