KostoBot
Kosto's slow, polite crawler that reads the links in publishers' articles.
Who we are
Kosto (getkosto.com) is an SEO analytics tool. KostoBot is Kosto's own crawler. Its user agent is:
KostoBot/1.0 (+https://getkosto.com/bot)
What it reads
KostoBot reads only public article pages of publisher sites. To find them it reads robots.txt, sitemaps, RSS/Atom feeds, the public WordPress post listing where a site has one and, where none of these exists, the links on the home page. From each article it records the outbound links inside the article body, their anchor text and rel attributes, plus the article URL, title and date. It does not store the article text, does not log in, does not submit forms and sends no cookies.
How fast
At least 5 seconds between two requests to a site, and at least 10 seconds for a site that has recently refused requests, asked us to slow down or had server errors or time-outs. Never in parallel to the same site, and never more than 1,500 requests to one site in a day. Many websites can share one server, so KostoBot also sends at most one request at a time to any single server address and waits at least one second before the next, whichever sites are hosted there. If your robots.txt sets a longer Crawl-delay, that value is used instead; a site that asks for more than 10 minutes between requests is not crawled at all. If your server answers with 429 or sends Retry-After, KostoBot stops the visit at once and waits; Retry-After is honoured up to one day. If a page is refused or fails (403, 5xx) and the next request is refused or fails too, KostoBot stops the visit and waits, from minutes up to a week if it keeps happening. A single page that answers 403 or 5xx while other pages load normally is left alone for a while.
robots.txt
KostoBot obeys your robots.txt, including Crawl-delay, and follows the rules for the user agent KostoBot (or * when there is none).
How to opt out
To block the whole site, add this to your robots.txt:
User-agent: KostoBot
Disallow: /
Or write to support@getkosto.com with your domain name. After an opt-out through robots.txt, KostoBot stops requesting your pages the next time it reads robots.txt (at most a day later) and from then on only re-reads robots.txt itself; once it has seen the same rule again about a day after that, the links already collected from that site are deleted. If the same group also has an Allow line for a content path, KostoBot treats the site as partly open: it reads only what is allowed and deletes nothing. For immediate removal, write to us.
Report a problem
If KostoBot misbehaves on your site, write to support@getkosto.com and include your domain and the time of the request.
KostoBot
Kosto'nun yayıncı sitelerindeki bağlantıları okuyan, yavaş ve nazik tarayıcısı.
Biz kimiz
Kosto (getkosto.com) bir SEO analiz aracıdır. KostoBot, Kosto'nun kendi tarayıcısıdır. Kullanıcı ajanı şöyledir:
KostoBot/1.0 (+https://getkosto.com/bot)
Ne okur
KostoBot yalnızca yayıncı sitelerin herkese açık makale sayfalarını okur. Bu sayfaları bulmak için robots.txt dosyasını, site haritalarını (sitemap), RSS/Atom beslemelerini, varsa herkese açık WordPress yazı listesini, bunların hiçbiri yoksa ana sayfadaki bağlantıları okur. Her makalede, makale gövdesindeki dış bağlantıları, bağlantı metinlerini ve rel özelliklerini; ayrıca makalenin adresini, başlığını ve tarihini kaydeder. Makale metnini saklamaz, giriş yapmaz, form göndermez ve çerez göndermez.
Ne kadar hızlı
Bir siteye gönderdiği iki istek arasında en az 5 saniye bekler; yakın zamanda istekleri reddetmiş, yavaşlamamızı istemiş ya da sunucu hatası veya zaman aşımı vermiş bir sitede bu süre en az 10 saniyedir. Aynı siteye asla paralel istek göndermez ve bir siteye bir günde 1.500'den fazla istek göndermez. Birçok site aynı sunucuyu paylaşabildiği için KostoBot tek bir sunucu adresine de aynı anda en fazla bir istek gönderir ve o adreste hangi siteler barınırsa barınsın bir sonraki istekten önce en az bir saniye bekler. robots.txt dosyanızda daha uzun bir Crawl-delay varsa o değer uygulanır; istekler arasında 10 dakikadan fazla bekleme isteyen site hiç taranmaz. Sunucunuz 429 ile yanıt verirse ya da Retry-After gönderirse KostoBot ziyareti hemen keser ve bekler; Retry-After değerine bir güne kadar uyulur. Bir sayfa reddedilir ya da hata verirse (403, 5xx) ve sonraki istek de reddedilir ya da hata verirse KostoBot ziyareti keser ve bekler; durum sürerse bu bekleme dakikalardan bir haftaya kadar uzar. Diğer sayfalar normal açılırken yalnızca tek bir sayfa 403 veya 5xx veriyorsa o sayfa bir süre rahat bırakılır.
robots.txt
KostoBot robots.txt dosyanıza, Crawl-delay dahil, uyar ve KostoBot kullanıcı ajanı için yazılmış kuralları (yoksa * kurallarını) izler.
Nasıl engellenir
Tüm siteyi kapatmak için robots.txt dosyanıza şunu ekleyin:
User-agent: KostoBot
Disallow: /
Ya da alan adınızı support@getkosto.com adresine yazın. robots.txt ile engellediğinizde KostoBot, robots.txt dosyanızı bir sonraki okuyuşunda (en geç bir gün içinde) sayfalarınıza istek göndermeyi bırakır ve bundan sonra yalnızca robots.txt dosyasını yeniden okur; aynı kuralı yaklaşık bir gün sonra yeniden gördüğünde o siteden daha önce toplanan bağlantılar silinir. Aynı grupta bir içerik yolu için Allow satırı da varsa KostoBot siteyi kısmen açık sayar: yalnızca izin verilen yerleri okur ve hiçbir şeyi silmez. Hemen silinmesini isterseniz bize yazın.
Sorun bildirin
KostoBot sitenizde sorun çıkarırsa alan adınızı ve isteğin saatini support@getkosto.com adresine yazın.