Google’dan Gary Illyes, LinkedIn’de , isterseniz tüm uluslararası siteleriniz için tek bir robots.txt dosyası kullanabileceğinizi söyledi. Bunun iyi bir fikir olduğunu söylemediğini, bunun yerine teknik olarak robots.txt dosyanızı bu şekilde uygulayabileceğinizi ekledi.
Gary şöyle yazdı: “Teknik olarak, CDN’nizde (cdn.example/robots.txt) barındırılan tüm uluslararası siteleriniz (de.example, ch.example, at.example, vb.) için tek bir merkezi robots.txt’ye sahip olabilirsiniz. “
Yine de, Gary daha sonra ekledi, “Bunun iyi bir fikir olduğunu söylemiyorum ya da bu konuda kötü, sadece mümkün olduğunu.”