MsnbotZ okazji migracji bloga dokształcałem się w SEO jednak specjalistą nie jestem ale myślę ,że ten artykuł ciebie zaciekawi.
Widziałem wiele tutoriali, które rekomendują banowanie robotów, które zawierają napisy jak libwww-perl i msnbot. Rozumiem ,że ktoś chciałby zbanować boty typu “libwww-perl”, ponieważ one służą głównie do spamowania i hakowania.
Pytanie jednak brzmi; dlaczego wiele stron rekomenduje banowanie msnbot/bingbot?.
Oba boty reprezentują wyszukiwarki Microsoft. Z wyszukiwarki Bing korzysta 15,2 osób i śmiało można powiedzieć ,że jest to druga pod względem udziału wyszukiwarka.
Z punktu widzenia Polski ta statystyka jest bzdurna, ale warto za indeksować swoją polską stronę w Bing choćby dla użytkowników “Windows Phone 7.5” i “Xbox” , którzy domyślnie korzystają z tej wyszukiwarki.
Co takiego msnbot robi ,że ludzie go banują.
Wyjaśnienie
Istnieje wiele osób, które nie są zadowolone z działania. MSNbot ma problem z przeczytaniem pliku robots.txt. Skoro go nie czyta, to bot odczytywuje zawartość strony jak mu się podoba. Plik robots.txt jest to instrukcja określająca jakie strony bot ma indeksować. Bez niej nie mamy wpływu na zachowanie bota.
Takie błędne zachowanie zostało wykryte na stronie GitHub.
Istnieje też przerażająca historia jak wersja beta MSNbot-a skanowała czyjąś stronę za pomocą pliku robot.txt z innej strony.
MSNbot potrafi przeglądać całą stronę nie dodając jej potem do indeksu wyszukiwarki. Ja sam osobiście tego kiedyś doświadczyłem . Zastanawiałem, dlaczego tak się dzieje i nie odnalazłem rozwiązania i wiele innych osób też. Oto przykładowy temat z pewnego forum.
Istnieją też historie, w których MSNbot pingował stronę do tego stopnia ,że jego “indeksowanie” można uznać za atak typu DOS na stronę.
O ile, wszystko to może być starą wiadomością MSNbot wciąż wolno indeksuje zawartość strony. Ten blog może być nawet przykładem. W porównaniu z Google powiedziałbym ,że indeksowanie jest przynajmniej 5 razy wolniejsze.
Podsumowanie
Po takich historiach i przeżyciach wiele osób decyduje się blokować MSNbot. Ja z góry mogę powiedzieć ,że bot ma problem z indeksowaniem zawartości sprawiając ,że indeksowanie swojej polskiej strony dla wyszukiwarki Bing nie zadziała dokładnie tak, jak byśmy chcieli.
Teraz też mnie nie dziwi, dlaczego tak trudno odnaleźć jakąkolwiek polską zawartość w wyszukiwarce Bing. Bo sama wyszukiwarka ma sens jako konkurencja odpowiedzi dla Google tylko w samych USA.
Jeśli chodził o zachowanie bota na tym blogu, to nie odnotowałem niczego strasznego. Jest on powolny, ale działa. W odnowionej wersji Bing Webmaster tools można kontrolować jego zachowanie, więc zbyt wielka ilość pingów nie powinna być już problemem.
Niestety negatywne historie splamiły MSNbot-a. Z góry też wydaje się ,że działa zupełnie na innych regułach niż bot Googla, co by tłumaczyło, dlaczego specjaliści od SEO wolą unikać tej wyszukiwarki, bo ciężko ją ujarzmić.
