Dostępność dla wyszukiwarek

Jest to zagadnienie o tyle ważne, że w momencie, gdy użytkownicy oraz wyszukiwarki nie mogą uzyskać dostępu do witryny, to równie dobrze może ona nie istnieć. Dlatego tak ważne jest, aby upewnić się, że witryny są dla nich dostępne.

Robots.txt

Robots.txt to plik którego można użyć, aby ograniczyć dostęp wyszukiwarek tylko do pewnych sekcji na swojej stronie. Jest on bardzo przydatny, jednak trzeba uważać, ponieważ niechcący można zablokować nim dostęp do zbierania danych. Jako skrajny przykład można podać:

1337719000_18552c1747c19292c69751172e3d0384

  Jest to przykład jak można ograniczyć zbieranie danych do witryny

Po robots.txt ograniczono dostęp do części witryny, czyli zbieranie danych jest niemożliwe. Trzeba ręcznie sprawdzić plik robots.txt, aby mieć pewność, że nie ogranicza dostępu do pewnych części strony. Można również urzyć swojego konta Google Webmaster Tools, aby zidentyfikować adresy URL, które plik zablokował.

  Robots Meta Tags

Robots Meta Tags, dotyczy tej strony, na której się znajduje i zawiera instrukcje dla robotów wyszukiwarek internetowych dotyczące tego, za jakimi linkami powinien podążać.

Jeśli chcesz przeanalizować dostępność witryny, musisz określić te strony, które mogą być przypadkowo blokowane przez roboty.

Analizujesz dostępność witryny i chcesz określić które strony są przypadkowo blokowane przez roboty.

1337719000_4ea57afefbdd6b06ba822684d9456ac0

  Jest to przykład robots meta tag, który nie dopuszcza do indeksowania strony oraz nie pozwala podążać za linkami. Poniżej przedstawiamy kilka przykładowych wartości, obsługiwanych przez większość popularnych wyszukiwarek, dla robots meta tag:

index – pozwala wyszukiwarkom indeksować strony
follow – pozwala na podążanie za linkiem na stronie
archive – pozwala wyszukiwarkom przechowywać w pamięci podręcznej kopie strony

Status kodu HTTP

W momencie gdy Twój adres URL odsyła do strony zawierającej błąd, wyszukiwarki i użytkownicy nie mogą uzyskać dostępu do treści witryny. Podczas indeksowania strony, powinno się zidentyfikować i naprawić wszystkie adresy URL, które kierują do błędu. Jeśli błędnie działający URL odsyła do podstrony która już nie istnieje na twojej stronie, zmień przekierowanie na odpowiednią podstronę. Przekierowanie to proces przekazywania jednego adresu URL, na inny adres URL. Istnieją trzy główne rodzaje przekierowań: 301, 301 i meta refresh. Najlepiej upewnić się, że strona jest przekierowywana za pomocą 301 HTTP, a nie 302, meta refresh, lub przekierowań opartych na JavaScript, ponieważ te przekierowania przechodzą z największą ilością treści do swoich stron docelowych.

  Mapa serwisu XML

Mapa serwisu XML twojej strony stanowi pewnego rodzaju mapę drogową dla robotów indeksujących wyszukiwarek, aby łatwiej im było znaleźć wszystkie strony twojej witryny.

Oto kilka ważnych pytań na temat mapy witryny, na które powinniśmy sobie odpowiedzieć:

Czy mapa jest dobrze utworzonym dokumentem XML, czy wynika z protokołu mapy serwisu? Wyszukiwarki oczekują określonego formatu dla witryn, jeśli twój nie jest z nim zgodny, to nie może być przetworzony w odpowiedni sposób.

Czy umieszczono w mapie serwisu narzędzia dla webmasterów? Wyszukiwarki mogą znaleźć witryny bez naszej pomocy, ale trzeba im wyraźnie zaznaczyć ich lokalizację.

Czy znalazłeś strony w witrynie które nie pojawiają się na mapie serwisu? Trzeba upewnić się, że mapa przedstawia bieżący widok naszej strony.

Czy w mapie witryny są strony, które nie pojawiają się w indeksie witryny? Jeśli te strony istnieją w serwisie, obecnie są osierocone. Trzeba znaleźć dla nich odpowiednie miejsce i upewnić się, że otrzymają wsteczne przekierowanie.

  Architektura Serwisu

Określa ogólną budowę serwisu, w tym ile ma poziomów, jak również jak szeroka jest na każdym poziomie.

Na podstawie architektury serwisu można określić, ile potrzeba kliknięć aby dostać się z głównej strony na inne ważne podstrony. Ponadto, można ocenić jak dobrze podstrony są powiązane ze stroną główną, oraz upewnić się, że najważniejsze podstrony serwisu są w naszej witrynie traktowane priorytetowo. Najlepiej będzie, jeśli stworzy się serwis który będzie jak najbardziej płaski, wykorzystując zarówno pionowe i poziome opcje łączenia.

  Nawigacja JavaScript i Flash

Nawet najlepiej zbudowany serwis na świecie może nie uniknąć błędów w nawigacji, które sprawią, że będzie niedostępny dla wyszukiwarek. Mimo, że roboty indeksujące wyszukiwarek stają się z roku na rok coraz bardziej inteligentne, nadal bezpiecznie jest unikać JawaScropt i Flash'a w nawigacji.

  Wydajność strony

Użytkownicy mają ograniczony zakres uwagi. Jeśli strona będzie ładować się zbyt długo, to mogą zwyczajnie ją zamknąć i już do niej nie wracać. Podobnie jest z robotami wyszukiwarek, które mają określony czas, który mogą przeznaczyć na każdą stronę Można ocenić jak szybko witryna się ładuje używając jednego z wielu narzędzi. Google Page Speed oraz Yslow mogą sprawdzić stronę pod kątem szybkości ładowania, a następnie dostarczyć pomocnych wskazówek, np. aby włączyć kompresję. Pingdom Full Page Test zawiera szczegółowy wykaz obiektów ładowanych przez strony i ich rozmiarów. Narzędzia te pomagają w identyfikacji konkretnych obiektów na stronie, które stanowią przeszkody dla witryny. Następnie można zoptymalizować witrynę i poprawić jej wydajność.