Spis treści:
Czym jest indeksowanie strony w Google?
Najprościej mówiąc indeksacja stron w wyszukiwarce Google to proces, w którym Googlebot – robot wyszukiwarki Google – odwiedza, analizuje i przechowuje informacje o stronach internetowych. Głównym celem indeksacji jest zbudowanie i utrzymanie bazy danych (indeksu) zawierającej informacje o stronach internetowych, które mogą być wyświetlane w wynikach wyszukiwania Google.
Jak Google indeksuje strony internetowe?
Zacznijmy od początku, czyli od tego jak wyszukiwarka Google indeksuje stronę internetową. Strona, aby wyświetliła się w wynikach wyszukiwania na konkretne zapytanie, musi wpierw znaleźć się w indeksie, który przechowywany jest w specjalnych obiektach - Centrach Danych Google - zlokalizowanych na całym świecie.
Google Data Center, są to miejsca, w których skoncentrowane są potężne zasoby serwerów, gromadzących i przetwarzających ogromną ilość danych. Ich zadaniem jest zapewnienie 24-godzinnego, nieprzerwanego przepływu informacji. Google Data Center obsługują wszystkie usługi oferowane przez Google, takie jak wyszukiwarka, Gmail, YouTube i inne.
Lokalizacja Data Center na świecie
Warto wiedzieć, że w Europie znajduje się sześć Google Data Center (wszystkie lokalizacje możesz znaleźć na stronie www.google.com/about/datacenters/locations/). Co ważne wyszukując dane zapytanie, nie wiemy, z której bazy danych mamy wyniki. Dlatego też wpisując daną frazę do wyszukiwarki możemy mieć inne wyniki wyszukiwania, n: niż osoby postępujące w ten sam sposób, na drugim końcu Polski.
Lokalizacja Data Center w Europie
Proces indeksacji
Jak więc sprawić, żeby nasza strona pojawiła się w tych bazach danych? Pamiętaj, że samo opublikowanie nowej treści nie oznacza automatycznego pojawienia się w wynikach wyszukiwania. Tak jak wspominałem wcześniej, jest to proces, który zaczyna się od odwiedzenia Twojej strony przez Googleboty - roboty skanujące (crawlery). Robot Google zwraca uwagę na elementy takie jak title, adresy URL, nagłówki oraz treść, dlatego teksty dobrze zoptymalizowane pod kątem SEO mają kluczowe znaczenie. Oprócz treści analizowane są także obrazy, warto więc zadbać o właściwe dostosowanie plików graficznych, umieszczając je w odpowiednim formacie i uzupełniając atrybut ALT.
Sam proces składa się z trzech etapów - są to: Wykrycie, Skanowanie oraz Indeksowanie, na każdym z nich mogą pojawić się problemy, które uniemożliwią zindeksowanie strony. Teraz pokrótce omówimy sobie te etapy. Jeżeli Google nie napotka żadnych problemów po tych trzech etapach strona jest rankowana w wynikach wyszukiwania.
Proces indeksacji w uproszczeniu
Etap 1 - Wykrycie
Jest to etap, w którym Google dowiaduje się o istnieniu naszej strony. Istnieje kilka metod, które znacznie skracają czas oczekiwania na wykrycie adresów URL przez roboty Google:
Metoda 1 - zgłoszenie sitemap.xml.
Pierwszą metodą jest zgłoszenie nowej mapy witryny. Możesz to zrobić w Google Search Console.
Mapę strony możemy sami stworzyć lub skorzystać z odpowiedniego narzędzia. Jeżeli mamy stronę na WordPress warto użyć do tego np. wtyczki Yoast SEO.
Przesyłając mapę witryny do Google Search Console, informujemy, jakie strony internetowe Google powinien znać i zaindeksować. Prześlij mapę witryny zaraz po wprowadzeniu zmian na swoich stronach. W ten sposób możesz przyspieszyć indeksowanie strony w Google.
Dodawanie mapy witryny w Google Search Console
Dobrą praktyką jest dodanie odpowiedniej dyrektywy na końcu pliku robots.txt:
Sitemap: http://www.example.com/sitemap.xml
Mapa witryny to dla Google ważne źródło informacji o adresach URL w Twojej stronie internetowej, ale nie jedyne.
Więcej o mapie strony przeczytasz na naszym blogu.
Metoda 2 - Prośba o zindeksowanie
Dodanie strony do kolejki indeksowania za pomocą Search Console to najszybsza i najprostsza metoda zgłoszenia stron, która trwa od kilku sekund do kilku minut. Wystarczy wkleić pełny adres strony do indeksacji i kliknąć "poproś o zindeksowanie". Podobnie jak w przypadku metody 1 robimy to w panelu Google Search Console. Po kilku minutach żądanie zostanie przetworzone. Pozostaje jedynie czekać, aż roboty sieciowe odwiedzą i zaindeksują stronę internetową.
Metoda ta jest przydatna w przypadku powiadamiania o pojedynczej stronie np. gdy zmieniasz treść jednego artykułu lub publikujesz nowy wpis na blogu.
Indeksacja strony w panelu Search Console
Metoda 3 - Indexing Api
Indexing API to narzędzie, które pozwala właścicielom stron internetowych powiadamiać Google o dodaniu lub usunięciu strony. Umożliwia to Google zaplanowanie indeksowania stron internetowych. Indexing API umożliwia dodanie do kolejki indeksowania do 200 adresów dziennie z jednego konta.
Oto kilka rzeczy, które możesz zrobić za pomocą interfejsu Indexing API:
- Aktualizacja URL: Możesz powiadomić Google o nowym adresie URL do zindeksowania lub o aktualizacji treści na wcześniej przesłanym adresie URL.
- Usunięcie URL: Gdy poinformujesz Google o usunięciu strony z Twoich serwerów, Google usunie ją z indeksu i nie będzie próbować ponownie indeksować tego adresu URL.
- Sprawdzenie stanu żądania: Możesz sprawdzić, kiedy Google ostatnio otrzymał różnego typu powiadomienia dotyczące danego adresu URL
- Zbiorcze wysyłanie żądań indeksowania: Możesz zredukować liczbę połączeń HTTP, które musi nawiązać klient, wysyłając do stu wywołań w jednym żądaniu.
Google zaleca korzystanie z interfejsu Indexing API zamiast map witryny. Dzięki temu, indeksowanie stron przez Googlebota odbywa się szybciej.
Jeżeli posiadasz nową stronę internetową, warto skorzystać z trzech pierwszych metod, aby skierować na nią roboty Google.
Metoda 4 - linkowanie wewnętrzne
Linki wewnętrzne umieszczone w treści strony pokazują zarówno użytkownikom, jak i robotom Google, że w innych częściach witryny dostępne są dodatkowe treści. W procesie indeksacji prawidłowo wykonane linkowanie wewnętrzne ma kluczowe znaczenie, znacznie przyspieszając proces skanowania i indeksacji strony przez Google.
Metoda 5 - linkowanie zewnętrzne
Rozważmy teraz kolejny aspekt indeksowania - rolę linków zewnętrznych jako "drogowskazów" dla robotów Google. Jak już wspomniałem, Googleboty odwiedzają i analizują strony, ale aby dotrzeć do nowych stron, często potrzebują "wskazówek". Te wskazówki to linki - zarówno wewnątrz Twojej strony, jak i prowadzące do niej z innych stron.
Linki zewnętrzne, zwłaszcza te pochodzące z już zindeksowanych i dobrze widocznych stron, mogą znacząco przyspieszyć proces indeksowania Twojej strony. Możesz je zdobyć na wiele sposobów, niekoniecznie przez profesjonalny link building.
Etap 2 - Skanowanie (Crawlowanie)
Drugi etap zależny jest od możliwości przeskanowania adresów URL w naszej witrynie, a decyduje o tym Crawl Budget. Określa on jak wiele zasobów – czasu i mocy obliczeniowej – roboty Googla poświęcą, aby zindeksować daną witrynę. Crawl Budget zależy od:
Hosta - Google bierze pod uwagę plik robots.txt, dns, server 500. Wszystkie te parametry możemy sprawdzić w Google Search Console w raporcie Statystyki Indeksowania
Statystyki indeksowania w panelu Google Search Console
Więcej informacji znajdziesz na stronie support.google.com/webmasters/answer/9679690#host_status_details
TTFB (Time To First Byte) - to metryka wydajności, która mówi o czasie upływającym od momentu wysłania żądania przez przeglądarkę użytkownika do zwrócenia pierwszego bajtu przez serwer.
Więcej na temat Crawl Budget przeczytasz na naszym blogu.
Etap 3 - Indeksowanie
Pozytywnie ocenione strony trafiają do bazy Google i stają się widoczne w wynikach wyszukiwania. Mogą rywalizować o pozycje w wynikach SERP oraz osiągnąć lepszą widoczność, jeśli prowadzone są działania SEO lub kampanie Google Ads. Natomiast strony internetowe, które nie zostały zaindeksowane, mogą być odwiedzane jedynie poprzez bezpośrednie wpisanie adresu URL w pasku przeglądarki, lub poprzez bezpośrednie kliknięcie linków do nich.
Jak sprawdzić indeksowanie strony?
Możesz sprawdzić stan indeksacji na trzy sposoby:
Operator Site:
Jest to najszybszy, chociaż najmniej dokładny sposób spośród dostępnych możliwości sprawdzania indeksacji, pozwala orientacyjnie ocenić liczbę zindeksowanych stron w wyszukiwarce Google. Operator ten sprawdza, czy Google ma wiedzę o danym adresie, a nie koniecznie czy jest on zaindeksowany. Może również posłużyć do sprawdzenia pojedynczych adresów. Wystarczy wpisać w polu wyszukiwania hasło:
site:twojadomena.pl
Wynik użycia operatora site: dla domeny ks.pl
Sprawdzenie Cache:
Dodając do adresu URL przedrostek "cache:" do adresu URL, na przykład "cache:ks.pl". Pokaże to zapis w pamięci podręcznej strony w wynikach wyszukiwania Google. Jeśli strony nie ma w cache’u to sygnał, że robot może mieć problem z jej indeksacją. Warto jednak zauważyć, że obecność strony w cache nie gwarantuje jej indeksacji, podobnie jak nie każda zaindeksowana strona musi mieć kopię w pamięci podręcznej.
Użycie operatora cache:
Sprawdzenie adresu URL - w panelu Google Search Console
Aby sprawdzić dane dotyczące konkretnej podstrony w serwisie, możesz skorzystać z panelu Google Search Console. W górnym polu wpisz adres URL interesującej Cię podstrony i naciśnij enter. Możesz także wybrać opcję "Sprawdzenie adresu URL" z menu bocznego. To pozwoli na uzyskanie szczegółowych informacji dotyczących indeksacji i wyświetlania danej podstrony w wynikach wyszukiwania.
Sprawdzenie indeksacji strony w panelu Google Search Console
Warto wiedzieć, że Google Search Console zwraca informację z głównego Data Center, znajdującego się w USA. Z tego powodu może zaistnieć sytuacja, że GSC podaje informację, że strona znajduje się w Google, a my sprawdzając ją ręcznie w wynikach wyszukiwania, możemy jej jeszcze nie widzieć. Powodem tego jest fakt, że Data Center z którego z którego pobieramy informację ma jeszcze niezaktualizowaną bazę danych.
Ile trwa indeksowanie stron internetowych?
Indeksowanie witryny może trwać od kilku dni do kilku tygodni, dlatego ważna jest cierpliwość. Możesz monitorować postępy tego procesu, korzystając z raportu o stanie indeksowania lub narzędzi do sprawdzania adresów URL.
Ważne jest również upewnienie się, że Twoja strona jest zoptymalizowana pod kątem SEO, posiada wartościową treść i odpowiednie znaczniki meta, co może przyspieszyć proces indeksacji i poprawić widoczność w wynikach wyszukiwania Google.
Najczęstsze przyczyny braku indeksowania strony
Istnieje kilka powodów, dla których strona może jeszcze nie być dodana do indeksu Google. Z punktu widzenia właściciela strony można zidentyfikować kilka głównych przyczyn związanych z indeksowaniem, które można rozwiązać samodzielnie.
Blokada meta tagiem robots
Jednym z najczęstszych powodów jest błąd człowieka - może się zdarzyć, że strona jest zablokowana podczas jej tworzenia, a po jej publikacji deweloper zapomina udostępnić ją również dla robotów indeksujących.
<meta name=”robots” content=”noindex”>
Umieszczenie w sekcji <head> meta tagu robots z atrybutem content="noindex", informuje roboty o tym, aby nie indeksowały zawartości strony.
Blokada w pliku robots.txt
Jednym z najczęstszych powodów braku indeksacji jest dyrektywa blokująca skanowanie podstron w pliku robots.txt.
Będzie ona wyglądać o tak:
User-agent: *
Disallow: /
Aby mieć pewność, czy Google nie blokuje Twojej strony, możesz skorzystać z narzędzi online takich jak: "Robots.txt Validator and Testing Tool" lub narzędzia "Robots Testing Tool" udostępnianego przez Google.
Przekierowania 301 oraz błędy 404
Błędy 404 i nadmierne przekierowania mogą mieć negatywny wpływ na indeksowanie strony w Google. Strony, które zwracają błąd 404, informują robota, że dana strona nie istnieje lub nie jest dostępna.
Choć przekierowania 301 są przydatne w przypadku zmian adresów URL lub zmian struktury witryny, nadmierne użycie przekierowań 301 może wpływać na wykorzystanie Crawl Budget.
Im więcej przekierowań występuje w witrynie, tym więcej czasu i zasobów roboty muszą poświęcić na przechodzenie pomiędzy stronami w obrębie witryny, co może spowolnić proces indeksacji.
Warto zauważyć, że status HTTP zwracany przez dany adres URL ma istotne znaczenie dla procesu indeksowania przez Google. Jeśli strona zwraca status oznaczający błądy, takie jak kody 40X (np. 404 - strona nieznaleziona) lub 50X (np. 500 - wewnętrzny błąd serwera), Google prawdopodobnie nie będzie podejmować próby indeksowania i poczeka, aż status ten zmieni się na poprawny kod, czyli 200.
Adres kanoniczny
Tag canonical jest używany do wskazania robotom Google jednej, preferowanej wersji strony do indeksowania. Jednakże, jeśli strona oznaczona jako kanoniczna wskazuje do innej strony, która nie istnieje, może to spowodować dezorientację robotów Google i prowadzić do problemów z indeksacją.
Czym jest canonical dowiesz się z naszego bloga.
Analiza Orphan Page
W Twojej witrynie mogą występować strony, które nie są powiązane żadnymi linkami wewnętrznymi tzw. Orphan Pages. Jeśli adres URL nie ma żadnych odnośników z innych stron, może pozostać niezauważony zarówno przez użytkowników, jak i algorytmy Google.
Podsumowanie
Indeksowanie strony w wyszukiwarce Google to kluczowy proces, który pozwala na jej widoczność w wynikach wyszukiwania. Jeżeli chcesz przyspieszyć proces indeksowania, warto skorzystać z metod opisanych w artykule, takich jak zgłoszenie mapy witryny, prośba o zindeksowanie lub odpowiednie linkowanie wewnętrzne Jednocześnie należy pamiętać, że indeksowanie może zająć trochę czasu, dlatego ważne jest cierpliwe monitorowanie postępów procesu.
