A keresési innováció úttörőjeként a Google bejelentette, hogy 2024. január 8-án megszünteti a Search Console-ban a Crawl Rate Limiter eszközt. Az eszköz több mint egy évtizede volt elérhető, de a Google által végrehajtott jelentős fejlesztések és és a mostanra elérhető egyéb eszközök miatt Crawl Rate Limiter eszközre egyre kevésbé van szükség.
A Googlebot egy általános név, amit a Google két ún “webcrawlers”-ének lefedésére használnak:
- Googlebot Desktop
- Googlebot Smartphone
A Googlebotot annak érdekében tervezték, hogy több ezer gépen fusson egyszerre, és javítsa a teljesítményt és a méretet, ahogy a web tovább növekszik.
Ennek az eszköznek a célja, nagyjából a Crawl Rate Limiterhez hasonlóan, hogy dokumentumokat gyűjtsön össze a webről, és egy keresési indexet építsen fel a Google keresőmotorához.
Több mint 15 évvel ezelőtt mutatták be a Crawl Rate Limiter eszközt, amelynek célja az volt, hogy lehetőséget biztosítson a kiadóknak a Googlebot keresésének ellenőrzésére, hogy az ne terhelje túl a szerverüket. A Google bejelentése szerint a Crawl Rate Limiter segítségével a keresési algoritmusok elértek egy pontot, ahol a Googlebot automatikusan észleli, ha a szerver teljes kapacitáson van, és intézkedik a keresési arány lassítása érdekében.
Íme néhány a legfontosabb SEO-stratégiák közül, amelyek megkönnyítik a Googlebot munkáját:
- Javítsd a weboldalad láthatóságát a "Allow: /" parancs használatával a robots.txt fájlban.
- Kerüld el a "nofollow" címkét az oldal belső linkjein. Ez kifejezetten azt jelenti, hogy a keresőrobotoknak nem kell követniük azokat a forrásukig.
- Készítsd el a weboldalad sitemap-jét, amely lehetővé teszi a Googlebotnak, hogy megismerje az oldalad és minden elérhető tartalmat megtaláljon.
- Használd a Google Keresési Konzolt!
Ha a Googlebotot - és más webcrawlerseket - szem előtt tartva fejleszted a weboldalad, az javítja az oldal forgalmát, a konverziókat és az értékesítést egyaránt. A Crawl Rate Limiter eszköz megszüntetéséről szóló döntés a Search Console használhatóságának javítása érdekében született.ú
Ha szeretnéd javítani weboldalad láthatóságát, lépj kapcsolatba velünk még ma, és ismerd meg szolgáltatásainkat!