Crawl Budget là gì?

Crawl Budget (ngân sách thu thập) là số lượng trang mà Googlebot thu thập từ website của bạn trong một khoảng thời gian nhất định. Nếu Google tốn thời gian cho những trang không cần thiết, thì những nội dung mới, quan trọng có thể bị chậm index hoặc thậm chí không được thu thập.

Dấu hiệu bạn đang lãng phí Crawl Budget

• Google thu thập các trang như ?s= (trang tìm kiếm)
• Các trang đăng nhập, quản trị cũng bị crawl
• Nội dung không có giá trị SEO vẫn được đưa vào sitemap

Làm sao để giảm Crawl Budget?

Dưới đây là 3 bước cơ bản mà bất kỳ ai cũng có thể làm:

1. Tối ưu tệp robots.txt

Tệp robots.txt hướng dẫn Googlebot nên và không nên thu thập phần nào của website. Dưới đây là mẫu cơ bản bạn có thể sử dụng:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*?s=
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Giải thích:

• /wp-admin/ và /wp-login.php: là khu vực quản trị, không cần thu thập.
• *?s=: là trang tìm kiếm nội bộ, thường không có giá trị SEO.
• admin-ajax.php vẫn cho phép để các tính năng như bình chọn, tải động hoạt động bình thường.

2. Rút gọn sitemap.xml

Nếu bạn đang sử dụng plugin tạo sitemap như XML Sitemap Generator for Google hoặc The SEO Framework, hãy kiểm tra và loại bỏ các phần không cần thiết như:

• Các bài viết cũ không còn giá trị
• Các trang giới thiệu, điều khoản nếu không cần index
• Post type phụ như “sticker”, “hiệu ứng”, v.v…

Mẹo: Nếu một bài viết không nên xuất hiện trên Google, đừng đưa nó vào sitemap!

3. Thêm rel="nofollow" cho liên kết nội bộ không quan trọng

Khi bạn liên kết đến một trang không quan trọng, hãy thêm rel="nofollow" vào link như sau:

<a href="/tai-khoan/" rel="nofollow">Tài khoản</a>

Điều này không chặn Google hoàn toàn, nhưng giúp họ biết rằng bạn không muốn ưu tiên crawl trang đó.

Kết luận

Giảm Crawl Budget không có nghĩa là ngăn Google truy cập website của bạn, mà là hướng họ đến đúng nội dung bạn muốn nổi bật. Việc này giúp tiết kiệm tài nguyên, tăng tốc độ index bài viết mới và cải thiện thứ hạng SEO tổng thể.

Chỉ cần tinh chỉnh một chút, bạn đã giúp Google hiểu rõ hơn đâu là “nội dung chính” trên trang của mình!