Sitemap.xml và robots.txt là gì? Vai trò trong SEO
Hai file nhỏ nhưng quan trọng giúp Google thu thập và lập chỉ mục website đúng cách.
Sitemap.xml và robots.txt là hai file nhỏ nhưng đóng vai trò quan trọng trong việc hướng dẫn Google thu thập và lập chỉ mục website. Hiểu đúng hai file này giúp bạn tránh những lỗi khiến trang không lên Google.
robots.txt là gì?
robots.txt nằm ở gốc website (vd tendomain.com/robots.txt), báo cho bot biết được phép và không được phép thu thập phần nào.
User-Agent: *
Allow: /
Sitemap: https://tendomain.com/sitemap.xml
Lưu ý quan trọng: robots.txt chỉ chặn thu thập, không đảm bảo chặn index. Và sai một dòng (vd
Disallow: /) có thể vô tình chặn cả website khỏi Google — lỗi nghiêm trọng nhiều site mắc phải.
sitemap.xml là gì?
sitemap.xml là danh sách các URL bạn muốn Google biết tới, kèm thông tin như ngày cập nhật, mức ưu tiên. Nó giúp Google phát hiện trang nhanh và đầy đủ hơn — đặc biệt quan trọng với website lớn hoặc mới.
Khác nhau giữa hai file
| robots.txt | sitemap.xml | |
|---|---|---|
| Vai trò | Chặn/cho phép thu thập | Liệt kê URL nên thu thập |
| Vị trí | Gốc domain | Gốc domain (khai báo trong robots) |
| Tác dụng | Kiểm soát crawl | Hỗ trợ phát hiện trang |
Dùng đúng cách
- Khai báo đường dẫn sitemap trong robots.txt.
- Submit sitemap lên Google Search Console để Google index nhanh hơn.
- Kiểm tra robots.txt không vô tình chặn trang quan trọng.
Liên quan đến index
Hai file này ảnh hưởng trực tiếp tới việc Google index trang của bạn, và là phần cơ bản của technical SEO.
Không chắc website đã cấu hình đúng sitemap/robots? Dịch vụ audit SEO kiểm tra giúp bạn. Nhận tư vấn miễn phí.
Muốn áp dụng cho website của bạn?
Nhận khảo sát và tư vấn miễn phí từ đội ngũ SeoRankGo.