Robots.txt là gì? Cách tạo file Robots.txt bằng Yoast SEO

Chúc các bạn thành công!

Tại sao cần sử dụng file robots.txt?

File robots.txt đóng vai trò như “người gác cổng” cho website. Nó hướng dẫn các công cụ tìm kiếm (như Googlebot) nên thu thập phần nào, tránh phần nào trong cấu trúc trang. Sử dụng đúng cách sẽ giúp website vận hành hiệu quả hơn trên nền tảng tìm kiếm.

Giúp kiểm soát hành vi của bot tìm kiếm

Khi bot của Google (hoặc các công cụ tìm kiếm khác) truy cập vào website của bạn, chúng sẽ đọc file robots.txt đầu tiên nếu có. Thông qua đó, bạn có thể hướng dẫn bot nên thu thập phần nào, và không nên thu thập phần nào trên site. Điều này rất hữu ích với các website lớn hoặc có nhiều trang tạm, trang trùng lặp, hoặc dữ liệu không cần index. Chẳng hạn như, trang lọc tìm kiếm, trang admin, thư viện ảnh,… Nếu không kiểm soát, bot có thể “lang thang” và tiêu tốn tài nguyên vào những khu vực không mang lại giá trị SEO.

Bảo vệ nội dung nội bộ, thư mục nhạy cảm

Mặc dù robots.txt không phải là một công cụ bảo mật thực sự, nó vẫn giúp bạn “giấu” bớt các khu vực nội bộ khỏi các công cụ tìm kiếm. Ví dụ: bạn không muốn Google index trang đăng nhập admin, thư mục chứa file cấu hình, plugin kỹ thuật, hoặc nội dung thử nghiệm chưa hoàn thiện. Thay vì xóa tạm hay cài thêm bảo vệ, bạn có thể dùng robots.txt để yêu cầu bot không truy cập những thư mục đó. Điều này giúp website gọn gàng hơn trên kết quả tìm kiếm và tránh rò rỉ các trang không cần thiết ra công khai.

Tối ưu hóa crawl budget – giới hạn tài nguyên thu thập dữ liệu

Google có giới hạn crawl budget cho mỗi website, tức là số lượng trang mà bot Google có thể và muốn thu thập trong một khoảng thời gian nhất định. Nếu website của bạn có hàng nghìn trang, việc để bot “thu thập lung tung” sẽ khiến những trang quan trọng bị bỏ sót. Sử dụng robots.txt để chặn các khu vực không cần thiết giúp Google tập trung crawl đúng những nội dung có giá trị SEO. Từ đó, cải thiện khả năng index và thứ hạng của các trang chính.

Cấu trúc cơ bản của file robots.txt

File robots.txt có thể chỉ là một tệp văn bản vài dòng, nhưng đóng vai trò vô cùng quan trọng. Cụ thể hơn, là trong việc điều phối cách công cụ tìm kiếm truy cập và thu thập dữ liệu trên website của bạn. Cú pháp sử dụng trong file này tương đối đơn giản, dễ chỉnh sửa, không yêu cầu kiến thức lập trình. Tuy nhiên, chỉ cần viết sai một dòng, website của bạn có thể bị ảnh hưởng lớn về SEO. Từ việc chặn nhầm các trang quan trọng, đến việc khiến Googlebot không thể truy cập toàn bộ website. Dưới đây là các thành phần cơ bản nhất cấu thành nên một file robots.txt hiệu quả, bạn nên nắm rõ để sử dụng đúng mục đích:

User-agent – xác định bot cụ thể

User-agent là thành phần bắt buộc mở đầu trong mỗi khối lệnh của file robots.txt. Dòng này dùng để chỉ định bạn đang áp dụng các quy tắc bên dưới cho loại bot tìm kiếm nào.

Ví dụ:

• User-agent: * → áp dụng cho tất cả các bot (Google, Bing, Yahoo, Yandex…)

• User-agent: Googlebot → chỉ áp dụng cho bot tìm kiếm của Google

Bạn có thể viết nhiều nhóm lệnh khác nhau cho từng loại bot, giúp kiểm soát hành vi thu thập dữ liệu một cách linh hoạt. Trong thực tế, hầu hết website chỉ cần một nhóm User-agent: *, trừ khi bạn có lý do cụ thể để phân loại bot.

Disallow – chặn bot truy cập một đường dẫn

Disallow là lệnh để chỉ định thư mục hoặc đường dẫn mà bạn không muốn bot thu thập. Đây là thành phần được dùng phổ biến nhất trong file robots.txt.

Cú pháp đơn giản:

• Disallow: / → cấm bot truy cập toàn bộ website (cẩn thận khi dùng lệnh này!)

• Disallow: /admin/ → chặn bot truy cập thư mục quản trị

• Disallow: /search? → chặn các URL có chứa chuỗi “search?”

Khi bot gặp lệnh Disallow, nó sẽ bỏ qua không thu thập dữ liệu ở đường dẫn đó. Mặc dù đường dẫn đó vẫn có thể xuất hiện trên kết quả tìm kiếm nếu được liên kết từ trang khác. Vì vậy, nếu bạn muốn ẩn hoàn toàn khỏi Google, bạn cần kết hợp thêm thẻ noindex hoặc xác thực trong Google Search Console.

Allow – cho phép bot truy cập

Lệnh Allow có tác dụng mở quyền truy cập cho một URL cụ thể, ngay cả khi thư mục chứa nó đang bị Disallow. Điều này cực kỳ hữu ích khi bạn muốn tinh chỉnh hành vi bot: chặn chung một thư mục, nhưng vẫn cho phép truy cập một vài trang quan trọng bên trong.

Ví dụ:

• User-agent: Googlebot

• Disallow: /wp-admin/

• Allow: /wp-admin/admin-ajax.php

Trong ví dụ trên, Googlebot sẽ không truy cập thư mục /wp-admin/, nhưng vẫn được phép thu thập nội dung của file admin-ajax.php. Bởi nó vốn là file quan trọng cho các chức năng động của website WordPress.

Sitemap – khai báo đường dẫn sitemap để Google dễ index

Lệnh Sitemap không phải là quy tắc kiểm soát bot, mà là chỉ dẫn bổ sung để bot biết chính xác website của bạn đang có sitemap ở đâu. Sitemap là bản đồ website, liệt kê đầy đủ các trang bạn muốn index, giúp Google hiểu cấu trúc và thu thập dữ liệu nhanh hơn.

Cú pháp đơn giản:

Sitemap: https://wifim.vn/sitemap.xml

Bạn có thể đặt dòng này ở bất kỳ đâu trong file robots.txt, thường là cuối cùng. Với các website có nhiều sitemap (chẳng hạn chia theo danh mục, loại nội dung…), bạn có thể khai báo nhiều dòng Sitemap liên tiếp.

Lưu ý: Dù bạn không khai báo sitemap trong robots.txt, Google vẫn có thể tìm thấy nó nếu bạn gửi trực tiếp qua Google Search Console. Tuy nhiên, việc thêm dòng này sẽ giúp bot phát hiện sớm hơn – đặc biệt hữu ích với website mới hoặc ít backlink.

Kiểm tra file robots.txt bằng Google Search Console

Viết đúng file robots.txt mới chỉ là một nửa công việc. Để chắc chắn rằng Google hiểu đúng các chỉ dẫn của bạn và không chặn nhầm các trang quan trọng, việc kiểm tra định kỳ là vô cùng cần thiết. Google Search Console cung cấp công cụ giúp bạn xem nhanh tệp robots.txt đang hoạt động ra sao, đồng thời hỗ trợ xử lý các sự cố kịp thời.

Truy cập công cụ “Kiểm tra robots.txt”

Trong giao diện quản lý trang web đã xác minh, bạn có thể tìm đến phần “Cài đặt” (Settings). Hoặc sử dụng trực tiếp “Công cụ kiểm tra URL” (URL Inspection Tool) để kiểm tra trạng thái crawl và chặn robots.txt của một URL cụ thể.

Lưu ý rằng công cụ “Robots.txt Tester” cũ của Google hiện đã ngừng hoạt động độc lập, nên bạn sẽ kiểm tra bằng cách nhập URL vào thanh kiểm tra. Sau đó, xem liệu Googlebot có bị chặn truy cập bởi file robots.txt không.

Kết quả hiển thị sẽ thông báo rõ:

• URL có được phép thu thập dữ liệu hay không
• Nếu không, nguyên nhân có phải do bị chặn từ robots.txt

Công cụ này rất hữu ích để xác minh sau mỗi lần cập nhật file.

Gửi file mới nếu cập nhật nội dung

Sau khi bạn chỉnh sửa hoặc thay đổi nội dung file robots.txt (ví dụ: gỡ bỏ lệnh chặn /blog/, hoặc thêm sitemap mới), hãy đảm bảo upload file mới lên thư mục gốc của website, cụ thể là tại đường dẫn:

https://yourdomain.com/robots.txt

Google sẽ tự động crawl lại file này sau một thời gian, nhưng nếu bạn muốn cập nhật nhanh hơn, có thể dùng Search Console để “Yêu cầu Google cập nhật”. Dù không có nút gửi trực tiếp như sitemap, bạn vẫn có thể kiểm tra trạng thái crawl sau 1–2 ngày để đảm bảo file mới đã được áp dụng.

Ngoài ra, đừng quên dùng các công cụ như robots.txt Checker để test cú pháp và cấu trúc file mới trước khi upload lên.

Theo dõi các lỗi bị chặn nhầm (cảnh báo)

Một trong những lý do phổ biến khiến thứ hạng website sụt giảm bất thường là file robots.txt chặn nhầm các trang quan trọng. Điều này thường xảy ra khi bạn:

• Sử dụng Disallow: / mà không nhận ra hệ quả
• Chặn thư mục chứa sitemap hoặc hình ảnh
• Ngăn bot truy cập JavaScript hoặc CSS cần thiết cho việc render trang

Google Search Console sẽ gửi cảnh báo nếu phát hiện các trang đang có lưu lượng truy cập tốt nhưng lại bị robots.txt chặn truy cập. Đây là dấu hiệu bạn cần kiểm tra lại tệp ngay.

Tốt nhất, bạn nên kiểm tra robots.txt định kỳ mỗi tháng một lần (hoặc sau bất kỳ thay đổi kỹ thuật nào trên site). Một tệp robots.txt tối ưu không chỉ ngăn được bot “đi lạc”, mà còn giúp Google hiểu rõ đâu là những nội dung đáng ưu tiên thu thập nhất.

Kết luận

Robots.txt có thể là một file nhỏ bé, nhưng vai trò của nó trong chiến lược SEO và vận hành website là không thể xem nhẹ. Khi được cấu hình đúng, nó giúp bạn kiểm soát quá trình thu thập dữ liệu, bảo vệ những khu vực nhạy cảm. Đồng thời, hướng bot tìm kiếm tập trung vào các nội dung quan trọng. Ngược lại, nếu cấu hình sai, robots.txt có thể khiến những trang giá trị bị “tàng hình” khỏi kết quả tìm kiếm. Gây ảnh hưởng trực tiếp đến traffic và hiệu quả kinh doanh.

Vì vậy, hãy dành thời gian để hiểu rõ cấu trúc của file robots.txt, kiểm tra định kỳ bằng Google Search Console, và luôn cẩn trọng khi thay đổi nội dung. Một vài dòng lệnh đúng lúc, đúng chỗ có thể giúp bạn tránh được những rủi ro lớn và góp phần xây dựng nền tảng SEO vững chắc cho toàn bộ website.