Thiết kế website
Có bao giờ bạn nghe nói về file robots.txt có thể tối ưu SEO chưa? Bạn không biết nó có hiệu quả hay không? Nó thực sự là một file quan trọng có tác dụng dẫn đường và chỉ lối cho bộ máy tìm kiếm. Bài viết này sẽ hướng dẫn bạn cách cài đặt file robots.txt để tối ưu SEO một cách hiệu quả.
1. Robots.txt là gì?
Robots.txt là một file dạng text mà khi xây dựng website bạn có thể tạo ra để nói cho những con bọ của bộ máy tìm kiếm rằng l àm thế nào để thu thập thông tin và index các trang trên website đó.
Bạn có thể tìm thấy file robots.txt ở thư mực gốc của website hay còn gọi là folder chính của website đó.
Về cơ bản một file robots.txt sẽ có dạng như này:
Nội dung của tập tin robots.txt
Bạn có thêm nhiều dòng khác trong cấu trúc trên để allow hoặc disallow một đường dẫn cụ thể nào đó và thêm nhiều sitemap khác. Click vào đây nếu bạn chưa biết cách tạo sitemal.xml: https://wifim.vn/sitemap-la-gi-cach-tao-sitemap-bang-yoast-seo/
Nếu bạn không muốn disallow một URL nào cả, thì các con bọ của công cụ tìm kiếm sẽ được phép thu thập tất cả mọi thứ trên website đó.
2. Cách hoạt động của robots.txt
- Khi bạn tạo mới một website, search engine sẽ gửi những con bọ máy tính (bots) tới để ‘quét’ qua nó và tạo ra một bản đồ chứa các trang web trong nó. Bằng cách này, chúng biết được trang nào cần thể hiện kết quả khi ai đó tìm từ khóa liên quan.
- Nhưng vấn đề nảy sinh khi các website hiện chứa nhiều thành phần hơn là trang web. WordPress cho phép bạn tạo plugins,thường thì nó có thư mục riêng của chúng. Bạn không muốn những trang này hiện lên kết quả tìm kiếm, vì nó không có nội dung giá trị.
- File robots.txt tạo ra một bộ chỉ dẫn cho search engine bots. Nó nói với chúng: “Hey, mày có thể xem ở đây, nhưng không đi vào những phòng khác ở kia!”. File này có thể rất chi tiết tùy theo mức độ bạn muốn. Nó cũng dễ tạo và không đòi hỏi kiến thức kỹ thuật gì nhiều.
- Trên thực tế, trình tìm kiếm sẽ quét site của bạn kể cả khi bạn không có cài file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bot sẽ index toàn bộ nội dung của bạn. Quét sâu đến độ có thể nó sẽ hiển thị những nơi bạn không muốn người khác truy cập vào.
- Hơn nữa, nếu không có file robots.txt, bạn sẽ có nhiều nhiều loại bots quét tới quét lui toàn bộ site của bạn. Vì vậy sẽ gây ảnh hưởng tiêu cực đến hiệu năng hoạt động của site. Tốc độ trang là yếu tố quan trọng để được tính xếp hạng. Vì vậy, tạo một file robots.txt chuẩn cho WordPress là cách đơn giản nhưng đạt hiệu quả cao cho website của bạn.
3. Tạo file robots.txt bằng Yoast SEO
Đầu tiên bạn phải tải plugin Yoast SEO và cấu hình.
Sau đó đăng nhập vào trang quản trị và có thể tạo nó bằng cách:
- Chọn vào menu SEO » Công cụ và chọn Trình chỉnh sửa tập tin
- Ngay sau đó Yoast SEO sẽ hiển thị file robots.txt bạn đã có:
- Nếu không có file robots.txt. Yoast SEO sẽ tạo giúp bạn bằng bấm vào nút dưới đây.
- Mặc định thì file robots.txt được Yoast SEO tạo có cấu trúc như sau:
Chúc các bạn thành công!
