Cách tạo file robots.txt cho wordpress

Để xuất hiện trên Top tìm kiếm, bạn cần để “bots” truy cập vào những trang quan trọng trên website. Và file robots.txt là file dùng để quản lý truy cập của những bots này tới trang bạn muốn. Tham khảo bài dưới đây để biết chi tiết cách tạo file robots.txt cho WordPress nhé!

1. File robots.txt là gì?

Một website mới thành lập sẽ có bots do công cụ tìm kiếm gửi tới để ‘quét’ dữ liệu. Bạn có thể hiểu nôm na, bots chức năng tựa như những con bọ máy tính.

Bots sẽ giúp tạo ra một bản đồ chứa các trang web trong nó. Bản đồ này sẽ giúp nó biết được trang nào cần hiển thị khi có người tìm từ khóa liên quan.

Chắc chắn, bạn sẽ có ít nhất đôi lần cài đặt thêm những plugin trong quá trình sử dụng website. Những plugin ấy sẽ tạo nên những thư mục riêng và không có giá trị khi hiển thị. Và file robots.txt sẽ làm nhiệm vụ chỉ đường, hướng dẫn cho bots tìm kiếm dữ liệu. Nó sẽ chỉ cho bots biết chỗ nào nên lấy dữ liệu, chỗ nào không.

Nếu không có file robots.txt, nhiều loại bots có thể sẽ quét đi quét lại toàn bộ website của bạn. Như thế, sẽ gây nên tình trạng chậm tải trang. Và đương nhiên, chẳng có ai lại thích phải đợi lâu cả. Nhiều người thiếu kiên nhẫn sẽ rời bỏ website của bạn nếu phải đợi lâu.

File robots.txt sẽ làm nhiệm vụ chỉ đường cho bots tìm kiếm dữ liệu.

Mẫu file robots.txt chuẩn cho WordPress

Dưới đây là mẫu file robots.txt chuẩn cho WordPress được rất nhiều người sử dụng. Dưới đây sẽ là mẫu file robots.txt chuẩn dành cho WordPress:

User-agent”: *

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /license.txt

Disallow: /?s=*

Allow: /wp-admin/admin-ajax.php

Allow: /wp-admin/images/*

Lưu ý: Nếu bạn chặn Google và các công cụ tìm kiếm dữ liệu trong các thư mục /wp-content/plugins và /wp-content/themes, Google sẽ có nhận định không chính xác về giao diện website/blog của bạn.

File robots.txt giống như người dẫn đường cho Search Engine Bots.

2. Cách tạo file robots.txt cho WordPress

Ba cách dưới đây sẽ giúp bạn tạo file robots.txt cho WordPress:

Cách 1: Sử dụng plugin Yoast SEO

Yoast SEO là plugin phổ biến nhất trong WordPress website. Đây là plugin mà hầu hết người dùng WordPress website đều cài đặt. Nếu đã cài đặt plugin Yoast SEO, bạn tạo file robots.txt cho WordPress theo các bước sau:

Bước 1: Truy cập vào tab SEO trong trang admin WordPress.

Bước 2: Vào phần Tools trong dashboard.

Bước 3: Tìm tới mục gọi là File editor.

Bước 4: Click vào link đó và bạn sẽ thấy xuất hiện một trang mới để có thể chỉnh sửa file .htaccess.

Bước 5: Bạn tìm nút gọi là Create robots.txt file.

Bước 6: Ấn vào đó để tạo file robots.txt.

Bước 7: Một tab hiển thị editor mới sẽ hiện ra để chỉnh sửa file robots.txt trực tiếp.

Bước 8: Bạn ấn nút Thêm mới hoặc xóa rule cũ.

Bước 9: Nhấn Save changes to robots.txt để lưu lại.

Yoast SEO là plugin phổ biến nhất trong WordPress website.

Cách 2: Qua bộ plugin All in One SEO Pack

Bạn có thể sử dụng plugin All in One SEO Pack để tạo file robots.txt. So với Yoast SEO, nó có những tính năng tương tự nhưng nhẹ hơn. Vì thế, nó giúp tốc độ tải trang nhanh hơn. Nhiều người dùng thích nó là vì thế.

Sau khi cài đặt plugin này, bạn tiến hành tạo file robots.txt theo các bước sau:

Bước 1: Truy cập trang Dashboard.

Bước 2: Chuyển tới mục All in One SEO

Bước 3: Chọn Feature Manager.

Bước 4: Tìm tùy chọn có tên Robots.txt.

Bước 5: Nhấn nút Activate ngay bên dưới.

Lúc này, một tab Robots.txt mới sẽ hiện bên dưới menu All in One SEO. Bạn có thể thêm rules mới hoặc xóa đi.

Ở All in One SEO, có một điều hơi khác chút ít so với Yoast SEO. Đó là nó không cho phép bạn thay đổi file robots.txt trực tiếp. Sẽ bất tiện đôi chút, tuy nhiên bù lại nó sẽ giúp bạn tránh việc ghi lỗi cho file robots.

Bạn có thể sử dụng plugin All in One SEO Pack để tạo file robots.txt.

Cách 3: Tạo rồi upload file robots.txt WordPress qua FTP

Đây được xem là cách đơn giản nhất để tạo file robots.txt. Cách làm như sau:

Bước 1: Mở text editor bạn thích. Có thể là NotePad hoặc TextEdit.

Bước 2: Gõ vài dòng vào đó và lưu lại dưới bất kỳ tên nào. Chú ý chọn loại file là txt.

Bước 3: Kết nối tới website qua phương thức trao đổi tập tin FTP.

Bước 4: Chuyển vào thư mục public_html sau khi đã kết nối thành công.

Bước 5: Kéo thả file robots.txt từ máy tính sang tới server.

Bạn cần kiểm tra lỗi file robots.txt sau khi tạo.

Sau khi đã tạo file thành công, bạn cần dùng Google Search Console để kiểm tra lỗi. Đây là một công cụ giúp kiểm tra tình trạng hiển thị nội dung site của bạn trên trình tìm kiếm. Cách kiểm tra như sau:

– Đăng nhập vào Console.

– Chuyển tới tab robots.txt Tester.

– Nhập code của file robots.txt vào trường editor.

– Click vào nút Submit code mới về từ site của bạn.

– Nhấn Ask Google to Update để gửi lên Google.

– Đợi kết quả từ Google.

Trên đây là 3 cách tạo file robots.txt cho wordpress. Bạn tham khảo và chọn cho mình phương án phù hợp nhất nhé! Chúc các bạn thành công!