Blog

Robots.txt Là Gì? Cách Tạo Robots.txt Cho WordPress Chuẩn SEO

Bạn vừa làm blog WordPress và nghe nói cần có file robots.txt để Google thu thập dữ liệu đúng cách, nhưng chưa rõ robots.txt là gì và nên viết thế nào. Chỉ cần sai một dòng trong file này, cả website có thể bị chặn khỏi Google. Bài viết dưới đây giải thích robots.txt bằng ngôn ngữ dễ hiểu và hướng dẫn tạo, chỉnh sửa, kiểm tra file robots.txt cho WordPress từng bước.

Robots.txt là gì?

Robots.txt là một tệp văn bản nhỏ nằm ở thư mục gốc của website (ví dụ tenmien.com/robots.txt). Tệp này đưa ra chỉ dẫn cho các trình thu thập dữ liệu (crawler, bot) như Googlebot, Bingbot biết được phép và không được phép truy cập những đường dẫn nào trên trang.

Có thể hình dung robots.txt như tấm biển ở cổng nhà: “Khách được vào phòng khách, không vào kho”. Bot của các công cụ tìm kiếm uy tín sẽ đọc tấm biển này trước khi đi vào website.

Một vài điểm cần nắm ngay từ đầu:

  • Robots.txt là hướng dẫn, không phải lớp bảo mật. Bot xấu có thể bỏ qua nó.
  • Robots.txt kiểm soát việc thu thập dữ liệu (crawl), không trực tiếp kiểm soát việc lập chỉ mục (index). Theo tài liệu của Google, một URL bị chặn bằng robots.txt vẫn có thể xuất hiện trên kết quả tìm kiếm nếu có trang khác liên kết tới nó.
  • Mỗi tên miền (và mỗi tên miền phụ) chỉ có một file robots.txt riêng, đặt đúng ở thư mục gốc.

Vì sao blog WordPress cần quan tâm tới robots.txt?

Với blog nhỏ, robots.txt không phải yếu tố giúp lên top. Tuy nhiên nó ảnh hưởng tới cách Google “đi lại” trong website của bạn:

  • Tránh lãng phí lượt thu thập dữ liệu vào các khu vực không có giá trị tìm kiếm như trang quản trị.
  • Khai báo vị trí sitemap để bot tìm thấy danh sách bài viết nhanh hơn.
  • Tránh lỗi nghiêm trọng: nhiều website mới vô tình để dòng Disallow: / khiến toàn bộ trang bị chặn thu thập.

Nếu bạn chưa có sitemap, hãy xem thêm bài Sitemap là gì? Cách tạo sitemap cho WordPress chuẩn SEO trước khi làm tiếp.

Cấu trúc và cú pháp cơ bản của file robots.txt

File robots.txt gồm các nhóm quy tắc. Mỗi nhóm bắt đầu bằng dòng User-agent cho biết quy tắc áp dụng cho bot nào, sau đó là các dòng cho phép hoặc chặn.

Lệnh Ý nghĩa Ví dụ
User-agent Tên bot được áp dụng quy tắc. Dấu * nghĩa là tất cả bot. User-agent: *
Disallow Đường dẫn không cho bot thu thập. Disallow: /wp-admin/
Allow Cho phép một đường dẫn con nằm trong khu vực bị chặn. Allow: /wp-admin/admin-ajax.php
Sitemap Địa chỉ đầy đủ của file sitemap. Sitemap: https://tenmien.com/sitemap_index.xml

Một vài quy tắc viết cần nhớ:

  • Tên file phải viết thường đúng là robots.txt, mã hóa UTF-8.
  • Đường dẫn trong Disallow/Allow phân biệt chữ hoa, chữ thường.
  • Dòng Disallow: để trống nghĩa là không chặn gì.
  • Dấu # dùng để ghi chú, bot sẽ bỏ qua phần phía sau.
  • Google không hỗ trợ lệnh Crawl-delay và lệnh Noindex trong robots.txt.

File robots.txt mặc định của WordPress

Khi bạn chưa tạo file robots.txt nào, WordPress tự sinh một file “ảo” (không có file thật trên hosting). Nội dung thường như sau:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tenmien.com/wp-sitemap.xml

Dòng Sitemap được WordPress thêm vào từ phiên bản 5.5 khi có tính năng sitemap tích hợp. Nếu bạn dùng Yoast SEO hoặc Rank Math, sitemap thường chuyển sang địa chỉ sitemap_index.xml của plugin.

Lưu ý: nếu trong Cài đặt → Đọc bạn tích ô “Ngăn chặn các công cụ tìm kiếm đánh chỉ mục website này”, WordPress sẽ phát tín hiệu yêu cầu không lập chỉ mục. Đây là nguyên nhân phổ biến khiến blog mới mãi không lên Google, nên hãy kiểm tra ô này trước tiên.

Mẫu robots.txt gợi ý cho blog WordPress

Với đa số blog cá nhân và blog affiliate, một file đơn giản là đủ. Không cần chặn quá nhiều thứ.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://tenmien.com/sitemap_index.xml

Giải thích nhanh:

  • Chặn /wp-admin/ vì đây là khu vực quản trị.
  • Cho phép admin-ajax.php vì một số theme, plugin cần file này để hiển thị đúng.
  • Chặn trang kết quả tìm kiếm nội bộ (/?s=, /search/) vì chúng tạo ra rất nhiều URL trùng lặp, ít giá trị.
  • Thay tenmien.com và địa chỉ sitemap bằng thông tin thật của bạn.

Không nên chặn các thư mục /wp-content/ hay /wp-includes/. Google cần tải CSS, JavaScript và hình ảnh để hiểu bố cục trang. Chặn nhầm các thư mục này có thể khiến Google hiển thị trang sai.

Cách tạo và chỉnh sửa robots.txt cho WordPress

Có hai cách phổ biến, chọn cách nào thuận tiện với bạn.

Cách 1: Dùng plugin Yoast SEO

  1. Vào trang quản trị WordPress, chọn Yoast SEO → Công cụ (Tools).
  2. Bấm Trình chỉnh sửa tập tin (File editor).
  3. Nếu chưa có file, bấm nút Tạo tập tin robots.txt.
  4. Dán nội dung mẫu ở trên, sửa tên miền và sitemap, rồi bấm Lưu thay đổi.

Nếu không thấy mục File editor, có thể hosting hoặc cấu hình WordPress đang tắt quyền sửa file. Khi đó hãy dùng cách 2. Rank Math cũng có chức năng tương tự trong phần Cài đặt chung → Chỉnh sửa robots.txt.

Cách 2: Tạo file thủ công qua trình quản lý file của hosting

  1. Mở máy tính, tạo file văn bản tên robots.txt và dán nội dung mẫu.
  2. Đăng nhập trang quản lý hosting, mở File Manager (trình quản lý tệp).
  3. Vào thư mục gốc của website (thường là public_html), tải file robots.txt lên.
  4. Truy cập tenmien.com/robots.txt trên trình duyệt để xem file đã hiển thị đúng chưa.

Khi đã có file robots.txt thật trong thư mục gốc, WordPress sẽ không dùng file ảo mặc định nữa.

Nếu bạn chưa có hosting hoặc đang tìm nơi đặt blog WordPress, Hostinger có hPanel với File Manager và công cụ cài WordPress khá dễ dùng cho người mới. Bạn có thể tham khảo qua link giới thiệu Hostinger (đây là link giới thiệu, chúng tôi có thể nhận hoa hồng nếu bạn đăng ký qua link này). Hướng dẫn chi tiết có trong bài Cách cài WordPress trên Hostinger từng bước cho người mới.

Cách kiểm tra robots.txt bằng Google Search Console

Sau khi chỉnh sửa, bạn nên kiểm tra để chắc chắn Google đọc được file:

  1. Đăng nhập Google Search Console, chọn website của bạn.
  2. Vào Cài đặt → Thu thập dữ liệu → robots.txt để xem báo cáo. Báo cáo này cho biết Google đã tải file lúc nào, có lỗi hay cảnh báo gì không.
  3. Dùng công cụ Kiểm tra URL với một bài viết bất kỳ để xác nhận bài không bị chặn bởi robots.txt.

Nếu chưa cài Search Console, xem bài Google Search Console là gì? Cách cài cho blog WordPress.

Những lỗi thường gặp khi dùng robots.txt

  • Chặn toàn bộ website bằng Disallow: / (thường do để lại từ giai đoạn xây dựng web).
  • Dùng robots.txt để ẩn trang khỏi Google. Muốn một trang không xuất hiện trên kết quả tìm kiếm, hãy dùng thẻ noindex (Yoast có tùy chọn này trong từng bài). Lưu ý không chặn trang đó bằng robots.txt, nếu không Google sẽ không đọc được thẻ noindex.
  • Chặn CSS, JS, hình ảnh trong /wp-content/.
  • Đặt sai vị trí: file phải nằm ở thư mục gốc, không nằm trong thư mục con.
  • Ghi sai đường dẫn sitemap hoặc dùng đường dẫn tương đối thay vì URL đầy đủ.
  • Đưa thông tin nhạy cảm vào robots.txt. File này công khai, ai cũng đọc được, nên đừng liệt kê các thư mục bạn muốn giấu.

Câu hỏi thường gặp (FAQ)

Website WordPress không có robots.txt thì có sao không?

Không gây lỗi nghiêm trọng. WordPress tự tạo file robots.txt ảo, và khi không có file, Google sẽ hiểu là được phép thu thập toàn bộ. Tuy vậy, tự tạo file giúp bạn chủ động khai báo sitemap và chặn các khu vực không cần thiết.

Chặn trang bằng robots.txt có làm trang biến mất khỏi Google không?

Không chắc chắn. Robots.txt chỉ ngăn thu thập nội dung. Nếu trang có liên kết từ nơi khác, Google vẫn có thể hiển thị URL đó. Muốn trang không xuất hiện, hãy dùng thẻ noindex hoặc bảo vệ bằng mật khẩu.

Sửa robots.txt xong bao lâu Google cập nhật?

Theo tài liệu của Google, Google thường lưu bộ nhớ đệm robots.txt tối đa khoảng 24 giờ. Trong báo cáo robots.txt của Search Console, bạn có thể yêu cầu Google thu thập lại file khi cần cập nhật gấp.

Có nên chặn bot AI trong robots.txt không?

Tùy mục tiêu của bạn. Một số bot AI như GPTBot (OpenAI) hay Google-Extended (Google) có tên riêng và tuân thủ robots.txt, nên bạn có thể chặn bằng nhóm User-agent tương ứng. Chặn hay không là lựa chọn cá nhân; việc chặn Google-Extended không ảnh hưởng tới việc bài viết xuất hiện trên Google Tìm kiếm.

Kết luận

Hiểu robots.txt là gì giúp bạn tránh được những lỗi khiến blog “vô hình” trước Google. Với blog WordPress, chỉ cần một file ngắn gọn: chặn trang quản trị, trang tìm kiếm nội bộ và khai báo sitemap là đủ. Hãy mở ngay tenmien.com/robots.txt của bạn để kiểm tra, chỉnh lại theo mẫu trong bài và xác nhận bằng Google Search Console. Nếu thấy bài hữu ích, hãy tiếp tục đọc cách viết bài chuẩn SEO cho người mới để hoàn thiện nền tảng SEO cho blog.

Để lại một bình luận