Bạn muốn tối ưu hóa robots.txt WordPress của bạn? Bạn không biết lý do tại sao và làm thế nào mà file robots.txt lại quan trọng đối với SEO? Trong bài viết này, chúng tôi sẽ cho bạn thấy làm thế nào để tối ưu hóa WordPress robots.txt cho SEO và giúp bạn hiểu tầm quan trọng của tập tin robots.txt.
Gần đây, một người sử dụng hỏi chúng tôi họ cần một tập tin robots.txt và tầm quan trọng của nó là gì? tập tin robots.txt của trang web đóng một vai trò quan trọng trong hoạt động SEO tổng thể của trang web. Về cơ bản nó cho phép bạn kết nối với công cụ tìm kiếm và cho họ biết phần nào của trang web nên index.
File Robots.txt có thực sự cần thiết?
Sự vắng mặt của một tập tin robots.txt sẽ không cản trở công cụ tìm kiếm thu thập thông tin và index trang web. Tuy nhiên, chúng tôi rất khuyến khích bạn tạo ra một file như thế. Nếu bạn muốn gửi sitemap XML của trang web để tìm kiếm công cụ, thì đây là nơi mà công cụ tìm kiếm sẽ tìm các sitemap XML của website, trừ khi bạn đã xác định nó trong Google Webmaster Tools.
Chúng tôi khuyên rằng nếu bạn không có một tập tin robots.txt trên trang web của bạn, thì bạn hãy tạo một file ngay lập tức.
file Robots.txt ở đâu? Làm thế nào để tạo một file Robots.txt?
file Robots.txt thường nằm trong thư mục gốc của trang web. Bạn cần phải kết nối với trang web của bạn bằng việc sử dụng một ứng dụng FTP hoặc bằng cách sử dụng trình quản lý file cPanel để xem nó.
Nó chỉ giống như bất kỳ tập tin văn bản bình thường, và bạn có thể mở nó bằng một trình soạn thảo văn bản đơn giản như Notepad.
Nếu bạn không có một tập tin robots.txt trong thư mục gốc của trang web của bạn, thì bạn nên tạo 1 tập file mới. Tất cả bạn cần làm là tạo ra một file mới trên máy tính và lưu nó là robots.txt. Tiếp theo, bạn chỉ cần tải nó lên thư mục gốc của trang web.
Cách sử dụng file Robots.txt?
Định dạng cho file robots.txt khá đơn giản. Dòng đầu tiên thường là tên của user-agent. Các user agent chính là tên của các chương trình tìm kiếm bạn đang cố gắng kết nối. Ví dụ, Googlebot hoặc Bingbot. Bạn có thể sử dụng dấu * để hướng dẫn tất cả chương trình.
Các dòng tiếp theo là Allow hoặc Disallow hướng dẫn cho công cụ tìm kiếm, vì vậy họ biết những phần nào bạn muốn họ index và phần nào không.
Cùng xem một file robots.txt mẫu:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
Trong ví dụ này tập tin robots.txt cho WordPress, chúng tôi đã index cho tất cả các hình ảnh của chúng tôi.
Trong hai dòng tiếp theo, chúng tôi đã không cho phép họ index thư mục plugins WordPress và file readme.html.
Tối ưu hóa Robots.txt cho SEO
Trong hướng dẫn cho các webmaster, Google khuyên các quản trị web không sử dụng tập tin robots.txt để ẩn nội dung chất lượng thấp. Nếu bạn đang suy nghĩ về việc sử tập tin robots.txt để ngăn không cho Google ghi lại các thể loại, ngày, và các trang lưu trữ khác, thì đó có thể không phải là một lựa chọn khôn ngoan.
Hãy nhớ rằng, mục đích của robots.txt là để chỉ dẫn chương trình làm việc với các nội dung mà họ thu thập thông tin trên trang web của bạn. Nó sẽ không dừng lại việc thu thập thông tin trang web của bạn.
WordPress có các chức năng khác mà cho phép bạn thêm các thẻ meta như nofollow và noindex trong các trang lưu trữ. WordPress SEO plugin cũng cho phép bạn làm điều này. Chúng tôi không khuyên bạn nên có các trang lưu trữ de-index, nhưng nếu bạn muốn làm điều đó, thì đây là cách tích hợp.
Bạn không cần phải thêm chức năng đăng nhập vào trang WordPress, hay thư mục admin, hoặc trang đăng ký vào robots.txt vì đăng nhập và đăng ký các trang có thẻ noindex được thêm vào như thẻ meta bởi WordPress.
Bạn không nên cho phép tập tin readme.html trong file robots.txt của bạn. File readme.txt này có thể được sử dụng bởi một người đang cố gắng tìm ra những phiên bản của WordPress mà bạn đang sử dụng. Và dựa vào đó để tìm các lỗ hổng liên quan đến phiên bản đang sử dụng.
Mặt khác, nếu một người nào đó đang chạy một truy vấn độc hại để xác định vị trí các trang web WordPress, thì tag disallow này có thể bảo vệ bạn khỏi những cuộc tấn công hàng loạt.
Bạn cũng có thể khóa các thư mục plugin WordPress. Điều này sẽ tăng cường an ninh của trang web của bạn nếu ai đó đang tìm kiếm một plugin dễ bị tổn thương để khai thác cho một cuộc tấn công hàng loạt. Bạn cũng có thể vô hiệu hóa PHP trong một vài thư mục WordPress đẻ tăng cường bảo vệ cho trang web.
Thêm XML Sitemap vào Robots.txt file
Nếu bạn đang sử dụng WordPress SEO Plugin của Yoast hoặc một số plugin khác để tạo sitemap XML, thì plugin của bạn sẽ tự động thêm dòng sitemap liên quan vào file robots.txt.
Tuy nhiên nếu nó không thành công, thì plugin của bạn sẽ hiển thị cho bạn những liên kết đến XML Sitemaps, bạn có thể thêm vào tập tin robots.txt của bạn:
Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Robots.txt file trông thế nào?
Thành thật mà nói, nhiều blog nổi tiếng sử dụng file robots.txt rất đơn giản. nội dung của họ khác nhau, tùy thuộc vào nhu cầu của các trang web cụ thể:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Tập tin robots.txt này chỉ đơn giản là nói với tất cả các chương trình để chỉ số hóa tất cả các nội dung và cung cấp link đến sitemap XML của trang web.
Dưới đây là một ví dụ về một tập tin robots.txt, đây là lần đầu tiên chúng tôi sử dụng chúng trên Diều Hâu:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /suggests/ Sitemap: https://dieuhau.com/post-sitemap.xml Sitemap: https://dieuhau.com/page-sitemap.xml
Chúng tôi hy vọng bài viết này giúp bạn tìm hiểu làm thế nào để tối ưu hóa robots.txt của bạn cho SEO. Nếu bạn nào chưa có file robots.txt cho riêng mình thì hãy tạo ngay lúc này. Bạn nghĩ sao về cấu trúc của file robots.txt mà chúng tôi đã đề cập bên trên? Bạn nghĩ nó đã đủ hay còn thiếu gì nữa? Hãy để lại bình luận bên dưới bài viết cho chúng tôi thấy ý kiến của bạn.Chúng tôi hi vọng bạn có thể tham khảo thêm bài viết liệu shared hosting có ảnh hưởng đến thứ hạng seo không?.
