Hướng dẫn tạo file robots.txt cho WordPress

Quảng cáo
Ads_ngang
Website dinhthuanit.com có bài Hướng dẫn tạo file robots.txt cho WordPress Muốn cho search engine có thể quét được site của bạn. Đừng bao giờ quên tùy chỉnh file robots.txt cho WordPress để chặn bớt những bot độc hại và cho phép bot của Google và Bing tìm đúng khu vực chứa thông tin hữu dụng cho người tìm kiếm nhé. Hãy xem hướng dẫn tạo file robots.txt cho WordPress:

Để chắc là website của bạn xuất hiển thị trên Trang kết quả kiếm tìm – Search Engine Result Pages (SERPs), bạn cần để “bots” truy cập vào những trang quan trọng trên website. File robots.txt  được viết tốt cũng đều có thể dùng để làm quản lý truy cập của những bots này tới trang bạn muốn (để tránh nó quét những nơi chẳng cần thiết). Trong bài này, chúng tôi sẽ chỉ dẫn tạo file robots.txt cho WordPress như sau:

  1. File robots.txt  là gì và vì sao nó quan trọng
  2. File robots.txt  WordPress được đặt ở đâu.
  3. Làm ra sao để tạo file robots.txt .
  4. Luật nào nên được dùng trong file robots.txt WordPress .
  5. Làm làm sao để kiểm tra lại  robots.txt  file, và gửi nó lên Google Search Console .

Sau lúc đọc xong bài này, bạn sẽ biết tất cả tất cả để cấu hình một file  robots.txt hoàn mỹ cho WordPress website của bạn. Hãy bắt đầu thôi!

WordPress  robots.txt là gì (và lý do bạn phải sử dụng nó)

ví dụ robots

Khi bạn tạo mới một website, search engine sẽ gửi những con bọ máy tính (bots) tới để ‘quét’ qua nó và tạo nên một bản đồ chứa các trang web trong nó. Bằng cách này, chúng biết được trang nào cần thể hiện kết quả khi ai đó tìm từ khóa liên quan. Cơ bản như vậy là đã đủ.

Nhưng vấn đề nảy sinh lúc các website hiện chứa nhiều thành phần hơn là trang web. WordPress cho phép bạn tạo plugins, thông thường nó có thư mục riêng của chúng. Bạn sẽ không thích những trang này hiện lên kết quả tìm kiếm, vì thực ra nó không có nội dung giá trị.

File robots.txt tạo nên một bộ hướng dẫn cho search engine bots. Nó nói với chúng: “Hey, mày có thể xem ở đây, nhưng vẫn không đi vào những phòng khác ở kia!”. File này cũng đều có thể rất chi tiết tùy theo mức độ bạn muốn. Nó cũng dễ làm và không yêu cầu kiến thức kỹ thuật gì nhiều.

Trên thực tế, trình kiếm tìm sẽ quét site của bạn bao gồm những lúc bạn không có cài file robots.txt . Nhưng sẽ không đạt hiểu quả cao, do bot sẽ index toàn bộ nội dung của bạn, và quét sâu đến độ cũng có thể nó sẽ hiển thị những nơi bạn không thích người khác truy cập vào.

Hơn nữa, nếu không có file robots.txt , bạn sẽ được không ít nhiều loại bots quét tới quét lui toàn bộ site của bạn. Vì vậy sẽ gây ảnh hưởng tiêu cực đến hiệu năng hoạt động của site. Tốc độ trang là nhân tố quan trọng để được xem xếp hạng. Và như bạn biết, không có ai thích vào một site truy cập chậm khả (kể cả chủ trang web như chúng ta!). Vì vậy, tạo một file robots.txt chuẩn cho WordPress là cách đơn giản nhưng đạt hiệu quả cao cho website của bạn.

File robots.txt WordPress nằm ngay đâu

Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của server. Ví dụ, nếu site của bạn đặt trong thư mục gốc của địa chỉ yourfakewebsite.com , bạn sẽ được thể truy cập file robots.txt ở đường dẫn yourfakewebsite.com/robots.txt, kết quả ban đầu sẽ tựa như như sau:

 User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ 

Đây là ví dụ file robots.txt cơ bản. Phần sau User-agent: Dấu * có nghĩa là quy tắc được áp dụng cho mọi loại bots trên mọi nơi trên website. Trong trường hợp này, file này sẽ nói cho bots biết là chúng không được phép vào trong file thư mục wp-admin wp-includes . Rất hợp lý phải không, vì 2 thư mục này chứa biết bao file tin tức nhạy cảm.

Hãy nhớ, đây là một file ảo, do WordPress tự thiết lập mặc định khi cài đặt và không chỉnh sửa được (mặc dù nó vẫn hoạt động). Thường thì, địa thế file robots.txt WordPress chuẩn được đặt trong thư mục gốc, thường được coi là public_html www (hoặc tên website). Và để tạo file robots.txt cho riêng bạn thì bạn phải tạo một file mới để thay thế file cũ đặt trong thư mục gốc đó.

thư mục gốc của website

Ở chỉ dẫn tiếp theo, chúng tôi sẽ chỉ bạn nhiều cách để tạo mới file robots.txt cho WordPress chỉ trong một phút. Giờ thì, hãy nghiên cứu về các quy tắc (rules) mà bạn nên sử dụng trong file này.

Quy tắc nào cần phải được thêm nữa trong file robots.txt WordPress

Ở phần trước, bạn đã thấy ví dụ một file WordPress robots.txt . Nó chỉ có 2 rules ngắn, nhưng hầu hết các website đều có thiết lập nhiều hơn như vậy. Hãy nhìn vào 2 file robots.txt sau để chúng tôi chỉ cho bạn sự khác biệt của chúng nhé.

Ví dụ file WordPress robots.txt đầu tiên:

 User-agent: * Allow: / # Disallowed Sub-Directories Disallow: /checkout/ Disallow: /images/ Disallow: /forum/ 

Đây là file robots.txt đúng cho website với một diễn đàn. Search engine sẽ thường index những chủ đề trong forum. Tùy vào loại forum là gì, tuy nhiên, thông thường bạn nên disallow it (không cấp phép quét). Bằng cách này, Googles sẽ không phải index hằng trăm threads (chủ đề) mà người sử dụng tạo nên mỗi sáng cho các câu truyện bên lề. Bạn có thể cài đặt rules để định vị loại sub-forum nào cần tránh, và để search engines quét phần còn lại.

Bạn sẽ thấy có dòng Allow: / trên cùng của file. Dòng này cho bots (bọ máy tính) biết là chúng có thể quét mọi thứ những trang trên website, ngoại trừ các trang bên dưới đặt trong phần Disallow: . Như bạn nhận thấy, chúng tôi cũng sử dụng dấu * để áp luật lên universal (toàn trang), giống với file mặc định ảo của robots.txt .

Giờ, hãy nhìn qua tỉ dụ thứ 2 về cách tạo file robots.txt cho WordPres:

 User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ User-agent: Bingbot Disallow: / 

Trong file này, chúng tôi sử dụng rules giống như file mặc định của WordPress. Tuy nhiên, chúng tôi còn đặt thêm 1 số rules để chặn Bing’s search bot quét website của bạn. Bingbot là tên của Bot của Bing search engine.

Bạn có thể tùy chỉnh đúng loại bot của trình tìm kiếm nào cũng có thể có thể truy cập website của bạn, và loại nào không được. Trên thực tế, Bingbot cũng tốt (mặc dù không tốt bằng Googlebot). Nhưng có nhiều những bots độc hại ngoài kia.

Một tin xấu hơn nữa là chúng cũng không đoái hoài đến chỉ dẫn trong file robots.txt của bạn (chúng độc hại mà cần gì làm theo luật). Điều này có nghĩa là bots chỉ làm theo chỉ dẫn trong file robots.txt, nhưng vẫn không có nghĩa là file robots.txt bắt buộc các bots cần làm theo.

Nếu bạn tìm hiễu trên mạng, có biết bao đề nghị rằng bạn nên chặn bots nào và cấp phép bots nào trên WordPress website của bạn. Tuy nhiên, với hiểu biết của chúng tôi, càng ít rules chừng nào càng tốt chừng đó. Đây là tỉ dụ bạn nên sử dụng để tạo file robots.txt đúng cho WordPress:

 User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ 

Mặc định, WordPress sẽ chặn thư mục wp-admin wp-includes . Tuy nhiên, điều này không còn được gọi là tốt nữa. Hơn nữa, nếu bạn thêm metada vào ảnh của bạn để tăng tối ưu hóa kiếm tìm (SEO), vậy thì đừng nên chặn bot truy cập vào các thông tin đó phải không. Thay vào đó, 2 rules trên là những gì cơ bản nhất mà một site bình thường cần.

Bạn còn cần thêm gì trong file robots.txt sẽ tùy thuộc vào loại nội dung và nhu cầu của bạn. Giờ thì, hãy xem qua cách để tạo file robots.txt cho WordPress website nhé!

Làm thế nào để tạo file robots.txt cho WordPress (3 cách)

Sau khi bạn đã quyết định rule nào sẽ có đặt trong file robots.txt , phần còn lại là tạo nó thôi. Bạn cũng có thể có thể chỉnh sửa file r obots.txt trong WordPress bằng plugin hoặc thủ công. Trong phần này, chúng tôi sẽ chỉ bạn dùng 2 plugin thông dụng để tạo file robots.txt cho WordPress và cách thủ công để tạo file robots.txt rồi upload lên host. Hãy bắt đầu thôi nào!

1. Sử dụng Yoast SEO

plugin yoast seo

Yoast SEO thì chắc chẳng càng phải giới thiệu nữa. Bất kỳ ai cần SEO cho WordPress website chắc đã có cài plugin này. Nó chỉ dẫn bạn tối ưu bài viết và từng trang web bằng phương pháp tận dụng từ khóa tốt hơn. Ngoài ra, nó cũng giúp bạn tăng khả năng dễ đọc của bài viết, giúp cho bài viết giữ chân người đọc lâu hơn.

Đối với chúng tôi, chúng tôi là fan hâm mộ của Yoast SEO vì tính tiện dụng của nó. Cách tạo file robots.txt cũng đơn giản nếu bạn đã có pluign này. Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của bạn, tìm về mục xem là File editor:

file editor

Click vào link đó sẽ gửi bạn tới trang mới, nơi bạn cũng có thể có thể chỉnh sửa file .htaccess mà chẳng cần thoát dashboard (trang admin WordPress). Có một nút gọi là  Create robots.txt file , sẽ giúp bạn tạo file robots.txt:

tạo robots.txt

Khi bạn click vào nút này, tab sẽ hiển thị editor mới nơi bạn có thể chỉnh sửa file robots.txt trực tiếp. Lưu ý là Yoast SEO sẽ đặt giá trị mặc định của nó, để ghi đè lên file ảo robots.txt.

Mỗi khi bạn thêm rules mới hoặc xóa rules cũ, nhớ click nút Save changes to robots.txt để lưu lại:

lưu thay đổi robots

Vậy là xong, bạn đã tạo xong file robots.txt đúng cho WordPress. Giờ hãy xem cách tạo bằng plugin khác, cũng nổi tiếng không kém.

2. Qua bộ plugin All in One SEO Pack

all in one seo pack

All in One SEO Pack là một plugin rất nổi tiếng trong giới WordPress SEO. Nó kể cả tất cả các tính năng của Yoast SEO, nhưng nhiều người thích nó hơn vì nó nhẹ hơn. Cũng như vậy với việc tạo file robots.txt cho WordPress, nếu có plugin này thì mọi chuyện rất dễ dàng.

Sau khi bạn đã hoàn chỉnh set up plugin này, chuyển tới mục All in One SEO > Feature Manager trong dashboard. Ở trong đó, hãy tìm tùy chọn mang tên Robots.txt , với nút Activate ngay bên dưới. Click vào nó:

kích hoạt robots

Giờ, tab mới Robots.txt sẽ hiện bên dưới menu All in One SEO . Bạn click vào kia sẽ thấy nhiều lựa chọn để thêm rules mới cho file, lưu thay đổi hoặc xóa nó đi:

thêm rules mới

Lưu ý là bạn chưa thể thay đổi file robots.txt trực tiếp từ plugin này. Phần nội dung sẽ bị mờ đi, khác với Yoast SEO là cho bạn gõ tùy thích vào file:

robots bị xám đi

Việc này có vẻ hơi không tiện nhưng nó sẽ tránh giúp bạn việc ghi lỗi cho file robots khiến site bị thiệt hai. Thêm rules mới rất đơn giản, All in One SEO Pack có đính kèm nhiều tính năng để giúp bạn chặn ‘bad’ bots (bots độc hại), chỉ cần vào tab A ll in One SEO là thấy:

chặn bad bot

Vậy là xong. Giờ, hãy nói tiếp đến việc tạo file robots.txt hợp lý cho WordPress thủ công nếu mà bạn không muốn cài thêm plugin.

3. Tạo rồi upload file robots.txt WordPress qua FTP

Không có gì dễ hơn tạo một file txt.  Bạn chỉ việc mở text editor bạn thích (NotePad hoặc TextEdit), gõ vào vài dòng vào trong đó, đọng lại dưới bất kỳ tên nào, chọn loại file là  txt. Chỉ mất khoảng 1 đến 2 phút để làm vấn đề này nên bạn có thể đơn giản tạo file ro bots.txt trong WordPress mà không cần tới plugin.

Đây là một tỉ dụ của file robots.txt:

ví dụ file robots

Sau khi bạn tạo xong, bạn cần kết nối tới website qua FTP. Nếu vẫn không biết  làm, không sao, chúng tôi có bài chỉ dẫn chỉ kết nối tới website qua FileZilla tại đây.

Sau khi đã kết nối thành công, chuyển vào thư mục public_html . Tại đây, bạn chỉ cần upload (kéo thả) file robots.txt từ máy tính sang tới server là được. Bạn cũng có thể làm vậy bằng phương pháp nhấp chuột phải vào file và chọn upload:

upload robots file

Vậy là xong, thường chỉ mất 1 giây để upload hoàn chỉnh vì file này rất nhẹ. Phương pháp có thể giúp bạn upload robots.txt wordpress mà chẳng cần thông qua plugin.

Kiểm tra xem file WordPress robots.txt có hoạt động không và gửi nó lên Google Search Console

Khi file chuẩn WordPress robots.txt đã được tạo và upload thành công, bạn cũng có thể dùng  Google Search Console để kiểm thử nó xem có lỗi không. The Search Console là bộ tools mà Google cung cấp để kiểm tra nội dung site của bạn hiển thị như làm sao với trình tìm kiếm. Một trong những các tools đây là để kiểm tra robots.txt .  Để sử dụng, bạn đăng nhập vào console, và chuyển tới tab robots.txt Tester :

search console tester robots

Bên trong, bạn sẽ thấy trường editor mà bạn có thể nhập code của file robots.txt vào, click vào nút Submit . Google Search Console sẽ hỏi bạn có muốn dùng code mới không, hoặc kéo file mới về từ site của bạn. Nhấn vào nút Ask Google to Update để gửi lên Google:

gửi code robots lên google

Giờ, Google sẽ kiểm tra file có lỗi không. Nếu có, nó sẽ cho bạn biết. Tuy nhiên, giờ chắc bạn đã biết phương pháp tạo file robots.txt đúng cho WordPress, khả năng lớn là file của bạn sẽ hoàn hảo!

Lời kết

Để tăng khả năng tiếp cận của site lên trình tìm kiếm, bạn phải chắc là bot của search engine khỏi bị chặn, và có thể crawl (quét) đúng những khu vực nó cần, đúng các thông tin quan trọng. Như bạn thấy, một file robots.txt chuẩn sẽ giúp bots tương tác tích cực với site của bạn thế nào. Từ đó, tin tức của bạn sẽ có hiển thị chính xác hơn, hữu dụng hơn cho người tìm kiếm.

Nếu bạn có bất kỳ câu hỏi nào về việc tạo file robots.txt cho WordPress, hãy để lại bình luận bên dưới nhé!

Từ khóa bài viết: dinhthuanit.com,

Bài viết Hướng dẫn tạo file robots.txt cho WordPress được tổng hợp và biên tập bởi: dinhthuanit.com. Mọi ý kiến đóng góp và phản hồi vui lòng gửi Liên Hệ cho dinhthuanit.com để điều chỉnh. dinhthuanit.com xin cảm ơn.

Bài Viết Liên Quan


Bài Viết Khác


Quảng cáo
Ads_ngang