Trang chủ >

Tìm kiếm trên diễn đàn

Help! Robot.txt

Tham gia : 07/09/2018
Website : mrlongrd@gmail.com
mrlongrd@gmail.com
Gửi vào lúc : 21/10/2012

mọi người ơi ! ai có thể hướng dẫn giúp mình tạo file robot.txt được không ? . và nên dùng nó khi nào ???

Web Mình Là : http://giaypatinvn.com/

nguyenkhanhlinh603@yahoo.com
Gửi vào lúc : 21/10/2012

File chính xác là robots.txt. Nó là 1 file hướng dẫn những "con bọ","nhện" của các máy tìm kiếm nhứ google, bing, yahoo .. khi vào thu thập dữ liệu ở site của mình. Khi vào site để lấy dữ liệu thì mấy "con bọ" đó sẽ đọc file robots.txt trước. Trong file thường có cấu trúc sau:

User-agent: tênbot
 Disallow: /abc
 Disallow: /def
 Allow: /abc/xyz
 
Trong đó:
User-agent: tênbot : thường tênbot để dấu * để chỉ tất cả các bot
Disallow: /abc, /def : là link nào trong url có /abc, /def sẽ không thu thập dữ liệu
Allow: /abc/xyz:          :là link nào có abc/zyz trong url sẽ được phép thu thập dữ liệu
 
Tại sao phải dùng file robots.txt?
- Có một số "khu vực" trong web mình không muốn cho người khác biết, không cho hiện lên các kết quả tìm kiếm ví dụ thông tin khách hàng, dữ liệu riêng tư, ... mình sẽ không cho mấy con bọ thu thập dữ liệu ở khu vực đó.
- Hoặc trong các trang bán hàng, blog thường có nhiều url chỉ vào 1 sản phẩm, bài viết như vậy sẽ làm giảm độ ưu tiên trong kết quả tìm kiếm do trùng lặp nội dung. Như trang http://litashop.net của mình cũng có hơn 500 link trùng lặp nội dung, đang định làm file robots.txt để loại các url đó ra nhưng lười quá. :D
Đó là những hiểu biết của mình chia sẻ với bạn, bạn tìm hiểu thêm nhé.
mrlongrd@gmail.com
Gửi vào lúc : 22/10/2012

hjx . mình ko giỏi mấy cái công nghệ thông tin này nhiều lém :(  khi nào litashop làm . chụp ảnh nên cho mình xem vài cái mẫu để bít làm nha . :) mình cứ  thấy khó hiểu làm sao ý :( hjx hjx

mrlongrd@gmail.com
Gửi vào lúc : 24/10/2012
Disallow: /abc, /def : là link nào trong url có /abc, /def sẽ không thu thập dữ liệu
Allow: /abc/xyz:          :là link nào có abc/zyz trong url sẽ được phép thu thập dữ liệu
 
bạn có thể nói rõ hơn cho mình cái này không ? mình thấy nó khác nhau có mấy kí tự cuối . 
Vd: trong web mình có 6 link cùng vào 1 địa chỉ , bh mình muốn robot 5 link kia . nhưng cả 6 link này nó chỉ khác nhau 1 tí ở đuôi . thì mình phải làm sao . với câu lệnh thế nào bạn có thể vd được ko :(
nguyenkhanhlinh603@yahoo.com
Gửi vào lúc : 24/10/2012

Mình ví dụ nhé:

bạn có các link:

http://giaypatinvn.com/hang-chua-kiem-duyet/16+/sanpham1.html

http://giaypatinvn.com/hang-chua-kiem-duyet/16+/sanpham2.html

http://giaypatinvn.com/hang-chua-kiem-duyet/18+/sanpham3.html

http://giaypatinvn.com/hang-chua-kiem-duyet/18+/sanpham4.html

http://giaypatinvn.com/hang-chua-kiem-duyet/21+/sanpham5.html

http://giaypatinvn.com/hang-chua-kiem-duyet/21+/sanpham6.html

bạn dùng code:

Disallow: /hang-chua-kiem-duyet      #bạn cấm hết nguyên đám

Allow: /hang-chua-kiem-duyet/16+    #bạn cho phép 16+ đc index (cấm index 18+,21+)

Còn nếu bạn muốn cấm link cụ thể nào thì ngừng xuất bản nó hoặc copy nguyên link đó vào ví dụ:

Disalow: /hang-chua-kiem-duyet/21+/sanpham5.html

Admin
Gửi vào lúc : 25/10/2012

Theo ý kiến chủ quan của bên mình thì các bạn nên làm giàu từ khóa ở nội dung, url, tăng backlink traffic website, không nên quan tâm quá nhiều đến robot, sitemap, có cũng đc mà ko có cũng được.

Bên mình đã SEO rất thành công nhiều web lớn, chẳng có sitemap, robot, cũng không cần đăng ký với google làm gì cho mệt, nó tự tìm đến mình mới giá trị.

mrlongrd@gmail.com
Gửi vào lúc : 25/10/2012

oke ! cảm ơn litashop nhé :) mình đã hiểu . keke . bạn rất nhiệt tình :D

Và Cũng ko quên cảm ơn ad :) đã luôn hết mình giúp đỡ những câu hỏi vớ vẩn của mình . hjhjh

nguyenkhanhlinh603@yahoo.com
Gửi vào lúc : 25/10/2012

Mình thấy google đưa ra các tool cũng có chủ ý của họ và dựa vào nhu cầu thực tế của các webmaster. Mình dùng các công cụ này để biết website của mình lỗi ở đâu, cần nhấn mạnh nội dung nào, có thể điều hướng các bộ máy tìm kiếm,  hỗ trợ các bộ máy tìm kiếm index nhanh hơn. Nếu có tiềm lực tài chính và tìm hiểu kỹ mình quảng bá website đúng đối tượng hơn và nhanh hơn. Việc làm giàu nội dung, tăng backlink, traffic, độ trust của site là điều hiển  nhiên rồi.

beaumoreforever@gmail.com
Gửi vào lúc : 07/12/2012

hôm trước mình làm SEO cái vụ này trơn tru web mình cũng đã nằm ở 9k rồi tới nay định đưa thêm link mới vào googlemaster mà tự nhiên không đưa được nữa hỏi admin vụ này mà chưa thấy hồi âm nữa xin admin giúp đỡ tý

thanhlilaptopcumoi@gmail.com
Gửi vào lúc : 14/01/2013

litashop ban ơi nói rõ cho mình hiểu cách tạo robot.text đó ko mình gà mờ lém...híc...và cho nó vào đâu của web ạ...T..T em tập tành làm cái trang web mà ko biết nhìu lém...híc.với lại cái banner của bạn sao làm rộng to như thế được ạ..>>>???mình hỏi có gì ngố mọi người  đừng cười nhé


Gửi phản hồi của bạn ( các bạn vui lòng không gửi câu hỏi khác không liên quan đến topic, nếu có câu hỏi mới xin lập topic mới )

VUI LÒNG ĐĂNG NHẬP ĐỂ GỬI PHẢN HỒI

Chat hỗ trợ
Chat ngay
× Khuyến mãi tết