Link vao 188bet | tham khảo thêm dự án và khởi động cùng keo bong da truy cập website Vao bong nhanh và cung cap cách dự án của website hoặc triển khai dự án | 138bet | 188bet link

Chia sẻ File robots.txt có tác dụng gì trong quá trình seo dự án lên top

Thảo luận trong 'SEO Onpage - Tối Ưu Website' bắt đầu bởi Caolarungzn, 16/4/18.

  1. Lượt xem: 313

    Caolarungzn PageRank 1 Member

    Tham gia ngày:
    4/8/16
    Bài viết:
    432
    Đã được thích:
    8
    Robots.txt là file quan trọng đối với bot google craw dữ liệu trong website. Bởi vậy, khi tiến hành dự án seo thì file robots.txt có tác dụng cho hay không cho con bot google index file nào đó của website. Chúng ta cùng tìm hiểu robots.txt là gì và tác dụng của nó sau đây.

    [​IMG]


    File robots.txt là gì?





    Robots.txt là 1 file văn bản nằm ở trong thư mục gốc của website. File này có nhiệm vụ cung cấp và hướng dẫn con bot của google được index hay no index ở khu vực nào trong website. Đây là việc làm đầu tiên trong quá trình tối ưu kỹ thuật website.

    Khi truy cập vào trang web, việc đầu tiên con bot google tìm và truy cập vào file robots.txt. Khi đó nó sẽ tạo 1 danh sách urls mà có thể thu thập được dữ liệu và tiến hành lập chỉ mục cụ thể của website.

    Nội dung của file robots.txt công khai, hầu như ai cũng lấy được nội dung từ domain. Cách để xem nội dung robots.txt từ 1 trang web bất kỳ như sau:

    Domain/robots.txt


    --> Xem thêm các thủ thuật SEO tại đây


    File robots.txt có tác dụng gì trong quá trình lên top



    robots.txt.jpg



    Như chúng ta đã biết, khi con bot google vào website, đầu tiên nó mò tới file robots.txt. Nó sẽ đọc nội dung trên file đó, làm theo và thực hiện index. Nếu website không có robots.txt, bot google sẽ truy cập hết tất cả các trang trong website của bạn. Đây là điều nguy hại bởi có các khu vực không nên cho bot google vào index.

    Vậy file robots.txt có tác dụng cho hay không cho con bot truy cập hay không truy cập vào 1 khu vực nào đó trên website. Tất cả trang web đều nên có file robots.txt, vì nếu 1 web lớn, chúng ta có thể chặn 1 số khu vực không quan trọng, làm tăng tốc độ index.

    Cấu trúc của file robots.txt

    File robots.txt có cấu trúc như sau :


    User-agent: *

    Disallow: /wp-admin/

    Disallow: /wp-includes/


    Trong đó :

    User-agent : * : Lệnh này có nghĩa cho con bot truy cập vào tất cả trang web của 1 website.

    Disallow : /wp-admin/ : Chặn con bot google không cho truy cập vào thư mục wp-admin. Đây là thư mục lưu trữ thông tin đăng nhập, nên cần disallow index wp-admin.

    Disallow: /wp-includes/: Không cho con bot google truy cập vào thư mục wp-includes.


    Sau đây là các lệnh cơ bản khác trong robots.txt

    Không cho đánh chỉ mục toàn bộ website

    User-agent: *
    Disallow: /



    Chặn 1 con bot bất kỳ vào website

    User-agent: SpamBot
    Disallow: /

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/



    Câu lệnh trên có nghĩa, không cho con bot SpamBot truy cập vào website của bạn. Cho phép bot google truy cập vào web, trừ 2 thư mục wp-admin và thư mục wp-include.

    Xem thêm các tin tức về SEO tại: Tư Vấn Marketing Online
     
    #1
  2. mayintanviet PageRank 0 Member

    Tham gia ngày:
    27/3/18
    Bài viết:
    24
    Đã được thích:
    0
    File robots giúp dân SEO định hướng được con robots cần vào những dữ liệu nào của website để lấy dữ liệu
     
    #2

Chia sẻ trang này