File robots chuẩn SEO | Hướng dẫn tạo file robots chuẩn seo


Hướng dẫn tạo file robots chuẩn SEO

Thứ bảy, 16/05/2015 | 13:24

Đối với những người làm SEO chuyên nghiệp thì chuyện bắt gặp một khái niệm về tập tin robots.txt là hết sức bình thường.Nó là một yếu tố quan trọng không thể thiếu trong quá trình tối ưu hóa website của bạn.Nhưng đối với những người mới chập chững SEO thì đây sẽ là một vấn đề khá khó khắn.Bài viết này sẽ giúp bạn hiểu hơn về robots cũng như các sự dụng nó trong SEO.Vậy tập tin file Robots.txt là gì ? Nó quan trọng như thế nào ?Bài viết này sẽ chia sẻ khái niệm và công dụng của file robots.txt và hướng dẫn tạo một file robots chuẩn SEO cho những bạn mới.

 

huong dan tao file robots chuan seo hinh anh 1

1. Khái niệm file robots.txt


Robots.txt là tập tin đơn giản dạng text có đuôi .txt được đặt trong thư mục gốc của website ngang cấp với tập tin index.html.
Tập tin này chứa các câu lệnh điều hướng giúp cho quản trị website thuận tiện trong việc cho hay không cho các Google Bot của công cụ tìm kiếm Google lập chỉ mục những thành phần trong website của mình.
Ví dụ một file robots.txt : http://vienthonga.vn/robots.txt
Như tập tin file này, người quản trị website sẽ không cho tất cả các Google Bot lập chỉ mục những thư mục trong website như addons, flash, js ….


2. Trong SEO Onpage tạo sao bạn phải tại file Robots.txt ?


Khi các Google Bot vào website của bạn để thu thập dữ liệu thì tập tin đầu tiên của nó truy cập đó chính là file robots.txt. Như khái niệm, file robots.txt sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot. Do đó website bạn không thể thiếu file robots.txt.
Như hình ảnh ví dụ trên, công cụ kiểm tra các thành phần khi Google Bot truy cập vào website Viễn Thông A. Google Bot sẽ truy cập file robots đầu tiên, nó sẽ kiểm tra quyền truy cập và chỉ mục những thư mục nào trong website mà người quản trị quy định.


3. Hướng dẫn tạo file robots chuẩn SEO :


Rất đơn giản để tạo file robots.txt bạn chỉ cần mở chương trình Notepad điền các câu lệnh của nó. Lưu file tên robots.txt và đặt nó vào thư mục gốc website ngang với file index.
Câu lệnh cơ bản của file robots.txt là :
   User-agent: *
   Allow:
   Disallow:
   Sitemap :
User-agent : xác định loại Google Bot có thể truy cập vào website.
Allow : cho phép Google Bot truy cập vào thư mục hay trang.
Disallow : chặn Google Bot truy cập vào thư mục hay trang.
Sitemap : nêu địa chỉ liên kết sitemap của website.
1.1. Các loại Google Bot khi truy cập vào website :
- Google Bot : Bot thu nhập thông tin và đánh số chỉ mục mới hay cũ của Google.
- Googlebot-Mobile : Bot thu thập thông tin và đánh số chỉ mục thiết bị di động.
- Googlebot-image : Bot thu thập thông tin và đánh số chỉ mục hình ảnh của Google.
- Mediapartners-Google: Bot xuất hiện quảng cáo của Google Adsence.
- Adsbot-Google : Bot thu thập và đánh số chỉ mục sản phẩm hay dịch vụ của Google Adwords.
1.2. Một số ví dụ hướng dẫn tạo file robots.txt
- Chặn tất cả các Google Bot truy cập vào website :
          User-agent: *
          Disallow: /
Sử dụng Disallow :/ thì file robots.txt sẽ không cho bất kỳ Google Bot nào truy cập và lập chỉ mục website của bạn. Dĩ nhiên website không thể xuất hiện trên công cụ tìm kiếm. Bạn không nên sử dụng câu lệnh này cho website của mình.
- Chặn không cho Google Bot nào truy cập vào thư mục hay trang nào đó :
        User-agent: *
        Disallow: /admin/
        Disallow: /chan.html
Với câu lệnh trên bạn sẽ chặn tất cả các Google Bot của Google không thể truy cập và lập chỉ mục thư mục admin và trang chan.html. Các thành phần của thu mục admin và trang chan.html sẽ không được hiển thị trên Google.
- Chặn một loại Google Bot nào đó :
       User-agent: Googlebot-Mobile
       Disallow: / User-agent: *
      Disallow: /wp-includes/
Bạn có thể quy định loại Google Bot truy cập và lập chỉ mục website của bạn.
2. Một số lưu ý khi tạo file robots.txt
- Phân biệt chữ hoa hay thường.
- Sử dụng đúng cấu trúc câu lệnh
- Không thêm các ký tự đặc biệt
- Một câu lệnh nên viết một dòng
- Không được dùng khoảng trắng trước câu lệnh

Chúc bạn thành công với 1 file robots chuẩn Seo

 

 >>Xem thêm http://sccom.vn/xu-huong-seo-trong-nam-nay-la-nhu-the-nao-xu-huong-seo-2015-49.html

 

Nguồn : Bài viết nằm trong dịch vụ seo do SCCOM tổng hợp