Apa Fungsi robots.txt



Apa Fungsi robots.txt - Apa kabar sahabat ruzqil31.blogspot.com, Pada Artikel yang anda baca kali ini yang berudul Apa Fungsi robots.txt, saya telah mempersiapkan artikel ini dengan cukup baik untuk anda baca dan Anda ambil informasi didalamnya. mudah-mudahan isi postingan Artikel Blogging, yang kami tulis ini dapat anda pahami.Selamat membaca!!.

Judul Artikel : Apa Fungsi robots.txt
URL : Apa Fungsi robots.txt

Baca juga


Apa Fungsi robots.txt

Apa Fungsi robots.txt

Robots.txt adalah file teks dengan ekstensi .txt, yang dibuat dan unggah ke situs web anda dan digunakan untuk mencegah robot mesin telusur tertentu melacak konten yang kami tidak ingin mereka indeks atau tunjukkan dalam hasil mereka.

Artinya, adalah file publik yang digunakan untuk menunjukkan kepada para crawler atau spider yang bagiannya tidak boleh masuk untuk melacak dan mengindeks situs web tersebut. Di dalamnya, kita dapat menentukan dengan cara yang sederhana, direktori, subdirektori, URL atau file dari situs web yang seharusnya tidak dilacak atau diindeks oleh mesin pencari

Biasanya penggunaan yang paling umum adalah untuk menghindari aksesibilitas ke bagian-bagian tertentu dari situs web, mencegah pengindeksan konten duplikat (misalnya versi web yang dapat dicetak), atau memberi tahu Google apa peta situs anda, termasuk URL-nya dalam file.

Perintah sintaks yang paling banyak digunakan dalam robots.txt

Untuk bot tertentu:
User-agent: [nama bot]
User-agent: Googlebot

Untuk semua bot:
User-agent: *

Memblokir seluruh situs web, menggunakan slash "/":
Disallow: /

Blokir direktori dan isinya, sertakan nama direktori setelah garis miring:
Disallow: /direktori/

Blokir halaman web tertentu, indikasikan setelah bar halaman tertentu:
Disallow: /pagina-privada.html

Blokir semua gambar di situs web:
User Agent: Googlebot-Image
Disallow: /

Blokir satu gambar, tentukan gambar di belakang garis miring:
User-agent: Googlebot-Image
Disallow: /image/private.jpeg

Bloquear un tipo de archivo concreto, mencionando, tras la barra, la extensión:
User-agent: Googlebot
Disallow: /*.png$

Bloquear una secuencia de caracteres, usar el asterisco:
User-agent:
Disallow: /directorio-privado*/

Bloquear URLs que terminen en una forma concreta, añadir al final el símbolo $:
User-agent: *
Disallow: /*.pdf$

Permitir acceso completo a todos los robots:
User-agent: *
Disallow:

Cara lain adalah dengan tidak menggunakan file robots.txt atau membiarkannya kosong.

Blokir robot atau bot tertentu:

User-agent: [nama bot]
Disallow: /

Izinkan pelacakan ke bot tertentu:

User-agent: [nama bot]
Disallow:

User-agent: *
Disallow: /

Saat menulisnya, Anda harus ingat bahwa ada perbedaan antara huruf besar, huruf kecil, dan spasi.

0 Response to "Apa Fungsi robots.txt"

Posting Komentar

Histats