{"id":12343,"date":"2020-02-10T15:21:20","date_gmt":"2020-02-10T14:21:20","guid":{"rendered":"https:\/\/ignaciosantiago.com\/?page_id=12343"},"modified":"2021-10-20T13:36:33","modified_gmt":"2021-10-20T11:36:33","slug":"archivo-robots-txt","status":"publish","type":"post","link":"https:\/\/ignaciosantiago.com\/archivo-robots-txt\/","title":{"rendered":"Qu\u00e9 Es un Archivo ROBOTS.txt y C\u00f3mo Crearlo e Indexarlo"},"content":{"rendered":"
El fichero robots.txt<\/strong> es un archivo de texto que dicta unas recomendaciones de indexaci\u00f3n<\/strong> y de comportamiento para los crawlers<\/strong> o los robots de los motores de b\u00fasqueda<\/strong> (\u00a1ojo! recomendaciones, no obligaciones). Estos crawlers quieren indexar toda la informaci\u00f3n posible<\/strong>, as\u00ed que cuando llegan a tu p\u00e1gina web\u00a0lo rastrean todo.<\/p>\n <\/p>\n El problema surge cuando quieres evitar que ciertas p\u00e1ginas se incluyan en sus \u00edndices, \u00bfQu\u00e9 haces entonces?\u00a0Tienes 2 opciones. La primera es\u00a0usar una etiqueta especial en cada p\u00e1gina<\/strong> (v\u00e9ase Meta Robots) o\u00a0utilizar un archivo centralizado para controlar la entrada<\/strong>.\u00a0Esta \u00faltima opci\u00f3n es la de robots.txt que es la que vamos a ver en profundidad.<\/p>\n<\/div><\/div><\/div><\/div><\/div>\u00cdndice<\/h6><\/span>