Robots.txt: a parte enganosamente importante da sua estratégia de SEO

Robots.txt: a parte enganosamente importante da sua estratégia de SEO

Quando ouvi o termo robots.txt pela primeira vez, admito que não sabia o que significava. Instintivamente, imaginei o R2D2 de “Star Wars e pensei: “O que os robôs têm a ver com SEO?”

Se você é como eu, nem sempre é fácil entender o SEO técnico.

No entanto, em um estudo com seoClarity e BuzzStream , de 240 especialistas em SEO, 59% de todos os entrevistados relataram que a estratégia de SEO mais eficaz usada era a otimização técnica no local.

Portanto, quer entendamos ou não, o SEO técnico continuará a desempenhar um papel importante em nossas estratégias de marketing.

Abaixo, analisaremos o que é um arquivo robots.txt e como usá-lo em sua estratégia. Além disso, abordaremos como criar, adicionar e editar um arquivo robots.txt no seu site.

O que é um arquivo robots.txt?

Um arquivo robots.txt informa aos mecanismos de pesquisa como rastrear e indexar as páginas do seu site. É importante porque ajuda os mecanismos de pesquisa a rastrear seu site e indexar o conteúdo para atender aos usuários que procuram essas informações. Você pode permitir ou impedir que os mecanismos de pesquisa indexem uma página. Os mecanismos de pesquisa procurarão um arquivo robots.txt antes de rastrear seu site para verificar se existem instruções.

Como qualquer aspecto técnico do SEO, um arquivo robots.txt possui seu próprio idioma. Aqui estão alguns dos principais termos que você verá e o que eles significam:

  • User-agent: o mecanismo de pesquisa.
  • Não permitir: diz a um mecanismo de pesquisa para não rastrear um determinado URL.
  • Permitir: informa a um mecanismo de pesquisa que ele pode acessar uma página da web.

Como usar o Robots.txt

  1. Mantenha as páginas do seu site privadas.
  2. Impedir que os mecanismos de pesquisa indexem arquivos.
  3. Permita que os mecanismos de pesquisa rastreiem qualquer página do seu site.
  4. Não permitir que os mecanismos de pesquisa rastreiem determinadas páginas ou todo o site.

Você pode estar se perguntando, por que eu iria querer que certas páginas do meu site fossem ocultas ou que um mecanismo de pesquisa não deve rastrear meu site?

Por fim, é porque você deseja direcionar os mecanismos de pesquisa para rastrear as páginas mais importantes do seu site e não ficar atolado em páginas sem importância, privadas ou semelhantes.

Vamos revisar as melhores maneiras de usar um arquivo robots.txt:

1. Mantenha as páginas do seu site privadas.

O seu site possui páginas internas? Por exemplo, talvez os usuários façam logon no seu site e vejam informações bloqueadas. Ou, talvez, você tenha funcionários conectados ao seu site para ver informações de RH. De qualquer forma, você deseja que essas páginas do seu site sejam privadas, o que significa que você não deseja que elas apareçam nos mecanismos de pesquisa. É por isso que você pode impedir que os mecanismos de pesquisa rastreiem essas páginas em um arquivo robots.txt.

Além disso, se você estiver criando um site de teste para um cliente, não deseja necessariamente que esse site seja rastreado ou indexado pelos mecanismos de pesquisa. Na verdade, você realmente deseja que o cliente apenas veja esse site. Para fazer isso, você deve impedir que os mecanismos de pesquisa indexem essas páginas.

2. Impedir que os mecanismos de pesquisa indexem arquivos.

Às vezes, você pode adicionar PDFs ou outros arquivos ao seu site para os usuários baixarem. Pode até ser um conteúdo duplicado no seu site que você está redirecionando para fins de marketing. No entanto, você provavelmente não deseja que esses arquivos sejam indexados pelos mecanismos de pesquisa. Você pode impedir que essas páginas sejam rastreadas adicionando-as ao seu arquivo robots.txt.

3. Permita que os mecanismos de pesquisa rastreiem qualquer página do seu site.

Embora não seja necessário ter um arquivo robots.txt, se você deseja que os mecanismos de pesquisa rastreiem todas as páginas, fornecer instruções pode acelerar o processo. Você pode criar facilmente um arquivo robots.txt que instrua os mecanismos de pesquisa a rastrear todas as páginas do seu site.

4. Não permita que os mecanismos de pesquisa rastreiem determinadas páginas ou todo o site.

Às vezes, talvez você não queira que um mecanismo de pesquisa rastreie qualquer página em seu site. Por exemplo, durante o treinamento de funcionários da HubSpot, espera-se que novas contratações criem um site usando o produto HubSpot. No entanto, esses sites são apenas para o projeto e os funcionários normalmente não querem que eles sejam indexados pelos mecanismos de pesquisa. É por isso que eles criam um arquivo robots.txt que diz para impedir o rastreamento de qualquer página no site.

Além disso, você pode bloquear mecanismos de pesquisa específicos de páginas específicas no seu site. Por exemplo, você pode rotular o agente do usuário como “Google” e proibir o conteúdo privado.

Embora você queira impedir que os mecanismos de pesquisa rastreiem e indexem determinadas páginas, um arquivo robots.txt pode instruir os mecanismos de pesquisa, mas não aplicá-los. Isso significa que, embora seu arquivo robots.txt possa instruir um mecanismo de pesquisa a não rastrear uma página, ele não pode realmente impedir a indexação. Para fazer isso, convém usar as diretivas noindex e nofollow.

Portanto, você deve estar se perguntando por que precisa usar um arquivo robots.txt, se ele não pode impedir a indexação de uma página. A resposta é que o arquivo robots.txt está lá para ajudar os mecanismos de pesquisa a rastrear seu site mais rapidamente e priorizar as páginas que ele rastreia. Tecnicamente, não bloqueará nenhuma página dos mecanismos de pesquisa.

Como criar e adicionar um arquivo Robots.txt ao seu site

Criar um arquivo robots.txt é realmente um processo simples.

Tudo o que você precisa fazer é abrir um editor de texto sem formatação, como o TextEdit ou o Notepad. Em seguida, você pode copiar o idioma e a sintaxe do Google .

Por exemplo, seu arquivo robots.txt terá a seguinte aparência:

Agente de usuário: *

Permitir: /

Você pode definir o agente do usuário – um asterisco significa todos os mecanismos de pesquisa. Em seguida, você pode escrever “permitir” ou “não permitir” e especificar as páginas.

Antes de adicionar esse arquivo ao seu site, você pode testá-lo usando a ferramenta de teste do Google .

Depois de escrever seu arquivo, você deverá enviá-lo para o diretório de nível superior do seu site. Isso significa que você entrará no Cpanel e clique em “Adicionar arquivo”.

Lembre-se de que os arquivos robots.txt podem não ser suportados por todos os mecanismos de pesquisa.

Como encontrar o arquivo Robots.txt

Encontrar um arquivo robots.txt é um processo fácil. Primeiro, digite seu domínio. Em seguida, adicione /robots.txt ao final da URL. Isso deve abrir um arquivo robots.txt. Caso contrário, significa que você não tem uma. Por exemplo, isso pode se parecer com www.example.com/robots.txt. Os mecanismos de pesquisa analisarão apenas este URL. Se não houver um arquivo robots.txt aqui, ele assumirá que não há um e continuará rastreando a página.

Os arquivos Robots.txt estão disponíveis ao público, o que significa que você pode adicionar /robots.txt a qualquer site e ver o arquivo do site, se houver. Além disso, a maioria dos arquivos robots.txt contém o local de qualquer sitemaps associado ao domínio.

Como editar seu arquivo Robots.txt

  1. Encontre o seu arquivo robots.txt no seu CMS.
  2. Exclua o texto.
  3. Adicione texto do seu editor de texto sem formatação.

Novamente, editar seu arquivo robots.txt não é difícil. Basta seguir estes passos:

1. Encontre o seu arquivo robots.txt no seu CMS.

Esse processo parece um pouco diferente, dependendo do seu sistema de gerenciamento de conteúdo (CMS). Por exemplo, encontrá-lo no WordPress e HubSpot são dois processos diferentes. Normalmente, se você for ao editor do seu site e clicar em “Configurações”, deverá encontrar uma guia SEO. Aqui é onde seu arquivo robots.txt deve estar.

Se você não estiver usando um CMS que facilite esse processo, também poderá fazer login no site da sua conta de hospedagem, acessar “Gerenciamento de arquivos” e procurar seu arquivo robots.txt. Em seguida, você deve poder abri-lo para edição.

2. Exclua o texto.

Depois de abrir o arquivo, exclua todo o texto que está lá. Sim, é tudo o que você precisa fazer nesta etapa.

3. Adicione texto do seu editor de texto sem formatação.

Por fim, copie e cole o texto que você escreveu no seu editor de texto sem formatação. Em seguida, clique em “Salvar”. Você está pronto.

Os arquivos técnicos de SEO e robots.txt parecem mais complicados do que realmente são. Ao ajudar os mecanismos de pesquisa a rastrearem seu site rapidamente, seus rankings podem melhorar bastante.

Previous Compra de impressoras cai nas empresas por conta de serviço de aluguel
Next 10 principais diferenças entre o desenvolvimento de aplicativos para Android e iOS

About author

You might also like

Marketing 0 Comments

Dicas para melhorar sua captura de e-mail

Uma das principais estratégias do marketing digital que as empresas devem adotar é o uso da página de captura, através dela é possível conquistar mais leads para transforma-los em clientes

Marketing 0 Comments

Por que devo criar um site para minha empresa

Em um mundo onde tudo depende da internet, você precisa ter um site para a sua empresa. Segundo o próprio Google, existem mais de 130 trilhões de endereços na web

0 Comments

No Comments Yet!

You can be first to comment this post!

Leave a Reply