Full-Site Crawl: Encontre Todos os Problemas de SEO no Seu Site

O crawl que salvou US$ 12.000 para um cliente

Lembro do momento exato em que percebi que os crawls completos não eram opcionais. Era uma manhã de sexta-feira — eu tinha acabado de começar a trabalhar com um cliente de e-commerce que vendia artigos de couro artesanais. Eles tinham cerca de 500 páginas: páginas de produtos, páginas de categorias, posts de blog, páginas "sobre", a mistura de sempre. Estavam perdendo tráfego há três meses seguidos e não conseguiam descobrir o motivo.

"Só queremos uma auditoria da nossa página inicial", o fundador me disse na nossa primeira ligação. Eu disse claro, mas também vou fazer o crawl de todo o seu site. Ele não achou necessário. Eu fiz mesmo assim.

Duas horas depois, eu estava olhando para uma planilha que me deu vontade de vomitar. Quarenta e sete links quebrados. Vinte e três páginas com títulos duplicados. Quinze páginas sem meta description. E a pior parte? Dezesseis desses links quebrados estavam em páginas de produtos — páginas que estavam ativamente gerando receita antes de quebrarem.

Alguém tinha feito uma migração de conteúdo três meses antes e deletado vários posts antigos de blog sem configurar redirecionamentos. Cada um desses posts deletados deixou para trás um 404 que ainda era linkado a partir de páginas de produtos, páginas de categorias e da página inicial. O Google estava rastreando esses links mortos todos os dias, desperdiçando o crawl budget do site e criando becos sem saída para os usuários.

Corrigi todos os 47 links quebrados em cerca de 45 minutos. Adicionei as meta descriptions ausentes em 15 páginas em mais 30 minutos. Reescrevi os 23 títulos duplicados em cerca de uma hora. Tempo total: duas horas. O tráfego orgânico das páginas afetadas saltou 15% em um mês.

Duas horas de trabalho para um aumento de 15% no tráfego. Esse é o tipo de ROI que faz meu trabalho valer a pena.

O que uma auditoria de página única não detecta

Aqui está o problema com auditorias de página única: elas são úteis, mas são como checar um pneu do seu carro e chamar isso de visita ao mecânico. Você pode encontrar um problema naquele pneu, mas está completamente ignorando o fato de que sua transmissão está vazando.

Um full-site crawl encontra problemas sistêmicos — padrões que se repetem em dezenas ou centenas de páginas. E esses padrões são quase sempre mais impactantes do que problemas individuais de página.

O que o crawl realmente revela:

Links quebrados (404s). Encontro isso em quase todos os sites que rastreio. Geralmente 10-50 links quebrados, às vezes mais. Cada um deles desperdiça crawl budget e cria becos sem saída para os usuários. Um cliente tinha mais de 200 links quebrados porque migrou de um CMS antigo sem configurar redirecionamentos. O Google estava gastando mais tempo rastreando 404s do que conteúdo real.

Títulos e descrições ausentes. Você ficaria chocado com quantas páginas são publicadas sem nenhuma meta tag. Rastreei um site de SaaS de 2.000 páginas no mês passado — 340 páginas não tinham meta description. O Google estava puxando trechos aleatórios do conteúdo das páginas, e a maioria era péssima. Uma página de produto tinha "Política de Cookies" como snippet do Google. É, isso mesmo.

Conteúdo fino. Páginas com menos de 300 palavras raramente rankeiam para algo relevante. Elas sinalizam baixo valor para o Google. Encontro isso o tempo todo — especialmente páginas de categorias que apenas listam produtos sem conteúdo real.

Cadeias de redirecionamento. A página A redireciona para a página B, que redireciona para a página C. Isso é equidade de links desperdiçada e carregamento mais lento. Já vi cadeias de até 5 redirecionamentos. Cinco! Isso não é uma cadeia de redirecionamento — é uma fila de conga de redirecionamentos.

Conteúdo duplicado. Várias páginas segmentando a mesma palavra-chave canibalizam os rankings umas das outras. O Google tem que escolher uma, e geralmente escolhe a errada.

Meu framework de priorização (roube este)

Nem todos os problemas são iguais. Aqui está como eu priorizo depois de um crawl:

Corrija os links quebrados primeiro. São a vitória mais fácil, rápidos de corrigir e com impacto imediato. Eu literalmente abro o site, encontro os links quebrados e atualizo ou crio um redirecionamento 301 para a página ativa mais próxima. Pronto.

Depois corrija os títulos ausentes nas páginas de alto tráfego. Não perca tempo com páginas que recebem 2 visitas por mês. Encontre as 20-30 páginas que realmente geram tráfego e corrija os títulos delas primeiro. Isso geralmente leva 30-45 minutos e tem o maior impacto no CTR.

Depois trate o conteúdo fino. Ou expanda as páginas finas para 500+ palavras, ou aplique noindex nelas se não valerem a pena manter. Tive um cliente com 40 páginas de categorias finas. Expandimos as 15 principais e aplicamos noindex nas demais. As sessões orgânicas vindas das páginas de categorias aumentaram 28% em seis semanas.

Use nossa ferramenta Full-Site Crawl para executar um crawl abrangente. Ela gera uma lista priorizada de problemas com classificações de severidade — para você não ter que descobrir o que corrigir primeiro.

Para uma análise mais profunda de páginas individuais, combine o crawl com nossa ferramenta de Auditoria SEO, que oferece análise em 16 dimensões de cada URL. Normalmente faço o full-site crawl primeiro para encontrar padrões e depois executo auditorias individuais nos piores casos.

Não faça o crawl uma vez e esqueça

Cometi esse erro no início da minha carreira. Eu rastreava um site, corrigia tudo e nunca mais rastreava. Seis meses depois, os mesmos problemas tinham se acumulado novamente — novos links quebrados, novos títulos ausentes, novo conteúdo fino.

Agora configuro crawls mensais para cada cliente. É como fazer a inspeção do carro todos os anos — você pode não encontrar nada grave, mas vai pegar as pequenas coisas antes que se tornem caras.

Links quebrados se acumulam com o tempo conforme o conteúdo é deletado ou movido. Novas páginas são publicadas sem meta descriptions. Desenvolvedores implantam mudanças de código que quebram tags canônicas. Acontece constantemente.

Use nosso Change Monitor para receber alertas quando as páginas mudam. Tenho isso configurado para todos os meus clientes — ele me envia e-mails quando title tags, meta descriptions ou URLs canônicas mudam. Peguei um desenvolvedor removendo acidentalmente as meta tags robots de 30 páginas no mês passado. Corrigimos em 10 minutos, em vez de descobrir duas semanas depois, quando o tráfego despencou.

Resumindo: um full-site crawl não é um evento único. É um hábito mensal. E, sinceramente, é o hábito que separa sites que melhoram constantemente de sites que decaem lentamente.