Na manhã de hoje, dia 30/11/2018, várias pessoas foram pegas de surpresa com a remoção do Search Engine Land dos resultados de buscas do Google. Ao que parece o site foi simplesmente “dropado” dos resultados de buscas nas primeiras horas da manhã e até agora há tarde permanece assim.
Sobre o Search Engine Land
O Search Engine Land é um site muito popular por fazer experimentos com o buscador Google. Ele é uma importante fonte de informação quando se trata de SEO e de entender o funcionamento dos buscadores. O Search Engine Land também é uma importante fonte de informação para o universo do Marketing Digital.
Por ser um site muito popular e referência na internet para os assuntos que aborda, a remoção do Search Engine Land causou um grande espanto na comunidade de SEO em geral. Todo mundo ficou perplexo e até confuso como um site como este simplesmente “sumir” dos resultados de buscas do Google. Por ser algo muito incomum, visto que nem a pesquisa pelo site retornava resultados, causou um espanto ainda maior.
O que aconteceu com o Search Engine Land
Foram levantadas várias teorias sobre o que aconteceu com o Search Engine Land. Todo mundo está tentando entender como um site tão popular pôde sumir dos índices do Google em tão pouco tempo. Nem mesmo os responsáveis pelo site sabiam dizer o que tinha acontecido, e olha que eles são referência quando se trata de entender os buscadores.
Iframes noindex
Uma das possibilidades levantadas foi que o uso de iframes com a meta tag “noindex” causaram a remoção do site. Em várias das páginas do Search Engine Land haviam iframes ocultos configurados para não serem indexados pelo Google e foi levantada a hipótese de algum bug ter feito o Google interpretar que essa tag “noindex” pertencia a página toda.
Mas essa hipótese seria quase impossível. É improvável um bug como este acontecer e mais improvável ainda o Google remover o site tão rapidamente por causa de uma meta tag “noindex”. Geralmente quando você configura uma página para não ser indexada ela demora um pouco a ser movida dos índices do Google. Talvez essa seja até uma medida de segurança para o caso de alguém ter feito alguma configuração errada.
O fato do site ter sido completamente removido dos índices de buscas da noite pro dia (literalmente) fez com que essa hipótese fosse rapidamente descartada. Mas ainda assim era preciso entender o que tinha acontecido com o Search Engine Land.
Robots.txt
Outra possibilidade que foi levantada era que o site poderia ter sido removido dos resultados de buscas por conta de algum bloqueio no robots.txt do site. Isso certamente seria um erro de configuração, mas apesar de ser improvável um site ser removido tão rapidamente por esse motivo analisamos o robots.txt.
Como já era de se esperar no robots.txt do Search Engine Land não há nada que impeça o Google de rastrear o site ─ e mesmo que tivesse, o site não iria ser removido tão rapidamente dos resultados de buscas. A menos que algum bug tivesse feito isso acontecer mais rapidamente, mas como não havia nada de errado no robots.txt essa hipótese foi descartada também.
Meta tag robots com noindex
Essa era outra possibilidade que precisava ser avaliada. Ela sim poderia fazer o site ser completamente removido do buscador Google. Ela pode ser definida através de tags HTML ou até mesmo no cabeçalho HTTP do site. Mas em lugar algum foi encontrado este tipo de meta tag noindex.
Banimento por spam
Essa seria a hipótese mais provável para o caso de um site que foi simplesmente varrido do Google. Mas se tratando do Search Engine Land, essa possibilidade é quase nula, mas também não podia ser descartada, a final até o momento todas as possibilidades parecem improváveis.
Numa situação como esta, quando desconfiamos que o nosso site recebeu alguma punição, devemos olhar o Google Search Console (antigo Google Webmasters). A seção “Ações manuais” mostra justamente este tipo de punição sofrida pelo site. Mas como nós não temos acesso ao console do Search Engine Land, nos restou analisar o perfis de back links para encontrar algum perfil de links tóxico para o site.
Também não foi encontrado nada de incomum. Apesar da ferramenta mostrar um aumento no número de back links perdidos bem maior que os meses anteriores, não há nada que indique ter algo errado ao ponto de fazer o site ser removido do índices de pesquisas do Google.
Outras possibilidades
Como você pode ver, todas as hipóteses anteriores foram descartadas. Mas ai ficou a dúvida do que realmente pode ter acontecido com o Search Engine Land para ter sido removido de uma forma tão brusca do Google. Uma hipótese que nós levantamos foi que para nós visitantes o site poderia estar funcionando, mas para o Google não.
Explicando melhor, talvez por um erro de configuração ou até por um ataque hacker o site poderia mostrar um conteúdo diferente para o Google. Isso é perfeitamente possível e em muitos ataques o hacker configura o site para parecer “normal” para os visitantes e exibe um conteúdo diferente para o Google. Já vimos isso acontecer com ataques em que a intenção do hacker era apenas espalhar links fraudulentos pela internet. E para não chamar atenção dos visitantes do site ele usava essa técnica de mostrar um conteúdo diferente para os buscadores e para os visitantes do site.
Para testar essa teoria nós usamos no Chrome um plugin chamado User-Agent Switcher for Chrome. Ele faz o Google Chrome se identificar como se fosse o Googlebot. Caso o site tivesse algum script malicioso para enganar o Googlebot nós conseguiríamos identificá-lo com esta técnica de mudar o User Agent do Browser. Basicamente isso engana esses scripts que analisam o User Agent do navegador para saber se é o Google que está acessando o site ou algum visitante.
Nós repetimos alguns dos testes feito anteriormente, mas dessa vez estávamos nos passando pelo Googlebot, pois é assim que o Google rastreia o nosso site. Não conseguimos localizar nada de diferente ou de suspeito. O conteúdo é exatamente igual para o usuário e para o Google. Então essa hipótese de ser algum ataque mais sofisticado ou erro de configuração foi descartada.
O que realmente aconteceu com o Search Engine Land
Depois de deixar toda comunidade intrigada com o sumiço do Search Engine Land do Google e todo mundo correr para fazer vários testes foi revelado o verdadeiro motivo. Não foi um ataque hacker, punição do Google ou problema de configuração que causou este problema.
Segundo os responsáveis pelo Search Engine Land o site foi removido do Google por um bug. Segundo eles o site Search Engine Land foi detectado erroneamente como hackeado e isso fez com que o site fosse removido do buscador. No próprio
Google Search Console que mostra essa opção é possível solicitar a reanálise do site pelo Google. Depois disto é só aguardar o Google restaurar o site para os seus índices.
Apesar de já terem se passado várias horas o site continua sem ser exibido pelo Google. Acreditamos que ainda deve demorar algumas horas para ele se restaurado completamente pelo Google.
Lições que podemos aprender com este problema do Search Engine Land
Não é muito comum um site ser removido do índice do Google da noite pro dia. Geralmente isso ocorre somente em casos graves de punições do Google. Mas podemos aprender lições valiosas com isso que aconteceu com o Search Engine Land.
É importante você ter uma conta no Google Search Console e manter um endereço de e-mail sempre atualizado. Sempre que ocorrer algum problema com seu site ou erros de rastreamento, esta ferramenta do Google avisa por e-mail. Com certeza um problema como este que aconteceu com o Search Engine Land poderia ser identificado rapidamente através do Google Search Console.
Não somente por isso, o Google Search Console fornece uma série de informações importantes que permitem acompanhar a indexação e o desempenho do seu site. É sempre bom dar olhada no Console para conhecer mais a fundo todas as ferramentas e informações que ele fornece.
No caso do Search Engine Land eles tem contato direto com o Google e com certeza eles receberão ajuda para resolver este problema e para garantir que ele não volte a ocorrer. Mas se você tiver passando por uma situação semelhante a primeira coisa que você deve fazer é verificar o Google Search Console se existem mensagens ou avisos de erros. Depois disto você pode executar as verificações feitas acima no caso do Search Engine Land.
