A pergunta pode ter mais de uma perspectiva.
Uma delas é a origem da vida na Terra ter resultado de algo que veio do exterior e que depois evoluiu. Esse algo poderia ser um estado primitivo de vida, que caiu na Terra por acidente. Podemos chamar a esse estado primitivo de vida um ET. Não temos provas sobre esta hipótese de origem da vida na Terra.
Mas o que a pergunta pressupõe é se, depois de haver vida na Terra, houve visita de seres de outros planetas. Também se pressupõe que uma visita deste género teria de ocorrer por civilizações de fora do Sistema Solar, pois é praticamente certo não haver vida inteligente noutro planeta do nosso sistema.
Há uma condição que faz com que este tipo de viagens seja muito difícil: a distância que é necessário percorrer e porquê visitar a Terra se, apesar de ser a nossa casa, não passar de mais um planeta em torno de uma estrela vulgar.
Se admitirmos que a estrela mais próxima (sistema Alfa-Centauro), que fica a um pouco mais de 4 anos-luz de distância, tem um planeta com vida inteligente, se quisermos enviar uma mensagem via rádio, ela demora mais de 4 anos a chegar. Se os “alfa-centurianos” puderem e quiserem responder, temos a resposta, mais de 8 anos após a pergunta inicial. Ora estas mensagens viajam à velocidade da luz (300 000 km/s). A velocidade da nossa nave mais rápida, não ultrapassa as poucas dezenas de km/s. Para chegar ao sistema Alfa-Centauro demoraríamos dezenas de milhares de anos!!! Mesmo que a civilização de Alfa-Centauro esteja bastante mais avançada, não parece ser possível ultrapassar a velocidade da luz, nem chegar perto dela. Tanto quanto sabemos, corpos com massa não podem viajar à velocidade da luz. Isso implicaria sempre muito tempo para efectuar essas viagens. Um tempo muito maior que a duração da vida de um ser vivo. Claro que podemos sempre imaginar que podem dominar a técnica de hibernação, mas aqui põe-se outra questão. Porquê visitar a Terra se o nosso sistema “visto” do exterior do Sistema Solar, não deixa de ser vulgar. E o investimento que teria de ser feito compensaria?
Note-se que neste caso estamos a falar da estrela mais próxima de nós. Todas as outras estão muito mais longe.
Com esta resposta não posso dizer que não tenhamos sido visitados, mas que essa possibilidade me parece muito difícil de alguma vez ter ocorrido.