[GTER] newbie - lista com todos os dominios .BR

[Marco Modesto]

 --- Alexandre Hautequest <hquest at onda.com.br>
escreveu: 
> Marco Modesto wrote:
> > Ola!
> > 
> > Preciso percorrer todas as paginas (ou parte) da
> Web
> > brasileira. Para facilitar, considero que fazem
> parte
> > da Web BR todas as paginas com dominio .BR.
> 
> Globo.com ja esta fora da tua consideracao.

Realmente esta exigencia exclui muitas paginas
brasileiras, porem o problema eh facilitado
substancialmente. Acho que se nao excluisse eu teria
que avaliar se o idioma da pagina eh portugues
brasileiro e, alem disso percorreria muito lixo
aumentando muito o trafego.


> 
> > Se eu tentasse todos os IPs brasileiros, cairia no
> > problema que muitos dominios .BR estao hospedados
> em
> > IPs estrangeiros, correto? 
> 
> Alem de visualizar apenas o dominio principal, no
> caso de empresas de
> hosting baseadas em dominios virtuais.
> 
> > Existe uma forma de se obter a lista de todos os
> > dominios brasileiros? Sei que o Registro.BR a
> possui.
> 
> Acredito que a informacao deste modo seja
> considerada confidencial pelo
> Registro.BR.

O Registro.BR divulgou a lista dos dominios
autorizados em novembro:
http://registro.br/info/proclib-l.html
Se eu conseguisse essa lista nos periodos
anteriores...

> 
> <macabro>Tenta comprar a base de dominios da BrT ou
> outras teles... eles
> devem vender, ja que vendem ate a mae...</macabro>
> 
> > Nao posso sair percorrendo todas as referencias
> > (links) de um conjunto inicial de paginas pois
> existem
> > ilhas que nao sao apontadas por ninguem.
> 
> Talvez as ilhas sejam menores que a dificuldade em
> obter tal informacao
> de modo "legal".


Voce pode estar certo, porem para o projeto, seria
importante mensurar as ilhas.
Alguns estudos, como o do Lawrence estimam que os as
maquinas de busca indexem apenas 30% das paginas
existentes na Web publica indexavel.

> 
> > 
> > Obrigado,
> > 
> > 
> > Marco Aurelio Barreto Modesto
> > Ciencia da Computacao/UFMG
> 
> Eh um projeto, ao meu ver, um tanto quanto
> complicado.
> 

Porem dependendo da estrategia abordada ele pode ser
facilitado, como o uso da lista do Registro.br.

> -- 
> Alexandre
> --
> GTER list   
> https://eng.registro.br/mailman/listinfo/gter
>  


[]s

Marco.

__________________________________________________
Do You Yahoo!?
Tired of spam?  Yahoo! Mail has the best spam protection around 
http://mail.yahoo.com