[MASOCH-L] Estatísticas de URLs com HTTPS em redes públicas.

[alfredo júnior]

Em 27/10/2020 13:14, Hamilton Vera escreveu:
> Boa tarde pessoal.
>
> Há muito tempo não trabalho com com proxies e afins, mas surgiu uma dúvida.
>
> Hoje com o advento do https como que vocês fazem para coletar estatísticas
> e somente estatísticas de URLs  (sem analisar conteúdo) ?
>
> Em ambientes corporativo acredito ser mais tranquilo distribuindo o proxy
> via políticas de rede. Mas como fazer por exemplo para dispositivos mobile
> que acessam redes abertas? Exemplo um Wi-fi de aeroporto, como coletar as
> estatísticas de URLs acessadas sem ser necessário o usuário instalar um
> certificado ou solicitar que seja configurado um proxy?
>
>
> Obrigado.
> __
> masoch-l list
> https://eng.registro.br/mailman/listinfo/masoch-l

O e2guardian nas novas versões é possível fazer um redirect da porta 
443. ele grava no log as urls que foram acessadas.

Faço assim:

15336 1009K REDIRECT   tcp  --  bondx.xxx * xxx.xxx.xxx.xx/24        
0.0.0.0/0           tcp dpt:443 redir ports 8443

no log do proxy aparece assim:

tail -n 10 /var/log/e2guardian/access.log

1603826140.776        - xxx.xxx.xxx.150    xxx.xxx.xxx.150    
https://mesu.apple.com -    0    5810    -    -    -    10574    -    
0    -    0    - no_name_group    1
1603826141.231        -    xxx.xxx.xxx.53    xxx.xxx.xxx.53 
https://android.clients.google.com    -    0    4405    -    - -    
120498    -    0    -    0    -    no_name_group    1
1603826142.137        -    xxx.xxx.xxx.191    xxx.xxx.xxx.191 
https://semanticlocation-pa.googleapis.com    -    0    47296 -    -    
-    409028    -    0    -    0    -    no_name_group 1
1603826142.997        -    xxx.xxx.xxx.189    xxx.xxx.xxx.189 
https://log.tiktokv.com    -    0    1620    -    -    - 20710    -    
0    -    0    -    no_name_group    1
1603826143.007        -    xxx.xxx.xxx.190    xxx.xxx.xxx.190 
https://api.sec.intl.miui.com    -    0    4040    -    -    - 18123    
-    0    -    0    -    no_name_group    1
1603826143.193        -    xxx.xxx.xxx.143    xxx.xxx.xxx.143 
https://ulog-sdk.gifshow.com    -    0    581    -    -    - 124069    
-    0    -    0    -    no_name_group    1
1603826144.152        -    xxx.xxx.xxx.149    xxx.xxx.xxx.149 
https://api.steampowered.com    -    0    13990    -    -    - 30997    
-    0    -    0    -    no_name_group    1
1603826144.333        -    xxx.xxx.xxx.190    xxx.xxx.xxx.190 
https://b-graph.facebook.com    -    0    1244    -    -    - 65126    
-    0    -    0    -    no_name_group    1
1603826144.415        -    xxx.xxx.xxx.167    xxx.xxx.xxx.167 
https://web.facebook.com    -    0    1167    -    -    - 120692    -    
0    -    0    -    no_name_group    1

Fica trasparente para os clientes android, apple e desktop.

Consigo aplicar políticas mas sempre baseado na url:
1603811932.121        - xxx.xxx.xxx.233    xxx.xxx.xxx.233    
https://www.xvideos.com -    403    0    -    -    -    1966    -    
500    *DENIED* Blocked site: xvideos.com    0    -    no_name_group    1
1603805710.033        -    xxx.xxx.xxx.34    xxx.xxx.xxx.34 
https://belas61.com.br    -    403    0    -    -    -    2047 -    
500    *DENIED* Blocked site: belas61.com.br    0    - no_name_group    1
1603799628.457        -    xxx.xxx.xxx.37    xxx.xxx.xxx.37 
https://pornl1.kayparkersex.com    -    403    0    -    -    - 90    
-    503    *DENIED* Banned pattern matched URL: 
(anal|babe|bharath|boob|breast|busen|busty|clit|cum|cunt|dick|fetish|fuck|girl|hooter|lez|lust|naked|nude|oral|orgy|penis|porn|porno|pupper|pussy|rotten|sex|shit|smutpump|teen|tit|topp?les|xxx)+.*(big|cyber|hard|huge|mega|small|soft|super|tiny|bare|naked|nude|anal|oral|topp?les|sex)+ 
0    Banned Regular Expression URLs    no_name_group    1

Com isso consegui monitorar os acessos e filtar algumas coisas indevidas.