Quanto de banda a sua operação realmente consome?
A escolha entre pagar por gigabyte ou ter banda ilimitada depende de um número que quase ninguém mede antes de assinar. Medir leva alguns minutos e costuma surpreender — para cima.
A escolha entre pagar por gigabyte ou ter banda ilimitada depende de um número que quase ninguém mede antes de assinar. Medir leva alguns minutos e costuma surpreender — para cima.
Existem dois modelos de cobrança de proxy no mercado. Um cobra por gigabyte trafegado; o outro cobra uma mensalidade fixa por IP, com banda ilimitada.
Qual sai mais barato não é uma questão de opinião — é aritmética, e depende de um único número: quantos GB a sua operação move por mês. Abaixo de um certo volume, o modelo medido é mais barato. Acima dele, a mensalidade fixa vira muito mais barata.
O ponto de virada é fácil de calcular: divida a mensalidade fixa pelo preço do GB do concorrente. Se o Residencial Fixo custa R$ 40 por mês e o GB sai a US$ 4 (algo como R$ 22, dependendo do câmbio), o ponto de virada fica abaixo de 2 GB mensais. Acima disso, o fixo já sai na frente.
Ou seja: para qualquer operação que não seja muito leve, o número que decide é o seu. Vale medir.
1. Uma requisição isolada, com curl. Serve para saber o peso de uma página específica, que é a unidade de raspagem.
# bytes baixados numa unica requisicao
curl -s -o /dev/null -w "%{size_download} bytes\n" https://exemplo.com.br/produto/123
# pelo proxy, para medir o que de fato passa por ele
curl -s -o /dev/null -w "%{size_download} bytes em %{time_total}s\n" \
-x http://USUARIO:[email protected]:PORTA_HTTP https://exemplo.com.br/produto/123Multiplique pelo número de requisições que você faz por mês. Se cada página pesa 400 KB e você raspa 100 mil por mês, são 40 GB.
2. Uma sessão de navegador, pelo DevTools. Serve quando a operação é de perfis, não de raspagem. Abra o painel Rede, marque Disable cache, faça o fluxo de trabalho normal de uma conta e leia o total transferido no rodapé do painel.
Esse número costuma ser o que mais assusta: uma sessão de dez minutos num site pesado, com imagens e vídeo, passa de 100 MB sem esforço. Multiplicado por contas e por dias, vira dezenas de gigabytes.
3. No próprio código. Se a sua automação já roda em Python, somar o tamanho das respostas é trivial e dá o número exato:
# soma o que foi baixado ao longo da execucao
total = 0
for url in urls:
r = sessao.get(url)
total += len(r.content)
print(f"{total/1024/1024:.1f} MB nesta execucao")Medido o básico, vale conferir estes cinco, porque costumam dobrar o número:
Accept-Encoding: gzip, você baixa HTML cru. A diferença passa de 70% em páginas grandes.No modelo medido, cada um desses itens tem preço. No modelo de mensalidade fixa, nenhum deles muda a fatura — e é por isso que, em raspagem e em automação com imagem, a diferença entre os dois modelos deixa de ser marginal.
Com o número na mão, a decisão fica objetiva. Se a sua operação move poucos gigabytes por mês e você precisa de IPs de vários países, um provedor internacional medido provavelmente resolve melhor. Se ela move dezenas de gigabytes e é brasileira, a mensalidade fixa economiza de forma relevante.
O Residencial Fixo da GTI Proxy custa R$ 40 por mês com banda ilimitada e 100+ threads, sem cobrança por GB, com desconto progressivo a partir de 5 IPs. A comparação completa entre os dois modelos, com o que foi verificado na fonte e a data da consulta, está em proxy brasileiro ou internacional.
E se o seu caso é raspagem, proxy para web scraping trata threads, bloqueio e volume.
Três caminhos. Com curl, medindo uma requisição isolada: curl -s -o /dev/null -w \"%{size_download}\" na URL, e depois multiplicando pelo número de requisições do mês. No navegador, pelo painel Rede do DevTools com Disable cache marcado, fazendo o fluxo normal e lendo o total transferido. Ou no próprio código, somando len(r.content) de cada resposta ao longo da execução, que dá o número exato.
Divida a mensalidade fixa pelo preço do GB do fornecedor medido. Se a mensalidade é R$ 40 e o GB sai a cerca de R$ 22, o ponto de virada fica abaixo de 2 GB mensais — acima disso o modelo fixo já sai na frente. Como o câmbio e os preços mudam, refaça a conta com os números do dia.
Cinco coisas, principalmente. Imagens e fontes que a raspagem não usa, mas que um navegador headless baixa por padrão. Retentativas, que multiplicam o tráfego de cada falha. Respostas sem compressão, por falta do cabeçalho Accept-Encoding: gzip, o que pode custar mais de 70% a mais em páginas grandes. Vídeo com autoplay. E as execuções de teste durante o desenvolvimento, que também passam pelo proxy.
Proxy móvel 4G/5G com IPs da TIM, Vivo ou Claro, e residencial de fibra óptica brasileira. Teste o residencial de graça por 15 minutos, sem cartão.