SkillAgentSearch skills...

ProxyPool

自建代理池

Install / Use

/learn @wangqifan/ProxyPool
About this skill

Quality Score

0/100

Supported Platforms

Universal

README

ProxyPool

应用场景

爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉,或者有些网站对我们的Ip有限制,一个IP之能操作一次,这个时候就需要设置代理了。这方面需求还是很大的,有专门的服务商提供代理,没钱的自己动手打造一个代理池吧。应用实例:知乎爬虫<br>

所用的工具

     * Redis的C#驱动-ServiceStack.Redis
     * Html解析-HtmlAgilityPack
     * 任务调度-Quartz.NET
  
  

基本思路

  部分网站上有免费的代理IP信息,比如xicidaili.com,proxy360.cn。这些网站有很多免费代理IP,然而有些质量不好,需要程序及时从代理池中删掉质量低的代理,不断加入优质代理。<br>

原理图

image

备注

思路来自知乎<br> 博客地址<br> 我的知乎爬虫

Related Skills

View on GitHub
GitHub Stars85
CategoryDevelopment
Updated4mo ago
Forks32

Languages

C#

Security Score

72/100

Audited on Dec 3, 2025

No findings