python有很多的web框架，任意拿一个来写个api供爬虫调用。如此一来有很多益处，例如：当爬虫发觉代理不能应用还可以主动通过api去delete代理IP，当爬虫发觉代理池IP不够用时还可以主动去refresh代理池。如此一来比检测程序更为可靠。

　　在爬虫使用代理IP的过程中，不断进行第一步，确保不断有新的IP进入IP池。为了能避免浪费和提高效率，根据使用代理IP的实际情况，也可以对从芝麻HTTP代理IP那里对提取IP的频率进行调整。

　　上述便是有关于为了能保持爬虫的爬取效率必须注意的一些问题，此外在爬取的过程中也许还会继续碰到其它的的限制，必须及时知道目标网站的反爬虫策略的变化。