您的位置:首页 >最新资讯
网络爬虫为何发生乱码?

  HTTP代理让网络爬虫越来越省事,大幅度降低了准入门槛,让很多人也开始学习编写爬虫程序.今天小编就跟各位分享网络爬虫为何发生乱码。

  网络爬虫总共有两种,一是选择nutch、hetriex,二是自写网络爬虫,二者在解决乱码时,基本原理是相同的,但前面解决乱码时,需要看懂源码后进行改动。而后者更随意省事,能够在编码时进行解决。这也是许多人在用框架写网络爬虫会发生各种各样的乱码时,不知道从哪里下手的缘故了。

网络爬虫为何发生乱码?

  1、网络爬虫发生乱码的缘故

  源网页页面编码和爬取下来后的编码转换不一致。如源网页页面为gbk编码的字节流,而大家爬取下后程序直接使用utf-8进行编码并输出到存储文件中,这必然会引起乱码,特别注意区分源网编码A、程序直接使用的编码B、统一转换字符的编码C。

  A、是webpage的服务器端编码

  B、爬取到的数据,原始状况为字节数组,它是由A来编码的,只有B=A时,才能够保证不发生乱码,否则当字符集不兼容时,总是会发生乱码,此步骤往往用于测试。

  C、统一转码是指得到网页页面的原始编码A后,再进行的统一编码,主要是为了将各个网页页面的数据统一成一类编码,往往选择字符集较大的utf-8为宜。

  每个网页页面都会有自己的编码,像gbk、utf-8、iso8859-1,以及日文的jp系统编码、西欧、俄文等编码各不相同,当进行漫爬时总是会扩展出各种编码,有的网络爬虫是对web网页页面进行简单的编码识别再进行统一编码,有的是不做源网页页面的判断直接统一按utf-8来解决,这显然是会造成乱码状况。

在线咨询
大客户经理
大客户经理
13318873961

大客户经理微信

微信公众号

微信公众号

回到顶部