request 获取GBK编码网页

文章目录

request在抓取utf8编码网页时中文没有问题，但是抓取gbk编码的网页时返回的中文都是乱码，网上搜索到如下解决方法：

首先安装request和iconv-lite模块

npm install request iconv-lite

var request = require('request');
var iconv = require('iconv-lite');

request.get({
    url: 'http://www.xxx.com',//需要抓取的url地址
    headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    },
    encoding: null //让body 直接是buffer
}, function(error, response, body) {
    var str = iconv.decode(body, 'GBK');
    console.log(str);

});