javascript - superagent爬取网站出现重定向问题

问题描述

用superagent爬网页，遇到重定向，拿不到重定向后的响应体，该如何解决，如何获取重定向后的网页

我想获取501页面的res，但是他跳转到37018页面，导致我拿到501页面的空res。

测试了爬取不到的网页，发现有2种情况

一开始进入网页响应码是200，过一小会刷新变成304

一进入响应码从301重定向到200，过一小会刷新变成304

测试了能爬取到的网页，发现有2种情况

一进入响应码从301重定向到200，过一小会刷新变成304

一开始进入网页响应码是200，过一小会刷新变成304

啊，我擦，那就没什么区别啦，小白不知道这跟我爬不到内容有没有关系，orz

再再补充

问题不在重定向，而在于我的正则表达式匹配问题

问题解答

你都不看官方文档的吗？

Following redirects

By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:

request .get(’/some.png’) .redirects(2) .end(callback);