关于python爬虫的问题

问题描述

我使用post爬取网页表格数据，网站如下http://www.ipe.org.cn/Industr...，现在遇到了2个问题，其中一个问题是违规类型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>，该网页已经设定了checked，已经有默认值，而我只想要violation=1的数据，不知道该怎么办第二个问题是在选择国家，省份，城市过程<select name='select' onchange='setProvince_0();'>我无法直接用name 以及value选择我想要的表单数据

跪求各位大神的解答

问题解答

他是有API用来返回数据的，你可以抓取一下，点击筛选之后的数据流。大概是这个api，http://www.ipe.org.cn/data_as...，post方式，里面有一个参数叫itemType就是你想要的违规类型。然后对应的国家，省份，城市等信息都在api中有体现，自己跟一下就知道了。然后根据需求，构造请求你需要的数据，剩下的就是解析了。。。。