文章详情页
网页爬虫 - Python爬虫入门知识
浏览：266日期：2022-06-26 18:12:12
问题描述
本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？
问题解答
回答1：爬虫学习要从需求学习，你看网上那么多初级爬虫都是爬些什么段子，美女图什么的，三天就能搞定这些简单的爬虫。
但是深入的话就是很难的，涉及到的方面也很多。
入门不是什么难事，可以看下这个--如何学习Python爬虫[入门篇] https://zhuanlan.zhihu.com/p/...
回答2：原理上就是http请求,再多一点就是session和cookie，再多就是验证码识别。工具上就是请求工具可以用urllib2，更好是request库，请求过来需要解析，那就是beautifulsoup。
Python 基础教程 | 菜鸟教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬虫性能：NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN来进行验证码识别 - QueenKing - SegmentFault /a/11...
回答3：可以参考 Python-Scrapy 爬虫框架，这有中文手册。
相关文章：
1. javascript - 一排三个框，各个框的间距是15px,距离外面的白框间距也是15px，这个css怎么写？2. javascript - jQuery post()方法，里面的请求串可以转换为GBK编码么？可以的话怎样转换？3. html5 - vue-cli 装好了 新建项目的好了，找不到项目是怎么回事？4. django - python 2层文件夹导入5. python - 用urllib抓取网页上的下载链接，目标文件是xls形式，但发现抓下来的xls是空表，里面只有一句报错信息，求帮助。6. 用CSS3 box-sizing 属性实现两个并排的容器，如果想让容器中间有间隔该如何实现7. mysql - C#连接数据库时一直这一句出问题int i = cmd.ExecuteNonQuery();8. css - ul ol前边的标记如何调整样式呢9. javascript - vue 手机端项目在进入主页后 在进入子页面，直接按返回出现空白情况10. python3.x - python 中的maketrans在utf-8文件中该怎么使用
排行榜
网公网安备