小七月 发表于 2022-1-5 09:56:59

python爬虫的用途

               Python爬虫是用Python编程语言实现的网络爬虫,主要用于网络数据的抓取和处理,相比于其他语言,Python是一门非常适合开发网络爬虫的编程语言,大量内置包,可以轻松实现网络爬虫功能。Python爬虫可以做的事情很多,如搜索引擎、采集数据、广告过滤等,Python爬虫还可以用于数据分析,在数据的抓取方面可以作用巨大!Python爬虫架构组成1. URL管理器:管理待爬取的url集合和已爬取的url集合,传送待爬取的url给网页下载器;2. 网页下载器:爬取url对应的网页,存储成字符串,传送给网页解析器;3. 网页解析器:解析出有价值的数据,存储下来,同时补充url到URL管理器。Python爬虫工作原理Python爬虫通过URL管理器,判断是否有待爬URL,如果有待爬URL,通过调度器进行传递给下载器,下载URL内容,并通过调度器传送给解析器,解析URL内容,并将价值数据和新URL列表通过调度器传递给应用程序,并输出价值信息的过程。
Python爬虫常用框架有:grab:网络爬虫框架(基于pycurl/multicur);scrapy:网络爬虫框架(基于twisted),不支持Python3;pyspider:一个强大的爬虫系统;cola:一个分布式爬虫框架;portia:基于Scrapy的可视化爬虫;restkit:Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象;demiurge:基于PyQuery的爬虫微框架。
            python爬虫应用领域广泛,在网络爬虫领域处于霸主位置,Scrapy、Request、BeautifuSoap、urlib等框架的应用,可以实现爬行自如的功能,只要您数据抓取想法,Python爬虫均可实现!


为什么python适合写爬虫1、抓取网页本身的接口相比与其他静态编程语言,如java,c#,C++,python抓取网页文档的接口更简洁;相比其他动态脚本语言,如perl,shell,python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)。此外,抓取网页有时候需要模拟浏览器的行为,很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求,譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定,如Requests,mechanize2、网页抓取后的处理抓取的网页通常需要处理,比如过滤html标签,提取文本等。python的beautifulsoap提供了简洁的文档处理功能,能用极短的代码完成大部分文档的处理。其实以上功能很多语言和工具都能做,但是用python能够干得最快,最干净。Life is short, u need python.

聚焦爬虫过滤方法1、浅聚焦爬虫选取符合目标主题的种子URL,例如我们定义抓取的信息为招聘信息,我们便可将招聘网站的URL(拉勾网、大街网等)作为种子URL,这样便保证了抓取内容与我们定义的主题的一致性。2、深聚焦爬虫一般有两种,一是针对内容二是针对URL。其中针对内容的如页面中绝大部分超链接都是带有锚文本的,我们可以根据锚文本进行筛选。


页: [1]
查看完整版本: python爬虫的用途