一. 学习前的想法在学习一个知识和想陈述清楚该知识的思考中我觉得以下的几个点非常重要1.为什么会有xxx东西什么样的现实需求问题使它应运而生2.它能够干什么(它如何解决与之对应的现实需求问题)3.相比于其他的同类方法或产品它的优缺点在哪里了解目标对象具体内容和发散自我思维二.学习过程今天在vulnhub的base64靶场学习。首先使用了sudo arp-scan --l对所在网络进行扫描找到目标靶机之后使用了nmap进行端口扫描有一个端口返回了robots.txt。我不知道这是干嘛的于是询问了同学后了解到这和爬虫有关。以此为引子我开始主动的了解爬虫。我将从上述的三个角度去陈述我对其的了解。1.爬虫是为了获取数据。获取什么数据呢答案是人类没有时间精力去获取的数据。假设一个人收集和整理数据。比如就像是收集一个城市面包店面包的价格信息。首先访问网站就是派出若干人在城市中心出发往四周走。走到面包店后进入面包店询问价格记录下来接着继续走一直到走到城市边界。走完之后把数据带回来我们就可以获得一个城市所有的面包店面包价格。我们再让这些人把这些面包按照植物奶油动物奶油价格一百以下价格一百以上两百以下等分类进行区分。这样这些派出去的人就收集并整理好了该城市面包相关信息。那么我理解爬虫就是写出一些程序他会在网络中有上述分派出去的人类似的功能。它在网络浏览收集我们指定类型的数据收集后再按照一定的方式进行分类和整理。最后得到了程序编写者需要的数据从而节省了大量的时间达到了一个很好的效果。好了出于时间问题今天就先写到这里明天再继续补充自己的浅薄理解。希望写的内容能对大家有所帮助也期待得到前辈和一起学习的同道们的批评和斧正