Python 取得旅游景点信息及评论并作词云 数据可视化
发布时间：2022-09-02 12:26:04 所属栏目：资源 来源：互联网
导读：今天将手把手教你使用线程池爬取同程旅行的景点信息及评论数据并做词云、数据可视化！！！带你了解各个城市的游玩景点信息。 首先新建一个线程并开启线程后线程进入就绪状态，就绪状态的线程不会马上运行，要获得CPU资源才会进入运行状态，在进入运行状态
|
今天将手把手教你使用线程池爬取同程旅行的景点信息及评论数据并做词云、数据可视化！！！带你了解各个城市的游玩景点信息。 首先新建一个线程并开启线程后线程进入就绪状态，就绪状态的线程不会马上运行，要获得CPU资源才会进入运行状态，在进入运行状态后，线程有可能会失去CPU资源或者遇到休眠、io操作（读写等操作）线程进入就绪状态或者阻塞状态，要等休眠、io操作结束或者重新获得CPU资源后，才会进入运行状态，等到运行完后进入终止状态。 注意：新建线程系统是需要分配资源的，终止线程系统是需要回收资源的，那么如何减去新建/终止线程的系统开销呢，这时我们可以创建线程池来重用线程，这样就可以减少系统的开销了。 在创建线程池之前，我们先来学习如何创建多线程。 创建多线程 创建多线程可以分为四步： 创建函数； 创建线程； 启动线程； 等待结束； 创建函数 在上一步我们创建了爬虫函数，接下来将创建线程了，具体代码如下所示： 复制 import threading #多线程 def multi_thread(): threads=[] for url in urls: threads.append( threading.Thread(target=get_parse,args=(url,)) ) 首先我们导入threading模块，自定义multi_thread函数，再创建一个空列表threads来存放线程任务，通过threading.Thread()方法来创建线程。其中： target为运行函数； args为运行函数所需的参数。 注意args中的参数要以元组的方式传入，然后通过.append()方法把线程添加到threads空列表中。 和启动线程一样，先通过for循环把threads列表中的线程任务获取下来，再使用.join()方法等待线程结束。 多线程爬取50个博客园网页只要1秒多，而且多线程的发送网络请求的URL是随机的。 我们来测试一下单线程的运行时间，具体代码如下所示： 复制 if __name__ == '__main__': t1=time.time() for i in urls: get_parse(i) t2=time.time() print(t2-t1) 单线程爬取50个博客园网页用了9秒多，单线程的发送网络请求的URL是按顺序的。 在上面我们说了，新建线程系统是需要分配资源的，终止线程系统是需要回收资源的，为了减少系统的开销，我们可以创建线程池。 一个线程池由两部分组成： 线程池：里面提前建好N个线程，这些都会被重复利用； 任务队列：当有新任务的时候，会把任务放在任务队列中。 当任务队列里有任务时，线程池的线程会从任务队列中取出任务并执行，执行完任务后，线程会执行下一个任务，直到没有任务执行后，线程会回到线程池中等待任务。 （编辑：应用网_丽江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330468号