PHP爬虫：百万级别知乎用户数据爬取与说明

使用curl_multi函数可以同时发多个请求，但是在执行过程中使同时发200个请求的时候，发现很多请求无法返回了，即发现了丢包的情况。进 一步分析，使用 curl_getinfo 函数打印每个请求句柄信息，该函数返回一个包含HTTP response信息的关联数组，其中有一个字段是http_code，表示请求返回的HTTP状态码。看到有很多个请求的http_code都是 429，这个返回码的意思是发送太多请求了。我猜是知乎做了防爬虫的防护，于是我就拿其他的网站来做测试，发现一次性发200个请求时没问题的，证明了我 的猜测，知乎在这方面做了防护，即一次性的请求数量是有限制的。于是我不断地减少请求数量，发现在5的时候就没有丢包情况了。说明在这个程序里一次性最多 只能发5个请求，虽然不多，但这也是一次小提升了。

使用Redis保存已经访问过的用户

抓取用户的过程中，发现有些用户是已经访问过的，而且他的关注者和关注了的用户都已经获取过了，虽然在数据库的层面做了重复数据的处理，但是程序还 是会使用curl发请求，这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行，刚开始是放到数组 里面，后来发现要在程序里添加多进程，在多进程编程里，子进程会共享程序代码、函数库，但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变 量是分离的，不能被其他进程读取，所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候 都把用户push到一个already_request_queue队列中，把待抓取的用户（即每个用户的关注者和关注了的用户列表）push到 request_queue里面，然后每次执行前都从request_queue里pop一个用户，然后判断是否在 already_request_queue里面，如果在，则进行下一个，否则就继续执行。

在PHP中使用redis示例：

<php 
    $redis = new Redis(); 
    $redis->connect('127.0.0.1', '6379'); 
    $redis->set('tmp', 'value'); 
    if ($redis->exists('tmp')) 
    { 
        echo $redis->get('tmp') . "n"; 
    } 

使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后，程序运行了一个晚上，最终得到的数据有10W。还不能达到自己的理想目标，于是便继续优化，后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例：

//PHP多进程demo 
//fork10个进程 
for ($i = 0; $i < 10; $i++) { 
    $pid = pcntl_fork(); 
    if ($pid == -1) { 
        echo "Could not fork!n"; 
        exit(1); 
    } 
    if (!$pid) { 
        echo "child process $i runningn"; 
        //子进程执行完毕之后就退出，以免继续fork出新的子进程 
        exit($i); 
    } 
} 
 
//等待子进程执行完毕，避免出现僵尸进程 
while (pcntl_waitpid(0, $status) != -1) { 
    $status = pcntl_wexitstatus($status); 
    echo "Child $status completedn"; 
} 

在Linux下查看系统的cpu信息

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!