记录一下使用Laravel-s抵御百度爬虫的经历

2022-05-15 0 201

下面由Laravel教程栏目给大家记录一下使用Laravel-s抵御百度爬虫的经历,希望对需要的朋友有所帮助!

记录一下使用Laravel-s抵御百度爬虫的经历

什么是 Laravel-s

LaravelS是一个胶水项目,用于快速集成Swoole到Laravel或Lumen,赋予它们更好的性能
github地址

为什么用 Laravel-s

百度小程序上线后,百度爬虫过高的 qps(并发) 导致 cpu 满载,服务器宕机,服务器配置4核8G内存5M宽带。这时候怎么办?

调整 php-fpm 参数,设置为静态,静态模式对比动态模式性能更高。比如设置子进程数量255甚至更高,越高承受的并发量越大,但越高占用内存越大。结论,一定程度上有效果,但高并发下无用。

反馈百度调整爬虫抓取频率。结论,等吧,黄花菜都凉了,但还是反馈下比较好。

负载均衡。让其他服务器分担压力,前提是有足够的服务器,且都要部署相同的代码,且不能影响其他服务器本来职责的业务。或者在某云临时申请N台服务器,但你不知道爬虫什么时间来,什么时间去,不现实。

接下来就是文章的主题,用 Laravel-s 加速 http 响应。

Laravel-s 究竟起到多少加速效果

由于当时没有统计所有时段 qps 具体值,所以没办法得出准确的结论,只能根据调整前后的机器负载做对比。

部署前,cpu满载,机器宕机N次,瘫痪状态。外网出宽带占满(5M),部署后cpu立即降到20+, 临时升级宽带15M后,cpu达到 60%,外网宽带仍被占满(只能说百度爬虫是真作啊,多少宽带你就来多少啊)。结论,至少带来5倍的性能提升。

具体部署

爬虫所爬取的页面只是一部分,所以并不是将线上项目改造成laravel-s,也不现实。我们只需要将爬取的页面分离出来,单独部署到laravel-s

新建空项目,业务逻辑只处理抓取的页面api,项目端口号如 6501

部署 laravel-s ,测试api 及 ab压测

线上项目将爬虫爬取的页面路径代理到新建项目,如127.0.0.1:6501

location ~ ^/v1/test.* { proxy_pass http://127.0.0.1:6501; proxy_set_header Host $host;}

注意的几点:

conf/laravels.php 中,默认开启 worker 数量是 cpu 核数的两倍。

laravles 是运行在 swoole ,在内存中,每次更改代码,需重启 laravel-s

由于第2条的原因,数据库连接得不到释放,需开启 laravel 的断开重连(>laravle5.1)。在 conf/database.phpmysql配置中添加

'options'   => [ // 开启持久连接 \\PDO::ATTR_PERSISTENT => true,],

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

【声明:根据2013年1月30日《计算机软件保护条例》2次修订第17条规定: 为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存 储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬! 鉴于此,也希望大家按此说明研究软件!】
本站所有源码尽量保证原汁原味,如有特殊情况会作出声明及标注,网站资源不做任何二次加密(原版加密除外,不影响程序使用的不会做解密处理),方便您更好的学习参考。 在您的能力范围内,为了大环境的良性发展,请尽可能的选择正版资源。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

即刻码站__国内靠谱的站长资源下载平台 php教程 记录一下使用Laravel-s抵御百度爬虫的经历 https://www.jike1995.com/36944.html

常见问题
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用
查看详情
  • 最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度
查看详情

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务