爬虫泛滥,总结爬虫攻防战

1、通过User-Agent来控制访问 无论是浏览器还是爬虫程序,在向服务器发起网络请求的时候,都会发过去一个头文件:headers,比如知乎的requests headers
对于爬虫程序来说,最需要注意的字段就是:User-Agent
很多网站都会建立user-agent白名单,只有属于正常范围的user-agent才能够正常访问。

攻:难度⭐
可以自己设置一下user-agent,或者更好的是,可以从一系列的user-agent里随机挑出一个符合标准的使用。 2、通过IP限制实现

wmware workstation虚拟机迁移到pve

1、导出ovf虚拟机文件 2、将ovf转为ova格式。
vmware的安装目录里面,有ovftool.exe工具,利用cdm,执行下面命令
ovftool.exe  **.ovf  **.ova
假设导出来的ovf文件是debian.ovf,那么执行ovftool.exe  debian.ovf  

58到家数据库30条军规解读

军规适用场景:并发量大、数据量大的互联网业务 军规:介绍内容 解读:讲解原因,解读比军规更重要 一、基础规范 (1)必须使用InnoDB存储引擎
解读:支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高 (2)必须使用UTF8字符集 解读:万国码,无需转码,无乱码风险,节省空间

联发科WiFi 6网卡 MT7921的解决方法

联发科WiFi 6网卡 MT7921 ,或者说AMD小主机佩戴的大多是这个网卡,特点是真慢,还有经常丢包。 不才最忌买了2个小主机,都一个德行,链接速度5G的是54M/38M这种,频段153。而且不会主动切换频段,公司多个AP切换很难。 现在蒙对了一个方式跑到了866/866,不确定会不会反复,不确定下方步骤哪一个生效,懒得测试了。按图对比,不一致的调整一致试试看。

容器之间互访的方式

默认情况下,容器之间都是互相隔离不可以访问的。那么需要访问可以通过以下几种方式实现。 1、虚拟ip访问
docker 内部的默认桥接网络docker0,会创建和分配虚拟网卡,容器之间可以通过所获取的IP 进行互相访问。但是这个需要知道每个容器的IP,常规玩玩的用户,这种方式非常麻烦。(大型容器系统会结合域名系统实现,不在本文范围内) 2、运行时通过link关联
docker run…

Openssl版本升降

Openssl 的升降级,源码下载地址:
https://www.openssl.org/source/ 1、版本1升级到3 查看版本:openssl version
OpenSSL 1.1.1t…