糗事百科成人版段子爬虫实战

　　糗事百科成人版的段子爬虫在这里插入图片描述

　　在这里插入图片描述

　　在这里插入图片描述

　　查看网站源代码，发现段子的规律为：

　　在这里插入图片描述

　　因此正则表达式可以写成

　　在这里插入图片描述

　　然后观察网址规律，发现格式是…page/n，n是页数

　　因此可以自己构造url访问多页

　　在这里插入图片描述

　　最后是针对某些反爬机制 可以自己添加用户代理池和ip代理池然后随机调用代理池（这个糗事百科没什么反爬机制可以不写）

　　常用用户代理池

　　https://blog.csdn.net/wangqing84411433/article/details/89600335

　　在这里插入图片描述

　　效果图

　　在这里插入图片描述

　　完整代码