@iitii 已经适配了，我前面还有一个项目，爬取 tg 消息里面的博客内容，全部下载，一次下载几百套图片，，但是感觉没啥意思，就换了一个思路

虽然可以前面发了几个爬全站的脚本，但是我觉得资源在精不在多，故而打算完成一个通用的套图爬虫
由于每个站的规则不一样，需要我来写规则，大家可以提供站
站的要求：最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题，明天推送到github
站点可以在帖子里提交或者github的issues
github：https://github.com/qianmianyao/SimpleCrawler/issues

@飞的低一点 需要代理

可以爬取这个站点的全部图片，并且放入指定文件夹
网站:https://zazhitaotu.cc
需要：python3.8+
模块：requests、bs4
脚本：

import os
import re

import requests
import random
import bs4

# 生成一个全站页面链接的列表
urls = [f"https://zazhitaotu.cc/page/{url}/" for url in range(1, 26)]


def random_ip():
    a = random.randint(1, 255)
    b = random.randint(1, 255)
    c = random.randint(1, 255)
    d = random.randint(1, 255)
    return str(a) + "." + str(b) + "." + str(c) + "." + str(d)


def parsing(url):
    agent = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
                           "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92."
                           "0.4515.107 Safari/537.36",
             "X-Forwarded-For": random_ip()
             }
    response = requests.get(url, headers=agent).content
    soup = bs4.BeautifulSoup(response, "html.parser")
    a_url = soup.find_all("a")
    title = soup.find("title").string
    img_url = soup.find_all("img")
    return a_url, img_url, title


def download():
    for i in urls:
        a = parsing(i)
        a_urls = re.findall(r"https://zazhitaotu.cc/archives/[0-9]*.html", str(a))
        for img in a_urls:
            _, url, z = parsing(img)
            img_urls = re.findall(r"https://zazhitaotu.cc/usr/uploads/[0-9]*/[0-9]*/[0-9]*.jpg", str(url))
            try:
                os.mkdir(z)
            except Exception:
                print("文件夹存在，跳过")
                continue
            for up in img_urls:
                get_up = requests.get(up).content
                filename = up.split("/")[-1]
                with open(f"{z}/{filename}", "wb+") as f:
                    f.write(get_up)
                
    
if __name__ == "__main__":
    download()

在线720p
下载1080p
地址：http://fulixb.xyz/43.html

@orange1986 终身是多少钱来着

@loveloli 会员独享视频，可以下载，还有4k

@xcgx 一个号卖100人的，我这个就是官方价格而已，我又不赚钱。。

独享视频+4k视频
9.9刀一个月，换算目前汇率是67.9
打算找5个人开车
68x12/5=163

大约每人163每年，有人上车吗

手机看

每个炮节都是国产区更新的日子啊
tg开车频道：https://t.me/jinxuantaotu2333
大家没事可以来玩玩