Python / 知识点

Python 常用开发库速查

自动化与爬虫

需要请求调度、去重、Pipeline 和批量抓取能力时可使用 Scrapy;适合结构化爬虫项目,不适合只抓一个简单页面。

构建大型爬虫

需要请求调度、去重、Pipeline 和批量抓取能力时可使用 Scrapy;适合结构化爬虫项目,不适合只抓一个简单页面。

安装

bash
pip install scrapy

最小示例

python
import scrapy

class TitleSpider(scrapy.Spider):
    name = "title"
    start_urls = ["https://example.com"]

    def parse(self, response):
        yield {"title": response.css("title::text").get()}

使用边界

Scrapy 适合有大量页面、并发抓取、去重和数据管道需求的爬虫。使用时应遵守目标站点条款、robots 规则以及适用法律。

文件与媒体处理

工程化与质量

AI 与机器学习

目录与阅读设置

记录一个想法

Python 常用开发库速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通