Python / 知识点
Python 常用开发库速查
自动化与爬虫
需要请求调度、去重、Pipeline 和批量抓取能力时可使用 Scrapy;适合结构化爬虫项目,不适合只抓一个简单页面。
构建大型爬虫
需要请求调度、去重、Pipeline 和批量抓取能力时可使用 Scrapy;适合结构化爬虫项目,不适合只抓一个简单页面。
安装
pip install scrapy最小示例
import scrapy
class TitleSpider(scrapy.Spider):
name = "title"
start_urls = ["https://example.com"]
def parse(self, response):
yield {"title": response.css("title::text").get()}使用边界
Scrapy 适合有大量页面、并发抓取、去重和数据管道需求的爬虫。使用时应遵守目标站点条款、robots 规则以及适用法律。
需要登录网页、点击按钮、执行 JavaScript 或做端到端测试时推荐 Playwright;适合现代浏览器自动化和动态页面。
浏览器自动化
需要登录网页、点击按钮、执行 JavaScript 或做端到端测试时推荐 Playwright;适合现代浏览器自动化和动态页面。
安装
pip install playwright最小示例
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://example.com")
print(page.title())
browser.close()使用边界
首次使用通常还要执行 playwright install 安装浏览器。Playwright 适合需要真实浏览器执行环境的自动化,但资源开销明显高于直接 HTTP 请求。
需要通过 Python 执行远程命令或传输文件时可使用 paramiko;适合 SSH、SFTP 自动化,不用于大规模运维编排。
SSH 与 SFTP
需要通过 Python 执行远程命令或传输文件时可使用 paramiko;适合 SSH、SFTP 自动化,不用于大规模运维编排。
安装
pip install paramiko最小示例
import paramiko
client = paramiko.SSHClient()
client.load_system_host_keys()
client.connect("server.example.com", username="deploy")
_, stdout, _ = client.exec_command("uname -a")
print(stdout.read().decode())
client.close()使用边界
Paramiko 适合 SSH/SFTP 自动化。生产环境应校验主机密钥并优先使用安全的密钥认证,不要为了方便直接忽略未知主机校验。
单机程序需要按时间或周期执行任务时可使用 APScheduler;适合应用内调度,不等同于分布式任务队列。
定时任务
单机程序需要按时间或周期执行任务时可使用 APScheduler;适合应用内调度,不等同于分布式任务队列。
安装
pip install apscheduler最小示例
from apscheduler.schedulers.blocking import BlockingScheduler
scheduler = BlockingScheduler()
scheduler.add_job(lambda: print("tick"), "interval", minutes=5)
scheduler.start()使用边界
APScheduler 适合单进程或明确协调方式的任务调度。多实例部署时必须避免每个实例都重复执行同一任务,可使用统一调度或持久化 Job Store。
需要异步执行耗时任务、失败重试和多 Worker 消费时可使用 Celery;通常需要 Redis 或 RabbitMQ 作为消息代理。
分布式后台任务
需要异步执行耗时任务、失败重试和多 Worker 消费时可使用 Celery;通常需要 Redis 或 RabbitMQ 作为消息代理。
安装
pip install celery最小示例
from celery import Celery
app = Celery("tasks", broker="redis://127.0.0.1:6379/0")
@app.task
def add(a, b):
return a + b使用边界
Celery 适合跨进程或跨机器执行后台任务。任务最好具备幂等性,并配置重试、超时、结果存储和死信或失败处理策略。
文件与媒体处理
需要创建、读取和修改 .xlsx 工作簿时可使用 openpyxl;适合单元格、样式和公式处理,不负责旧版 .xls。
读写 Excel
需要创建、读取和修改 .xlsx 工作簿时可使用 openpyxl;适合单元格、样式和公式处理,不负责旧版 .xls。
安装
pip install openpyxl最小示例
from openpyxl import Workbook
wb = Workbook()
ws = wb.active
ws.append(["name", "score"])
ws.append(["Ada", 95])
wb.save("scores.xlsx")使用边界
openpyxl 面向 .xlsx 文件,适合单元格、样式、公式和工作表操作。处理海量数据时注意内存占用,可使用只读或只写模式。
裁剪、缩放、格式转换和基础图像处理可使用 Pillow;适合 JPG、PNG、WebP 等常见格式和普通服务端图片任务。
处理图片
裁剪、缩放、格式转换和基础图像处理可使用 Pillow;适合 JPG、PNG、WebP 等常见格式和普通服务端图片任务。
安装
pip install pillow最小示例
from PIL import Image
with Image.open("input.jpg") as image:
image.thumbnail((800, 800))
image.save("output.webp", quality=85)使用边界
Pillow 适合常见图片格式的裁剪、缩放和转换。批量处理用户上传文件时,应限制像素尺寸、文件大小和格式,避免异常图片消耗过多资源。
需要提取 PDF 文本、页面、图片或做页面级处理时可使用 PyMuPDF;适合读取和编辑类任务,性能通常较好。
读取与处理 PDF
需要提取 PDF 文本、页面、图片或做页面级处理时可使用 PyMuPDF;适合读取和编辑类任务,性能通常较好。
安装
pip install pymupdf最小示例
import pymupdf
doc = pymupdf.open("sample.pdf")
page = doc[0]
print(page.get_text())
doc.close()使用边界
PyMuPDF 适合文本提取、渲染页面和常见 PDF 操作。扫描版 PDF 没有可直接提取的文本层,需要额外 OCR;复杂版式也可能需要进一步解析。
需要生成或修改 .docx 文档时可使用 python-docx;适合段落、表格和基础格式处理,不负责旧版 .doc。
处理 Word 文档
需要生成或修改 .docx 文档时可使用 python-docx;适合段落、表格和基础格式处理,不负责旧版 .doc。
安装
pip install python-docx最小示例
from docx import Document
doc = Document()
doc.add_heading("Report", level=1)
doc.add_paragraph("Generated by Python.")
doc.save("report.docx")使用边界
python-docx 主要处理 .docx。它适合段落、表格和常规样式,但不能完整覆盖 Word 客户端的所有排版和宏功能。
工程化与质量
编写单元测试、参数化测试和 Fixture 时推荐 pytest;语法简洁、插件生态成熟,适合大多数 Python 项目。
单元测试
编写单元测试、参数化测试和 Fixture 时推荐 pytest;语法简洁、插件生态成熟,适合大多数 Python 项目。
安装
pip install pytest最小示例
def add(a, b):
return a + b
def test_add():
assert add(2, 3) == 5使用边界
pytest 适合单元测试和集成测试。Fixture 用来组织依赖,参数化用于覆盖多组输入;测试应优先验证行为,不要过度绑定内部实现。
调用外部接口或执行可能短暂失败的操作时可使用 tenacity;支持次数、等待策略和异常条件控制,避免手写重试循环。
自动重试
调用外部接口或执行可能短暂失败的操作时可使用 tenacity;支持次数、等待策略和异常条件控制,避免手写重试循环。
安装
pip install tenacity最小示例
from tenacity import retry, stop_after_attempt, wait_exponential
@retry(stop=stop_after_attempt(3), wait=wait_exponential(min=1, max=8))
def call_remote():
raise ConnectionError("temporary failure")使用边界
重试只适合短暂故障,并非所有异常都应该重试。对写操作尤其要考虑幂等性,并设置最大次数、退避和总超时,避免放大故障。
希望以更少配置获得结构清晰的日志时可使用 loguru;适合中小项目和脚本,大型工程仍需统一日志规范。
简化日志输出
希望以更少配置获得结构清晰的日志时可使用 loguru;适合中小项目和脚本,大型工程仍需统一日志规范。
安装
pip install loguru最小示例
from loguru import logger
logger.info("service started")
logger.bind(order_id="A1001").warning("retry request")使用边界
Loguru 能快速获得结构化程度较好的日志体验。团队项目仍应统一字段、等级、脱敏、轮转和采集规则,避免仅依赖默认输出。
本地开发需要从 .env 加载数据库地址、密钥等配置时可使用 python-dotenv;敏感值仍不应提交到代码仓库。
读取环境变量文件
本地开发需要从 .env 加载数据库地址、密钥等配置时可使用 python-dotenv;敏感值仍不应提交到代码仓库。
安装
pip install python-dotenv最小示例
import os
from dotenv import load_dotenv
load_dotenv()
database_url = os.getenv("DATABASE_URL")
print(database_url)使用边界
python-dotenv 主要服务本地开发和简单部署配置。.env 不应提交真实密钥,生产环境更适合由部署平台或密钥管理服务注入。
需要快速制作带参数、帮助信息和子命令的 CLI 时可使用 typer;基于类型提示生成命令行接口,适合内部工具。
构建命令行工具
需要快速制作带参数、帮助信息和子命令的 CLI 时可使用 typer;基于类型提示生成命令行接口,适合内部工具。
安装
pip install typer最小示例
import typer
app = typer.Typer()
@app.command()
def hello(name: str):
print(f"Hello, {name}")
if __name__ == "__main__":
app()使用边界
Typer 基于 Python 类型提示生成参数解析和帮助信息,适合内部工具与开发者 CLI。复杂兼容性需求下也可以直接使用 Click 或 argparse。
需要快速发现代码风格和常见质量问题时可使用 ruff;适合本地开发和 CI 检查,可覆盖大量传统 lint 工具能力。
代码检查与格式化
需要快速发现代码风格和常见质量问题时可使用 ruff;适合本地开发和 CI 检查,可覆盖大量传统 lint 工具能力。
安装
pip install ruff最小示例
ruff check .
ruff format .使用边界
Ruff 适合在本地和 CI 中快速检查 Python 代码,并可承担大量 lint 与格式化任务。规则应在项目配置中固定,避免不同开发者得到不同结果。
AI 与机器学习
分类、回归、聚类、预处理和模型评估可使用 scikit-learn;适合结构化数据和传统机器学习流程。
传统机器学习
分类、回归、聚类、预处理和模型评估可使用 scikit-learn;适合结构化数据和传统机器学习流程。
安装
pip install scikit-learn最小示例
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit([[1], [2], [3]], [2, 4, 6])
print(model.predict([[4]]))使用边界
scikit-learn 适合结构化数据的分类、回归、聚类和预处理。深度神经网络、GPU 训练和大模型任务通常转向 PyTorch 等框架。
神经网络训练、GPU 计算和深度学习研究常用 PyTorch;适合视觉、NLP、生成式 AI 和自定义模型训练。
深度学习
神经网络训练、GPU 计算和深度学习研究常用 PyTorch;适合视觉、NLP、生成式 AI 和自定义模型训练。
安装
pip install torch最小示例
import torch
x = torch.tensor([1.0, 2.0, 3.0])
print(x * 2)
print(torch.cuda.is_available())使用边界
PyTorch 适合张量计算、神经网络训练和 GPU 加速。正式安装时应根据操作系统和 CUDA 环境选择匹配的安装方式,不能假定所有机器都使用同一构建。
需要加载和使用 Hugging Face 上的文本、视觉或多模态预训练模型时可使用 transformers;适合推理和微调。
使用预训练模型
需要加载和使用 Hugging Face 上的文本、视觉或多模态预训练模型时可使用 transformers;适合推理和微调。
安装
pip install transformers最小示例
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
print(classifier("Python is great."))使用边界
Transformers 提供大量预训练模型的统一接口。模型下载可能较大,生产部署还要关注许可证、显存、推理延迟、模型版本和缓存策略。
需要在 Python 中调用 OpenAI 模型、结构化输出或相关 API 时使用官方 openai SDK;适合服务端和自动化集成。
调用 OpenAI API
需要在 Python 中调用 OpenAI 模型、结构化输出或相关 API 时使用官方 openai SDK;适合服务端和自动化集成。
安装
pip install openai最小示例
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="<MODEL_ID>",
input="用一句话解释 Python 装饰器。",
)
print(response.output_text)使用边界
官方 Python SDK 可从环境变量读取 API Key。新代码可围绕 Responses API 构建;模型 ID、能力和可用性会变化,生产项目应把模型配置外置并处理限流、超时和错误。