Python / 知识点
Python 常用开发库速查
HTTP 与网络
用于普通同步接口调用、文件下载和表单提交,首选 requests;接口简单、并发量不高时最省心,不适合高并发异步请求。
同步 HTTP 请求
用于普通同步接口调用、文件下载和表单提交,首选 requests;接口简单、并发量不高时最省心,不适合高并发异步请求。
安装
pip install requests最小示例
import requests
resp = requests.get("https://httpbin.org/json", timeout=10)
resp.raise_for_status()
data = resp.json()
print(data)使用边界
普通脚本、后台服务中的少量同步请求优先考虑 requests。一定设置超时,并对非 2xx 响应显式处理;进入 asyncio 或需要大量并发连接时改用 httpx 或 aiohttp。
需要在 asyncio 中并发调用多个 HTTP 接口时可选 httpx;API 风格接近 requests,同时支持同步与异步客户端。
异步 HTTP 请求
需要在 asyncio 中并发调用多个 HTTP 接口时可选 httpx;API 风格接近 requests,同时支持同步与异步客户端。
安装
pip install httpx最小示例
import asyncio
import httpx
async def main():
async with httpx.AsyncClient(timeout=10) as client:
resp = await client.get("https://httpbin.org/json")
resp.raise_for_status()
print(resp.json())
asyncio.run(main())使用边界
httpx 同时提供同步和异步客户端,适合希望保持 requests 类似调用体验、又要接入 asyncio 的项目。高并发场景应复用 AsyncClient,不要为每次请求反复创建客户端。
大量并发网络请求、长连接或异步抓取场景可使用 aiohttp;更贴近异步网络模型,适合需要细粒度连接控制的程序。
高并发 HTTP 客户端
大量并发网络请求、长连接或异步抓取场景可使用 aiohttp;更贴近异步网络模型,适合需要细粒度连接控制的程序。
安装
pip install aiohttp最小示例
import asyncio
import aiohttp
async def main():
timeout = aiohttp.ClientTimeout(total=10)
async with aiohttp.ClientSession(timeout=timeout) as session:
async with session.get("https://httpbin.org/json") as resp:
resp.raise_for_status()
print(await resp.json())
asyncio.run(main())使用边界
aiohttp 更贴近异步网络编程,适合爬虫、网关或大量并发 HTTP 请求。应复用 ClientSession,并结合连接池、超时和并发上限控制资源消耗。
需要实现 WebSocket 客户端或服务端时可使用 websockets;适合实时消息、推送和长连接通信,不负责完整 Web 框架能力。
WebSocket 通信
需要实现 WebSocket 客户端或服务端时可使用 websockets;适合实时消息、推送和长连接通信,不负责完整 Web 框架能力。
安装
pip install websockets最小示例
import asyncio
from websockets.asyncio.client import connect
async def main():
async with connect("wss://echo.websocket.events") as ws:
await ws.send("hello")
print(await ws.recv())
asyncio.run(main())使用边界
适合实时消息、在线状态和长连接通信。生产环境还要考虑心跳、断线重连、消息大小、代理超时和服务端连接数限制。
Web 与接口开发
开发 REST API、内部服务或 AI 接口时常用 FastAPI;结合类型提示和 Pydantic 可自动校验参数并生成接口文档。
快速构建 API
开发 REST API、内部服务或 AI 接口时常用 FastAPI;结合类型提示和 Pydantic 可自动校验参数并生成接口文档。
安装
pip install fastapi uvicorn最小示例
from fastapi import FastAPI
app = FastAPI()
@app.get("/health")
def health():
return {"status": "ok"}使用边界
FastAPI 适合以 JSON API 为主的服务,通常配合 Uvicorn、Pydantic 和 SQLAlchemy。若项目需要完整后台管理、模板系统和内置认证,可评估 Django。
需要快速搭建小型网站、Webhook 或简单后台时可选 Flask;核心轻量、扩展自由,但大型项目需要自行约束工程结构。
轻量 Web 应用
需要快速搭建小型网站、Webhook 或简单后台时可选 Flask;核心轻量、扩展自由,但大型项目需要自行约束工程结构。
安装
pip install flask最小示例
from flask import Flask
app = Flask(__name__)
@app.get("/health")
def health():
return {"status": "ok"}使用边界
Flask 核心轻量,适合 Webhook、小型后台和快速原型。项目变大后要自行约束配置、认证、数据库访问和目录结构。
需要后台管理、ORM、认证和完整项目结构时可选 Django;适合业务系统和内容平台,不适合只做极轻量单接口服务。
完整 Web 平台
需要后台管理、ORM、认证和完整项目结构时可选 Django;适合业务系统和内容平台,不适合只做极轻量单接口服务。
安装
pip install django最小示例
from django.http import JsonResponse
def health(request):
return JsonResponse({"status": "ok"})使用边界
Django 更适合包含用户、权限、后台管理和关系模型的完整业务系统。只做少量 API 时框架能力可能偏重。
接口参数、配置对象和 JSON 数据需要类型校验时使用 pydantic;适合把外部数据转换成结构化 Python 对象并明确错误信息。
数据模型校验
接口参数、配置对象和 JSON 数据需要类型校验时使用 pydantic;适合把外部数据转换成结构化 Python 对象并明确错误信息。
安装
pip install pydantic最小示例
from pydantic import BaseModel
class User(BaseModel):
id: int
name: str
user = User.model_validate({"id": 1, "name": "Ada"})
print(user.name)使用边界
Pydantic 适合校验来自 HTTP、配置文件和消息队列的外部数据。不要把“校验通过”误认为业务规则已经满足,跨字段和业务约束仍需单独检查。
数据处理与分析
矩阵、向量、批量数值运算和科学计算通常使用 NumPy;它也是 Pandas、SciPy 和大量机器学习库的基础依赖。
数组与数值计算
矩阵、向量、批量数值运算和科学计算通常使用 NumPy;它也是 Pandas、SciPy 和大量机器学习库的基础依赖。
安装
pip install numpy最小示例
import numpy as np
values = np.array([1, 2, 3, 4])
print(values.mean())
print(values * 2)使用边界
NumPy 擅长同类型数组的批量计算,通常比 Python 循环更适合数值任务。普通业务对象、复杂嵌套结构不必强行转换为 ndarray。
CSV、Excel 导入后的清洗、筛选、聚合和统计分析通常使用 pandas;适合中小规模表格数据和交互式分析任务。
表格数据处理
CSV、Excel 导入后的清洗、筛选、聚合和统计分析通常使用 pandas;适合中小规模表格数据和交互式分析任务。
安装
pip install pandas最小示例
import pandas as pd
df = pd.DataFrame({"name": ["A", "B"], "score": [90, 80]})
print(df[df["score"] >= 85])使用边界
Pandas 适合 CSV、Excel 和分析型表格处理。数据规模持续增长到内存压力明显时,应考虑分块读取、数据库聚合或 Polars 等方案。
数据量较大或希望利用多线程执行表格计算时可考虑 polars;适合列式计算和分析任务,不必默认替代所有 Pandas 项目。
高性能表格处理
数据量较大或希望利用多线程执行表格计算时可考虑 polars;适合列式计算和分析任务,不必默认替代所有 Pandas 项目。
安装
pip install polars最小示例
import polars as pl
df = pl.DataFrame({"name": ["A", "B"], "score": [90, 80]})
print(df.filter(pl.col("score") >= 85))使用边界
Polars 适合列式计算、较大数据集和希望利用多核执行的场景。已有大量 Pandas 生态代码时,不必只为语法新颖而迁移。
优化、积分、信号处理、统计分布和科学算法可使用 SciPy;通常与 NumPy 配合,用于解决更专业的数值计算问题。
科学计算
优化、积分、信号处理、统计分布和科学算法可使用 SciPy;通常与 NumPy 配合,用于解决更专业的数值计算问题。
安装
pip install scipy最小示例
from scipy import optimize
result = optimize.minimize_scalar(lambda x: (x - 3) ** 2)
print(result.x)使用边界
SciPy 建立在 NumPy 之上,提供优化、积分、信号、统计等科学算法。普通数组处理仍以 NumPy 为主,需要专业算法时再引入 SciPy。
需要绘制折线图、柱状图、散点图和科研图表时常用 matplotlib;控制粒度高,适合静态图和数据分析报告。
基础数据可视化
需要绘制折线图、柱状图、散点图和科研图表时常用 matplotlib;控制粒度高,适合静态图和数据分析报告。
安装
pip install matplotlib最小示例
import matplotlib.pyplot as plt
plt.plot([1, 2, 3], [2, 4, 3])
plt.xlabel("x")
plt.ylabel("y")
plt.show()使用边界
Matplotlib 适合静态图、科研绘图和需要细粒度控制的输出。面向浏览器交互或数据看板时可优先考虑 Plotly。
需要浏览器交互、悬浮提示和可缩放图表时可使用 plotly;适合数据看板、分析页面和交互式 Notebook 展示。
交互式图表
需要浏览器交互、悬浮提示和可缩放图表时可使用 plotly;适合数据看板、分析页面和交互式 Notebook 展示。
安装
pip install plotly最小示例
import plotly.express as px
fig = px.line(x=[1, 2, 3], y=[2, 4, 3], markers=True)
fig.show()使用边界
Plotly 适合需要缩放、悬浮提示和交互筛选的图表。生成的前端资源通常比静态图更重,批量报告和纯图片输出未必合适。
数据库与缓存
需要统一操作 MySQL、PostgreSQL、SQLite 等关系数据库时可选 SQLAlchemy;适合 ORM、连接管理和复杂查询构建。
关系数据库 ORM
需要统一操作 MySQL、PostgreSQL、SQLite 等关系数据库时可选 SQLAlchemy;适合 ORM、连接管理和复杂查询构建。
安装
pip install sqlalchemy最小示例
from sqlalchemy import create_engine, text
engine = create_engine("sqlite:///demo.db")
with engine.begin() as conn:
result = conn.execute(text("select 1"))
print(result.scalar_one())使用边界
SQLAlchemy 可以只使用 SQL Core,也可以使用 ORM。连接池、事务边界和会话生命周期应在项目层统一管理,不要把 Session 当作全局永久对象。
纯 Python 项目连接 MySQL 时可使用 PyMySQL;安装简单、兼容常见 DB-API 用法,适合普通后台和脚本任务。
连接 MySQL
纯 Python 项目连接 MySQL 时可使用 PyMySQL;安装简单、兼容常见 DB-API 用法,适合普通后台和脚本任务。
安装
pip install pymysql最小示例
import pymysql
conn = pymysql.connect(
host="127.0.0.1",
user="app",
password="secret",
database="demo",
)
with conn.cursor() as cursor:
cursor.execute("SELECT 1")
print(cursor.fetchone())
conn.close()使用边界
PyMySQL 是纯 Python MySQL 驱动,部署简单。生产项目应使用参数化 SQL、连接池,并避免把账号密码直接写入源码。
连接 PostgreSQL 推荐使用 psycopg;支持现代 PostgreSQL 驱动能力,适合普通数据库访问和高质量生产项目。
连接 PostgreSQL
连接 PostgreSQL 推荐使用 psycopg;支持现代 PostgreSQL 驱动能力,适合普通数据库访问和高质量生产项目。
安装
pip install psycopg最小示例
import psycopg
with psycopg.connect("postgresql://app:secret@127.0.0.1/demo") as conn:
with conn.cursor() as cur:
cur.execute("SELECT 1")
print(cur.fetchone())使用边界
psycopg 是现代 PostgreSQL Python 驱动。生产代码应明确事务范围、连接池和超时策略,并使用参数绑定避免 SQL 注入。
缓存、分布式锁、计数器和消息场景可使用 redis 官方 Python 客户端;同时支持常见同步与异步 Redis 操作。
访问 Redis
缓存、分布式锁、计数器和消息场景可使用 redis 官方 Python 客户端;同时支持常见同步与异步 Redis 操作。
安装
pip install redis最小示例
import redis
client = redis.Redis(host="127.0.0.1", port=6379, decode_responses=True)
client.set("demo:key", "value", ex=60)
print(client.get("demo:key"))使用边界
适合缓存、计数和轻量消息场景。Redis 命令是原子的不代表多条命令组合天然安全,锁、扣减等复合逻辑仍要考虑 Lua、事务和过期边界。
需要操作 MongoDB 文档数据库时使用 pymongo;适合集合查询、聚合和文档读写,不用于关系模型替代。
访问 MongoDB
需要操作 MongoDB 文档数据库时使用 pymongo;适合集合查询、聚合和文档读写,不用于关系模型替代。
安装
pip install pymongo最小示例
from pymongo import MongoClient
client = MongoClient("mongodb://127.0.0.1:27017")
collection = client.demo.users
collection.insert_one({"name": "Ada"})
print(collection.find_one({"name": "Ada"}))使用边界
MongoDB 适合文档模型和灵活结构数据。是否使用文档数据库应由访问模式决定,不应因为“无需固定表结构”就替代所有关系数据库。
自动化与爬虫
需要从已有 HTML 中提取标题、链接和节点内容时可使用 beautifulsoup4;适合解析,不负责浏览器执行和完整爬虫调度。
解析 HTML
需要从已有 HTML 中提取标题、链接和节点内容时可使用 beautifulsoup4;适合解析,不负责浏览器执行和完整爬虫调度。
安装
pip install beautifulsoup4最小示例
from bs4 import BeautifulSoup
html = "<h1>Hello</h1><a href='/docs'>Docs</a>"
soup = BeautifulSoup(html, "html.parser")
print(soup.h1.get_text(strip=True))
print(soup.a["href"])使用边界
Beautiful Soup 负责解析已有 HTML,不会自动执行页面 JavaScript。内容由前端动态渲染时,需要直接调用数据接口或配合 Playwright。