xianyu-spider 闲鱼商品搜索

1项目概览

一个把闲鱼搜索能力封装成 HTTP API 的轻量服务，适合二手交易数据采集与私信自动化。

2快速开始

安装依赖后，一行命令即可启动服务。

# 安装依赖 + 扫脸认证所需的浏览器内核（一次即可）
pip install -r requirements.txt
playwright install chromium

# 启动服务（默认 8000 端口）
python spider.py

# 登录（终端二维码）
python spider.py login
python spider.py login --cookie     # 粘贴网页 Cookie
python spider.py login --browser    # 打开官方登录页

# 命令行搜索
python spider.py search 手机 --pages 3
python spider.py search 相机 --sort price_asc --min-price 100 --max-price 800 --city 深圳
python spider.py search 自行车 --no-save

3功能特性

三大核心模块，覆盖搜索、登录与私信。

3.1 关键词商品搜索（异步并发）

支持分页、排序、价格、地区筛选，默认按最新发布排序。自动对已抓取的商品做链接特征哈希去重，返回「新增记录」统计。

POST /search/
{
  "keyword": "手机",
  "max_pages": 1,
  "sort": "newest",
  "min_price": 100,
  "max_price": 2000,
  "city": "深圳"
}
# → { "status":"success", "total_results":30, "new_records":5 }

sortnewest（默认）· price_asc · price_desc · default

3.2 登录（扫码 / 扫脸 / Cookie）

扫码确认后如需扫脸会自动打开浏览器完成。登录态保存在 data/session.json，GET /auth/status 校验有效性。Cookie 失效时搜索自动降级为未登录模式（返回 logged_in: false + login_expired）。

3.3 IM 私信（登录后）

支持收发文本、查看本地会话历史，并提供 SSE 实时事件流。未登录返回 401；未 start 即发送返回 409。

curl -X POST http://127.0.0.1:8000/im/start          # 打开 IM 长连接
curl http://127.0.0.1:8000/im/status
curl http://127.0.0.1:8000/im/conversations
curl 'http://127.0.0.1:8000/im/messages?conversation_id=对方id'
curl -X POST http://127.0.0.1:8000/im/send -H 'Content-Type: application/json' \
  -d '{"conversation_id":"对方id","to_user_id":"对方id","text":"在的"}'
curl -N http://127.0.0.1:8000/im/events               # SSE

4HTTP 接口一览

核心 REST 端点。

5命令行工具

6技术架构

7配置

.env 可选（默认使用本地 data/xianyu.sqlite3）：

DATABASE_URL=mysql://user:password@localhost/xianyu

8注意事项与合规