Misaka
|
82c80fc859
|
未到数据按站独立 + 百世并入汇总 + 全量跑比对（失败容错）
- state_store：site_status 加 undelivered_ready 字段（旧库 ALTER 迁移）；init_db 提早到启动最前（server lifespan + launch_and_prepare 第0步），避免 /api/status 早于迁移报错
- expected_undelivered：重构为 process(name)/process_baishi/write_site_file/build_full_report；build_summary 支持百世（仅未到件、无基数，不计入合计/图表）与失败容错（未成功站保留行无数据）
- runtime：4 站 ("站","undelivered") = 下应到+实到 → 比对写 <站>-未到数据.xlsx；("__compare__","compare") 改 run_all（顺序跑5站、记成功清单 → build_full_report，未登录/失败跳过）；DATA_FILENAMES 加 undelivered、心跳探测之；_site_undelivered_handler 用 is not False 与 dispatch 一致
- site_shunxin：shunxin_expected/actual_download 改为 return with_retry 结果（修复返回 None 致调用方误判失败、以及 with_retry 失败被当成功的潜在 bug）
- server：lifespan 启动时 init_db
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 23:19:21 +08:00 |
|
Misaka
|
26a94999dc
|
按站点指定下载日期偏移（0=今天…30）+ 修复启动陈旧登录态
偏移量功能（前端/API 可配，服务端持久化、多用户共享）：
- state_store：新增 site_config 表 + get_offset / set_offset(0..30 钳制) / get_all_offsets
- server：新增 GET/PUT /config（百世锁定当天，不可配置）
- 顺心/中通/韵达/安能（各 expected+actual）：日期逻辑由 query_days 范围改为读 offset
算单日 target=今天-offset，起止同日；百世仍走当日
- config.example.yaml：query_days 标记为已废弃
修复启动时显示上一会话陈旧登录态：
- state_store：新增 reset_login_states（登录态会话级，启动重置为 unknown；数据态会话无关、保留）
- runtime.launch_and_prepare：启动时对各站重置登录态，心跳就绪后重新探测写真实值
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 21:27:52 +08:00 |
|
Misaka
|
66bd8af421
|
阶段1：服务化骨架（FastAPI + Playwright worker + 任务队列）
- 新增 runtime.py：抽离共享核心 launch_and_prepare / dispatch_task / run_heartbeat /
probe_* / launch_anneng / RuntimeContext，常量 SITES_CONFIG 等；main_router 复用
- 新增 server.py：FastAPI（主线程）+ Playwright worker（独立线程）+ 任务队列；
API：POST/GET /tasks、GET /status、GET /data/{file}（防路径穿越）
- state_store：加 task_history 表 + create/update/get/list 接口
- 5 站点 with_retry 改为返回 True/False，供 dispatch_task 判成败
- main_router：重写为复用 runtime 的交互模式（行为不变）
- requirements：加 fastapi、uvicorn
- CLAUDE.md：补充运行模式与共享核心架构说明
线程模型：主线程 FastAPI 不碰 Playwright，worker 线程独占 page，经 Queue + SQLite 通信。
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-17 00:04:39 +08:00 |
|
Misaka
|
a5ceb42ac1
|
阶段0：登录态心跳 + 状态持久化（重构地基）
- 新增 state_store.py：SQLite 状态存储（site_status 表：登录态/数据态/时间戳），
UPSERT 保留字段，重启不丢
- paths.py：加 STATE_DB_PATH（state/state.db）
- main_router：提取 probe_site_login / probe_data_file；菜单循环改为
input 后台线程 + 主线程心跳轮询（满足 Playwright sync 线程安全）；
每 30s 探测各站登录态 + 数据文件写库，登录态变化时提示；新增菜单 [12] 站点状态盘
- .gitignore：忽略 state/
为后续 FastAPI 化与 Web 前端提供状态地基。
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-16 22:44:15 +08:00 |
|