Misaka
eaf56c1c9e
refactor(status): derive readiness from ingest_state; drop Excel probe & /data
...
状态盘就绪态 {kind}_ready 改为从持久的 ingest_state 派生（DB 真相、重启不丢），
不再由心跳读 downloads/ Excel、也不在启动时重置：
- 心跳 _fresh_ingest/_ready_flags/_apply_ready：expected/actual_ready=该类今天入库成功；
undelivered_ready=百世原生(今天入库) / 4 站派生(expected ∧ actual)。
- _persist_to_db 入库后调 _refresh_ready 立即派生（省 30s 心跳等待，与心跳同源）；
4 站 undelivered 连入 expected+actual，故 ingest_state 补记 expected/actual/undelivered 三行。
- _record_business_date 只写 business_date，不再碰 ready。
- 删 run_heartbeat 的 Excel 探测循环、DATA_FILENAMES、probe_data_file、遗物清理。
- state_store 增 set_business_date / set_ready（仅写单字段，不碰彼此）。
- 删 GET /data/{filename}（前端不再下载原始中转 Excel）；/report 保留。
原则：Excel 只作「站点下载→入库」中转，状态/比对一律走 DB。
真机+单元验证：重启后心跳派生（百世今日入库→立即绿、重启不掉灰）；韵达 expected-only
时 undelivered 不亮、补 actual 后亮（派生）；百世原生；_ready_flags 7 例边界全过。
Co-Authored-By: Claude <noreply@anthropic.com >
2026-07-31 23:47:23 +08:00
Misaka
d74a35844f
feat(schedule): 周期抓取调度取代每日定点下载
...
应到/实到数据各自独立周期抓取(启用+激活时段+频率)，抓取与处理解耦，抓完自动落库(复用现有 _persist_to_db 钩子)。
- state_store: 新增 fetch_schedule 表(site,kind)；所有连接加 timeout=3.0 防并发锁；get/set/get_all_fetch_schedules、create_task_if_idle(周期去重)、allowed_kinds；get_all_config 改返回 fetch_schedules；旧 set_schedule 标废弃。修复 get_all_fetch_schedules 列错位(_fetch_spec(r[2:]))。
- server: IntervalTrigger + _in_active_window(含跨午夜) + _enqueue_fetch(就绪门/激活窗口/去重) + _reschedule_fetch + lifespan 按(site,kind)注册 + FetchScheduleSpec + PUT/GET /config 新结构。
- runtime/store/BFF: 零改动。
Co-Authored-By: Claude <noreply@anthropic.com >
2026-07-28 22:58:47 +08:00
Misaka_Company
7211846375
feat(state_store): add ingest_state table + set/get helpers
2026-07-24 10:55:43 +08:00
Misaka_Company
7065b88269
refactor: move flat modules into inbound_verify package (Tier 1, behavior-identical)
...
Relocate 12 root .py modules into inbound_verify/ (sites/, cli/ subpackages). Rewrite all internal imports to package-qualified; drop the site_ prefix on the 5 site modules and their 28 call sites. Fix paths.py BASE_DIR to anchor at the project root. Add main() entry wrappers (cli/router, cli/server, store). No behavior change.
Co-Authored-By: Claude <noreply@anthropic.com >
2026-07-23 12:21:31 +08:00
