# -*- coding: utf-8 -*- """编排层：串联 数据库查询 -> LLM调用 -> 格式校验解析 -> 组装最终JSON。 单条记录的处理逻辑（classify_param_text）: 1. 若新参数为空/None -> 直接判定无附件，不调用LLM(省成本，也没有可判断内容)。 2. 调用 LLM 拿到调用结果(LLMCallResult)。 - 若调用本身失败(网络/接口错误,重试耗尽) -> 记日志,标记 llm_call_error。 3. 用 parser.parse_llm_output(mode=..., enable_other=...) 做严格格式校验。 - 校验通过 -> 组装结果,记日志,结束。 - 校验失败(FormatError) -> 记日志,重新调用LLM重试。 4. 格式校验重试全部耗尽 -> 标记 status="llm_format_error"，不让脏数据进入最终结果。 无论上述哪一步，只要 OrderLogger 存在，每一次尝试都会被完整记录——包括发给 模型的完整对话、模型的原始回复（如果有）、格式校验是否通过。这是本模块与 日志模块的核心约定：不因为"这次调用失败了"就跳过记录，失败的调用恰恰最 需要被记下来供排查。 批量处理(classify_batch)在此基础上先查数据库拿到 {总排号: 新参数} 映射， 对查不到的总排号直接标记 status="not_found"，不发起LLM调用（也不生成日志， 因为根本没有"新参数"可供判断，没有对话可记）。 enable_other 控制是否允许模型使用"其他"兜底类目（默认 False），从 classify_batch/classify_single 一路透传到 llm_client.classify_raw（决定 提示词要不要包含"其他"）和 parser.parse_llm_output（决定校验要不要放行 "其他"）。本模块是唯一同时持有这两个调用点的地方，因此由本模块负责把 同一个值传给两边，不暴露给更上层去分别设置从而导致不一致。 """ from __future__ import annotations import logging from concurrent.futures import ThreadPoolExecutor, as_completed from pathlib import Path from typing import Any from db import DatabaseError, fetch_params_by_ids from llm_client import LLMClient from order_logger import OrderLogger from parser import FormatError, ParsedResult, parse_llm_output logger = logging.getLogger(__name__) def _empty_result(zong_pai_hao: str, status: str) -> dict[str, Any]: return { "zong_pai_hao": zong_pai_hao, "status": status, "has_attachment": None, "types": [], } def classify_param_text( llm_client: LLMClient, param_text: str | None, mode: str = "coarse", format_retry: int = 2, order_logger: OrderLogger | None = None, enable_other: bool = False, ) -> tuple[str, bool | None, list[str]]: """对单条"新参数"文本做分类，返回 (status, has_attachment, types)。 mode 决定分类粒度："coarse"只输出大类(资料/配件/耗材，启用 enable_other 时还有"其他")；"fine"输出"大类:细分类目"（如"配件:针型阀"）的列表。 不再有单独的 fine_types 返回值——fine 模式下细分类目已经内嵌在 types 的每个元素里。 enable_other 控制是否允许模型使用"其他"兜底那些不在既有枚举范围内的 附件，默认关闭；关闭时的行为与不支持"其他"之前完全一致。 status 取值: "ok" - 正常识别成功 "empty_param" - 新参数字段为空，直接判无附件，未调用LLM "llm_call_error" - LLM 网络/接口调用失败（重试耗尽） "llm_format_error" - LLM 返回内容格式校验多次失败（重试耗尽） format_retry 控制"格式校验失败后重新请求LLM"的次数，与 LLMClient 内部的 网络层重试是两回事：网络重试解决的是"请求没成功"，这里解决的是 "请求成功了但模型没按格式输出"。两层重试互不影响，各自独立计数。 order_logger 若提供，会记录本次分类过程中的每一次LLM往返（无论成败）。 """ if param_text is None or not str(param_text).strip(): if order_logger is not None: order_logger.log_param_text(param_text) order_logger.log_final_result("empty_param", None) return "empty_param", False, [] if order_logger is not None: order_logger.log_param_text(param_text) last_format_err: Exception | None = None for attempt in range(1, format_retry + 1): call_result = llm_client.classify_raw(param_text, mode=mode, enable_other=enable_other) if call_result.error is not None: logger.error("LLM 调用失败: %s", call_result.error) if order_logger is not None: order_logger.log_llm_attempt(attempt, call_result, None, None) order_logger.log_final_result("llm_call_error", None) return "llm_call_error", None, [] try: parsed = parse_llm_output(call_result.raw_response, mode=mode, enable_other=enable_other) if order_logger is not None: order_logger.log_llm_attempt(attempt, call_result, parsed, None) order_logger.log_final_result("ok", parsed) return "ok", parsed.has_attachment, parsed.types except FormatError as e: last_format_err = e logger.warning( "LLM 输出格式校验失败 (第 %d/%d 次): %s | 原始输出: %r", attempt, format_retry, e, call_result.raw_response, ) if order_logger is not None: order_logger.log_llm_attempt(attempt, call_result, None, str(e)) logger.error("格式校验重试 %d 次后仍失败，放弃: %s", format_retry, last_format_err) if order_logger is not None: order_logger.log_final_result("llm_format_error", None) return "llm_format_error", None, [] def classify_batch( db_cfg: dict[str, Any], llm_cfg: dict[str, Any], zong_pai_hao_list: list[str], max_workers: int = 8, mode: str = "coarse", log_dir: str | Path | None = None, enable_other: bool = False, ) -> list[dict[str, Any]]: """批量分类入口：查库 -> 并发调用LLM -> 组装结果列表。 log_dir 若提供，会为每个实际发起LLM调用的总排号在该目录下生成一个日志 文件；查库失败(not_found)或参数为空(empty_param)的总排号不生成日志文件， 因为它们本就没有与LLM的对话内容可记。 返回结果顺序与输入 zong_pai_hao_list 一致，即使某些查询失败或格式错误也会 补全为对应 status 的占位结果，保证"输入N个总排号，输出N条结果"。 """ # 去重但保留顺序，避免用户传入重复总排号导致重复查询/调用 seen: set[str] = set() unique_ids: list[str] = [] for zph in zong_pai_hao_list: if zph not in seen: seen.add(zph) unique_ids.append(zph) try: param_map = fetch_params_by_ids(db_cfg, unique_ids) except DatabaseError as e: logger.error("数据库查询失败，本批次全部标记为 db_error: %s", e) return [_empty_result(zph, "db_error") for zph in zong_pai_hao_list] llm_client = LLMClient(llm_cfg) results_by_id: dict[str, dict[str, Any]] = {} ids_to_classify = [zph for zph in unique_ids if param_map.get(zph) is not None] for zph in unique_ids: if param_map.get(zph) is None: results_by_id[zph] = _empty_result(zph, "not_found") def _worker(zph: str) -> tuple[str, dict[str, Any]]: order_logger = OrderLogger(log_dir, zph, mode) if log_dir is not None else None status, has_attachment, types = classify_param_text( llm_client, param_map[zph], mode=mode, order_logger=order_logger, enable_other=enable_other, ) return zph, { "zong_pai_hao": zph, "status": status, "has_attachment": has_attachment, "types": types, } if ids_to_classify: with ThreadPoolExecutor(max_workers=max_workers) as pool: futures = [pool.submit(_worker, zph) for zph in ids_to_classify] for fut in as_completed(futures): zph, result = fut.result() results_by_id[zph] = result # 按原始输入顺序（含重复项）展开最终结果 return [results_by_id[zph] for zph in zong_pai_hao_list] def classify_single( db_cfg: dict[str, Any], llm_cfg: dict[str, Any], zong_pai_hao: str, mode: str = "coarse", log_dir: str | Path | None = None, enable_other: bool = False, ) -> dict[str, Any]: """单个总排号分类的便捷封装。""" return classify_batch( db_cfg, llm_cfg, [zong_pai_hao], max_workers=1, mode=mode, log_dir=log_dir, enable_other=enable_other, )[0]