TG咨询同一类异常弹窗，可能只是文案变了，也可能整体换了布局。移动应用异常弹窗的图像识别与自动分类，不能只靠固定坐标或整图相等判断：前者容易受屏幕布局影响，后者会把时间、图标等细微变化误判成新弹窗。先判断“画面差异是什么”，再组合识别方法，通常更稳妥。
先把画面差异分成四类
- 局部像素变化：按钮颜色、边框或小图标改变，位置与结构基本不变。
- 文案变化：布局相近，但标题或提示内容不同，例如“网络不可用”和“登录已失效”。
- 结构变化：弹窗尺寸、按钮数量、排列方式或遮罩范围改变。
- 动态干扰：加载动画、时间、电量、输入内容等与异常类别无关的区域变化。
采集时还要标明弹窗来自应用本身还是系统界面。像定位权限请求这类系统提示，与应用内错误提示的结构和文案来源不同，混为一类会让分类结果难以解释。
按差异选识别方案
画面几乎固定：像素差分或模板匹配
当设备分辨率、截图范围和弹窗位置固定，像素差分便于发现细小改动，也容易定位变化区域。缺点是抗干扰弱：字体抗锯齿、缩放或一像素偏移都可能造成大量差异。可先裁出弹窗区域，再对齐尺寸，并屏蔽状态栏、动画等无关部分；不要直接拿整屏逐像素比较。
布局相似、细节略有变化：结构相似度或感知哈希
结构相似度（SSIM）关注局部亮度、对比度和结构变化，比逐像素判断更能容忍轻微渲染差别，适合比较样式近似的弹窗。感知哈希可快速筛查整体视觉相近的截图，但会压缩细节，不能单独用于区分只差一个按钮或一行文字的类别。两者更适合作为候选筛选，再交给后续判断。
文案决定类别：OCR 配合区域规则
若“权限被拒绝”“请求超时”等文字是主要线索，可先用 OCR 提取文本，再依据关键词、按钮文本和文本所在区域分类。OCR 对模糊截图、特殊字体、遮挡和语言变化可能识别不准，因此应保留“无法确认”类别，并用弹窗区域、按钮数量等信息交叉验证。
版式多、类别持续增加：视觉模型
当弹窗外观差别较大、模板维护成本高，可使用图像分类或目标检测模型：前者判断整块弹窗属于哪类，后者还能定位弹窗与按钮。它们需要覆盖不同设备、主题和文案版本的标注样本；新类别样本不足时，模型可能把它误分到相近类别，因此仍需置信度门槛和人工复核。
一套可执行的选型流程
- 定义类别。按处理动作划分，例如网络重试、权限设置、重新登录；把原因不同、后续操作不同的弹窗分开。
- 固定采集条件。记录设备尺寸、系统主题、应用版本、操作步骤和截图时机。每张图标注类别、弹窗区域及是否含动态元素。
- 先做归一化。统一截图尺寸与裁剪范围，遮蔽时间、电量等非判别区域；保留可能决定类别的标题和按钮文字。
- 选基线并组合。固定模板先试差分；外观近似先试 SSIM；文字关键先试 OCR；布局多变再评估视觉模型。组合时让简单方法筛选候选，复杂方法处理难例。
- 用留出的样本验证。按设备或应用版本划分训练与验证数据，避免同一画面的近似截图同时进入两边。查看各类别的精确率、召回率和混淆情况，重点检查误把未知弹窗判成已知类别的案例。
关键不是“认出来”，而是别把未知当已知
阈值不宜照搬：屏幕缩放、字体渲染、截图质量和主题都会改变相似度分布。应在目标设备与实际截图链路上，用已标注样本校准阈值；低置信度、多个方法结论冲突或弹窗区域缺失时，转入复核或标为未知。涉及账号、定位等信息的截图，还应在保存和标注前遮蔽个人数据。
移动应用异常弹窗的图像识别与自动分类，适合从差异稳定、维护成本低的方法起步，再按误判原因增加 OCR、结构比较或视觉模型。最终方案应以可解释的类别、可复现的采集条件和持续复核机制为准，而不是追求某一种算法包办所有画面。
常见问题
截图尺寸不同，还能直接比较吗？
不建议直接比较。先统一裁剪区域和缩放方式；若缩放导致文字变形，应优先使用 OCR 或结构特征辅助判断。
只有几张样本，适合训练视觉模型吗？
通常不适合直接依赖模型。可先用模板、OCR 和人工复核建立基线，积累覆盖不同版本与设备的标注样本后再评估。
弹窗文字相同但按钮不同，怎么分类？
把按钮数量、文本和位置纳入特征；如果按钮对应的处理动作不同，应设为不同类别，而非只按标题归类。
什么时候必须保留人工复核？
新版本、新类别、低置信度或涉及敏感操作的弹窗，都适合保留复核入口，并定期检查误判记录。