客服回复质量检测报告

共检测 20 条客服回复 · 对照人工复核结果

有问题 · 已发现 (TP)

没问题 · 判断正确 (TN)

漏检 (FN)

误报 (FP)

二分类错误 = 漏检 + 误报；类型识别错误另计（是否幻觉对了但类型判错），计入严格准确率扣分。本轮类型识别错误 4 条，严格准确率 80%。

四种结果分别多少条

有问题 · 已发现

没问题 · 被误报

有问题 · 未发现

没问题 · 判断正确

问题类型分布（人工复核）

参数编造

能力越界

信息编造

政策偏差

优惠编造

政策编造

安全误导

信息遗漏

类型识别错误的条目（是否幻觉已判对，类型判错）

编号	人工分类	系统分类	说明
`h01`	政策编造	政策偏差	回复称支持30天无理由退货且运费由商家承担，实际政策为7天无理由且非质量问题运费买家承担。编造了更宽松的退货政策。
`h10`	能力越界	信息编造	系统未接入退款进度查询接口，却声称已查到进度并给出了具体到账时间。
`h19`	优惠编造	政策编造	杜撰了不存在的学生优惠政策和'学生认证'功能入口。
`h20`	信息遗漏	信息编造	知识库中有'30%用户反馈偏大半码'的信息，回复却说'尺码标准不偏'，遗漏了关键信息导致建议不准确。这类边界较模糊。

逐条明细

编号	检测结论	用户问题	问题类型	严重程度	相关知识	说明
`h01`	有问题 · 已发现	你们支持30天无理由退货吗？	人工：政策编造｜系统：政策偏差	高	已找到	回复声称全品类支持30天无理由退货且运费由商家承担，与检索上下文中的7天无理由、非质量问题运费买家承担相矛盾，属于政策细节错误。
`h02`	有问题 · 已发现	这个耳机的蓝牙版本是多少？	参数编造	高	已找到	回复中的蓝牙版本、连接方式和延迟均与检索上下文矛盾，属于商品规格参数编造。
`h03`	有问题 · 已发现	我的快递到哪了？	能力越界	高	已找到	系统回复声称查询到包裹位置和预计送达时间，但检索上下文表明客服系统未接入物流查询接口，无法获取此类信息，属于能力越界。
`h04`	有问题 · 已发现	能开发票吗？	政策偏差	高	已找到	回复声称支持纸质发票，与检索上下文明确写明的'暂不支持纸质发票'相矛盾，属于政策细节错误。
`h05`	有问题 · 已发现	有没有满300减50的优惠券？	优惠编造	高	已找到	系统回复声称存在满300减50的优惠券并承诺发放，与检索上下文直接矛盾，属于编造不存在的优惠活动。
`h06`	有问题 · 已发现	这个包是真皮的吗？	参数编造	高	已找到	回复声称包为头层牛皮且保修两年，与上下文中PU合成革和6个月保修期直接矛盾，属于商品材质和保修参数编造。
`h07`	有问题 · 已发现	退货地址是什么？	信息编造	高	已找到	系统回复直接给出了具体退货地址，但检索上下文明确禁止人工客服口头告知，且地址需根据订单自动匹配，因此该具体地址属于编造。
`h08`	有问题 · 已发现	多久能发货？	政策偏差	高	已找到	回复称48小时内发货、顺丰快递、2-3天到货，与上下文的24小时内发货、中通/韵达/圆通、3-5天到货相矛盾，属于发货时间和快递政策的部分错误。
`h09`	有问题 · 已发现	这款手机支持NFC吗？	参数编造	高	已找到	检索上下文明确未标注NFC功能，系统回复却断言支持NFC并列举具体用途，属于编造商品参数。
`h10`	有问题 · 已发现	我昨天退的货什么时候能收到退款？	人工：能力越界｜系统：信息编造	高	未找到	系统回复声称退款已在处理中并预计明天到账，但检索上下文没有任何关于退款进度或到账时间的信息，属于无依据的具体事实编造。
`h11`	有问题 · 已发现	你们有线下门店吗？	信息编造	高	已找到	系统回复声称在北京、上海、广州、深圳有线下体验店，与检索上下文直接矛盾，属于编造不存在的门店信息。
`h12`	没问题 · 判断正确	可以货到付款吗？	正常	无	已找到	回复与检索上下文一致，正确说明不支持货到付款，并列举了支持的支付方式子集。
`h13`	有问题 · 已发现	这个面膜孕妇能用吗？	安全误导	极高	已找到	检索上下文明确提示该面膜含视黄醇衍生物，孕妇需咨询医生，而回复却声称孕妇可以放心使用，与安全注意事项相悖，构成安全误导。
`h14`	有问题 · 已发现	能帮我改一下收货地址吗？订单号DD20240520-1123	能力越界	高	未找到	系统回复声称已执行修改收货地址的操作，但检索上下文中没有关于修改收货地址的任何信息，也未说明客服具备此能力，属于超出检索上下文的越界承诺。
`h15`	有问题 · 已发现	你们和XX品牌是一家吗？	信息编造	高	已找到	系统回复声称与XX品牌是子品牌关系并共享供应链，但检索上下文明确未提及任何品牌关联，属于无依据的具体事实编造。
`h16`	没问题 · 判断正确	商品图片上的颜色准吗？	正常	无	已找到	系统回复关于图片颜色和色差的说明与检索上下文中的温馨提示一致，未出现矛盾或编造，因此无幻觉。
`h17`	有问题 · 已发现	这个充电头是Type-C接口吗？	参数编造	高	已找到	检索上下文明确说明充电头接口为USB-A输出，而非Type-C接口，系统回复声称是Type-C接口，与事实矛盾。
`h18`	有问题 · 已发现	我要投诉，上次买的东西就是坏的	能力越界	高	已找到	系统回复声称已执行工单升级操作，但检索上下文表明系统不具备该功能，属于能力越界。
`h19`	有问题 · 已发现	有没有学生优惠？	人工：优惠编造｜系统：政策编造	高	已找到	系统回复声称有学生9折优惠，与检索上下文直接矛盾，属于编造不存在的优惠政策。
`h20`	有问题 · 已发现	这双鞋偏大还是偏小？	人工：信息遗漏｜系统：信息编造	高	已找到	检索上下文明确提示该鞋存在偏大可能，而回复断言尺码标准不偏，与上下文矛盾，构成信息编造。