《准确率低》 你需要一套专家:系!统

2025-07-21 20:55:27      来源:CSDN博客

本文探讨了AI对话中常见的生硬和准确率低的问题,并提出引入专家系统作为解决方案。专家系统通过对大模型结果进行校验或兜底处理,提升AI在复杂场景中的准确性和实用性。文章以医疗诊断和财务报销为例,展示了专家系统如何通过规则校准和数据反哺,解决AI应用中的实际问题。

最近持续在为一些企业做AI培训,公司这边会有很多问题,其中最常见的有两个:

AI聊得不像人,最常见案例就是生硬,就算上RAG或知识库也不好使;

AI准确率不高,最常见就是AI能覆盖80%的场景,但业务的及格线是95%;

要解决这两个问题,都会进入AI应用开发的深水区,一般的解决方法都是要引入专家系统了:

其实这里的所谓专家系统也没那么神秘,简单来说就是一套算法,他要么对大模型的结果进行一次校验,要么是对大模型给出结果进行兜底性处理。

从这个角度来说,专家系统其实是比较简单的,但真实使用场景又是巨复杂的,这里涉及了很多技术密度,所以这里做简单介绍即可,大家能领悟多少算多少。

AI聊得不像人,很蠢的问题我们之前讨论过,后续还会有专门的章节,这里首先说下准确率问题:

专家系统与准确率

举个例子,有以下医患对话,模型需要判断患者到底是什么疾病:

以上是我用一个真实病历进行简化的聊天记录,当时检查后的诊断是社区获得性肺炎,但只看这个对话,模型下的症状是:急性病毒性上呼吸道-支气管炎。

所以,这里模型诊断错了,并且这是不被接受的!

在这个基础上专家系统就出现了,要构建这个系统会需要一些基本数据,比如:

社区获得性肺炎:

咳嗽±痰+气促或胸痛+发热>38℃/寒战

精神食欲轻-中度受影响;发热常>38℃,夜间盗汗

急性病毒性上呼吸道:

流清涕/鼻塞/喷嚏/咽痛+咳嗽常为刺激性、无痰或少痰

低热或无热;可伴乏力、肌肉酸痛但一般活动如常

专家系统需要拿着这些基础数据,在上下文对话中一一对照,对模型的回答进行校准,他实际的过程可能如下:

这里专家系统的工作是紧盯关键决策点,给出可解释的yes/no/再问一句;

最终两者互补,就能把诊断正确率从80%拉升到可接受的95%+,同时保持人性化的交流体验。

以上只是一个非常简单的场景,接下来再说一个场景。

规则兜底与飞轮系统

还是以医疗行为为例,比如现在已经做了诊断给了药物方案,但却在用药禁忌和用法用量上有些问题:

社区获得性肺炎,给出的治疗方案:

阿奇霉素500mg口服,1次/日,共3天

同时服用布地奈德福莫特罗吸入剂(慢阻肺合并哮喘患者常用)

PRN对乙酰氨基酚退热

在这个场景下实际存在三个问题:

疗程不足:标准门诊疗程常为「首日500mg,随后250mg/日,再服4天」,或「500mg/日×5天」;3天有复燃风险

潜在禁忌:患者67岁,已在用胺碘酮(抗心律失常药)。阿奇霉素有显著QTc延长风险,联合胺碘酮可触发尖端扭转型室速

用药冲突:若无哮喘/慢阻肺史,布地奈德福莫特罗属于多余治疗

这里专业术语过多,可能大家看着头疼,只不过所有的AI应用一到深水区全部是这种术语…

类似于这种漏洞不能期待模型100%给出,所以需要有详细的规则,这个规则可以来源于药品说明书。

只不过这里的药品说明书是需要结构化到系统中的,而且真实的错误也未必是单一的药品说明书能够涵盖,那么就会有个根据真实数据不停补足的过程!

比如,上述真实问题有3个,如果系统记录了2个漏了1个,那么在系统中补足剩下的一个就是我们所谓的飞轮系统了。

与之前一致,这里只是个非常简单的场景,具体实现难度会难非常多,而就我实际AI项目过程中,只要是深水区用户都是这么玩的。

结语

今天,我们蜻蜓点水的介绍了下AI的深水区技术专家系统,细细看来好像也并不是什么很难的技术,但是各行各业却切实的在使用,比如之前做的一个财务场景:

报销差旅费:北京-上海高铁票553,住宿费800(附发票),打车费150

类似上述审核任务,表面看,合理合规,但专家系统介入校验后,就可以发现之前忽略了问题:

一、发票合规性

住宿发票为“增值税普通发票”,但该酒店是一般纳税人,且员工选择了开具专票(系统记录偏好)。

按规定,一般纳税人应提供增值税专用发票用于抵扣。普通发票入账可能导致公司进项税损失。

二、费用标准超标

公司上海地区住宿标准:普通员工600/晚。800超标33%。

AI不止要识别发票真伪和基础信息就放行,还必须符合内部政策,比如这里不注意看可能大家不会发现这个员工打的是专车!

以上,都需要专家系统兜底,否则公司体系下会存在很多漏水点。

所以,无论是医疗、HR、财务还是销售等部门,当AI应用触及核心业务时,单纯依赖大模型的能力,就像让一个博览群书但毫无临床经验的医学生直接主刀,这种行为风险极高。

如何用专家系统对AI应用进行兜底,如何用日常产生的业务数据反哺系统形成飞轮系统,这是每个进入AI深水区的同学需要思考的问题。

  据四川省政府官网介绍,四川是国家系统推进全面创新改革试验的八个区域之一,拥有中国(四川)自由贸易试验区、成都国家自主创新示范区、天府新区、绵阳科技城、攀西战略性资源创新开发试验区等多个重大区域创新平台。

责编:李玄穆编辑

美媒竟将台湾与以伊冲突挂钩

  除了国际航线网络的短板,乌鲁木齐也缺乏国际顶级航司入驻。国泰航空凭借座舱、餐食、服务等方面的表现,建立起国际品牌形象,常年与新加坡航空、阿联酋航空、卡塔尔航空这样的顶级航司保持同一水准。通过国泰开航,乌鲁木齐有望在国际市场引起更多关注。

姚晨称是人生中唯一盈利的投资

  美国财政部本周早些时候也公布了新的反俄制裁方案,涉及俄罗斯以及中国等其他国家的300多家公司、银行和数十名个人。中国外交部发言人林剑13日表示,美国在全球范围内滥施单边制裁贻害无穷,严重损害他国主权安全,造成人道惨剧,破坏产供链稳定。乌克兰危机升级后,美方制裁更是变本加厉。而这种乱舞制裁大棒的做法,不仅无助于问题的解决,反而成为世界一个主要的风险源头。

手机烫手

  国家体育总局体育文化与体育宣传发展战略研究中心高端智库骨干专家、广州体育学院教授曾文莉告诉《环球时报》记者,体育具有较强的杠杆效应,以体育赛事表演为杠杆,能撬动城市基建、旅游、文化等,激活体育消费热情,推动体育产业能级提升,而这个杠杆的原动力主要是运动员尤其是明星运动员。

美国袭击伊朗核设施

  2018年自然资源部成立后,钟自然任自然资源部党组成员,中国地质调查局局长、党组书记。直至2022年9月卸任。今年1月2日,即2024年首个工作日,其官宣被查。

庆余年

  上述两起事件,引起了一些企业人士的担忧。这些担忧包括是否存在全国性查税,不少企业担忧如果倒查多年需要补税,这对于经营困难的当下无疑是“雪上加霜”。

镖人

  中央要求谋划新一轮财税改革,税制改革是重头戏,未来增值税、消费税、个税等主要税种还将有进一步改革举措。笔者呼吁,在税收征管不断强化的同时,为促进企业、个人实际税负维持在合理水平,未来税制改革应当统筹考虑降低名义税率。/p>

庆余年

  但随着税收征管能力不断强化,税收征收率不断提高,企业实际税负正在逐步接近名义税负,在当前经济形势下,企业痛感会更明显,一些企业如果不能承担可能会选择停业,这不仅影响就业,更会对宏观经济运行带来负面影响。/p>

那尔那茜涉嫌高考报名材料造假

  中国煤矿文工团成立于1947年东北解放区,是国家级艺术院团中历史最悠久的单位之一。2005年,加挂了“中国安全生产艺术团”的牌子。2018年9月,转隶到文化和旅游部。