我尼玛，这次差点被DeepSeek坑死！
由于近期有疑似华为离职员工揭露了盘古事件，我萌生了在网上搜寻更多类似案例的念头，并在搜索过程中同时运用了GPT和DeepSeek两种工具。观察下来，DeepSeek的展示效果更为吸引我，因此我最终选择了使用这两种工具。
是否在海外也有类似的技术人员披露案例？观察结果如下：时间、地点、人物以及事件细节，均一一具备！
这些信息或许重要或许微不足道，但无一例外地全都是虚构的。我简直无法置信，真的感到心服口服。真不知道这篇文章一旦发布会引起怎样的轩然大波，对AI的信任感也大打折扣……
不久前，《高层论坛：推动汽车产业向高质量发展迈进》会议刚刚落幕，鉴于汽车市场竞争激烈，众人纷纷瞄准智能驾驶领域，其中有一句话给我留下了深刻印象：
对智能驾驶来说，安全是最大的奢侈。
这次回旋镖迅速击中了小米，目前分析认为，这起事故很可能是由智能驾驶技术引发的，进而导致了严重的交通事故。
谈何容易？对于人工智能产品而言，安全至关重要，它排在首位；而如果没有安全保障，一切功效都将化为乌有，效率便无从谈起！
对于智能驾驶，不出事是1，跑得快是0。
智能驾驶领域，模型开发亦是如此，尤其是那些基于模型所生产出的产品，更是如此！
并非仅此一例，海外同样存在一款名为Character.AI的产品，它也曾探讨过“AI引发的人为伤害”这一议题。
2024年2月28日，美国佛罗里达州一名年仅14岁的少年，名叫塞维尔·塞泽三世，在与Character AI平台上的虚拟人物进行了较长时间的对话后，不幸举枪自尽，生命戛然而止。
之后，她的母亲将Character AI告上了法庭，指控其通过“赋予角色以人性、过度美化以及令人不安的逼真感”诱导她的儿子对AI角色产生依赖，进而沉迷其中。
该模型经过大量语料数据的训练而成，而依托于该模型的AI产品背后，则支撑着数百甚至上千套标准化操作流程。
无论是针对模型输入的数据，抑或是旨在“讨好”用户的标准化操作流程，都离不开众多行为学、心理学领域的专业知识。换句话说，若我们愿意，用户与人工智能的对话甚至能带来如同游戏般的乐趣。
实际上，该模型本身就具备了这样的功能，例如，大型模型所展现出的“谄媚”倾向尤为明显！
所谓的“谄媚”，指的是模型极易受到操控，进而提供与你心理预期相符或赞同的回答，然而，对于心智尚不成熟的使用者来说，这可能会引发严重的问题。
以一个实例来看，用户先前或许仅表现出一定的消极态度，同时显得有些迷茫，然而在更大规模的模型对话中，这种消极情绪可能会被进一步放大，而且大模型还能够给出充分的理由来佐证用户的消极情绪，这种深层次的思考能力源自于古代智者的辩证思维，对于心智尚不成熟的使用者来说，可能会产生一种降维式的冲击，进而引发强烈的心理波动，而在这一过程中，若缺乏恰当的引导，甚至可能诱发不当的行为……
因此，目前众多政策正推动互联网产品主动公开其在产品设计环节中存在的“暗黑模式”，亦或是通过立法手段对“暗黑模式”实施管控。
脱离了应用层面的装饰和指引，我们转而关注模型的核心，实际上，那个核心部分也存在不少安全隐患。
根据Vectara HHEM人工智能幻觉测试的结果，DeepSeek-R1的幻觉比率达到了14.3%，这一数据是V3的三倍还多。
一、模型幻觉
模型构成了众多AI产品的基石，然而它似乎存在某种先天的缺陷，宛如一个不男不女的存在，缺乏明确的立场。它不仅容易受到外界影响，而且异常自负，且常常装模作样地胡言乱语。
依旧沿用那个经典案例，我运用了前沿的模型GPT的Deep Research，其任务是：对所有的医疗信息发布途径进行整理，并依据权威性进行排列。
这个问题的难度相当大，我并未抱有模型能提供全面解答的期望，然而它给出的答复是：
这里立刻出现了重大问题，尽管我对模型提供的完美答案并无过高期望，但它却不能存在关键的错误或遗漏，例如：连最基本的医学教材都缺失，这对我来说是无法容忍的。
而其他模型在这种复杂问题上，表现也是不佳的。
提升问题层次：若模型在诊疗过程中出现误诊情况，或是采纳了过时治疗方案并错误地提供了药物，我们应如何应对？
实验结果表明，在处理医疗咨询相关的问题时，该模型对于错误选项的信任程度（即softmax概率）往往超过了对于正确选项的信任度。
这种错误自信的成因在于训练数据中频繁出现伪科学信息，例如在健康论坛上对“维生素C具有抗癌功效”这一观点的反复强调。
从模型构建的内在机制来看，这构成了其固有的缺陷，而且仅凭模型本身的力量很难予以克服。
幻觉根由
模型通过分析训练数据中的概率分布来进行输出预测，故而它并不拥有真正的理解能力，它所生成的文本在语义上高度契合统计规律，从这一逻辑角度出发，该模型应当被归类于统计学范畴。
由于统计学原理，该模型的预测目标设定为尽量减小预测误差，而非确保内容准确性，因此从逻辑上讲，模型产生的幻觉是不可能被彻底根除的。
此外，幻觉现象往往产生于模型在训练过程中所依赖的数据中存在的杂音、过度拟合问题，亦或是生成机制本身缺乏有效控制。
数据偏差：训练数据包含错误或矛盾信息；
模型过拟合：对训练数据中的噪声过于敏感；
生成策略自由度过高：解码时缺乏事实一致性约束；
除此之外，那些稍微复杂一些的疑难病症常常被视作“危险的”，而且他们的病历记录可能堆积如山，厚度几乎可以比作一整本书！
当前的模型上下文虽然越来越长，但依旧会有两个问题：
输入越长，模型理解越差；
模型经常难以覆盖完整上下文，会存在知识遗忘现象；
最终，模型的首要任务是解答问题，但在追求表达上的顺畅时，它可能会舍弃事实的准确性。
这揭示了模型产生幻觉的根本原因，亦即所谓的“100次问题”——模型在100次尝试中，必定会欺骗你一次，你需得赌一赌那一次“枪膛里是否藏有子弹”！
二、安全 > 幻觉
模型产生的错觉可能引发AI产品的安全隐患，然而，AI产品的应用范围实际上远超出了这些错觉所能触及的范畴。以医疗领域的AI技术为例，便是如此。
1. 过度自信
在临床工作中，医生常常对自己的诊断结果过于信任，未能充分注意到患者症状的复杂性和多样性。
医生有可能因过分依赖常见诊断而忽视罕见病症，例如将莱姆病误诊为普通流感，这会导致治疗被推迟，在严重情况下甚至可能危及生命。
模型运行需要依托于训练集，IBM Watson宣称其数据均经过专家严格标注，然而即便如此，仍有消息指出其训练数据中存在众多基于假设的案例。
那么，现在的模型得回答由不得医疗体系不注意啊！
2. 锚定效应
在患者前来就诊的过程中，医生过分信任了患者最初所陈述的症状，未能依据随后的检查结果对诊断进行相应的调整。
病人在急诊科描述了明显的胃痛表现，医生基于这一首要症状忽略了其他可能出现的急性心脏疾病迹象，因而造成了误诊。
该案例中的医疗人员或许会感到些许不公，毕竟心脏病与普通胃痛在治疗上属于完全不同的专业领域。消化科医生往往难以理解心内科的病症，他们可能会对此置之不理。
即便在类似情况中，医生经过进一步的检查排除了胃痛的可能性，然而由于他未能确切了解病因，可能并未给予足够重视，从而只采取了对症治疗的措施，比如开些止痛药，这最终可能导致病情的延误。
模型中也会遇到类似的问题，AI在诊断过程中，往往过分信任患者提供的最初症状描述（例如“头痛”），而忽视了症状的演变或是患者的个体差异，这直接导致了诊断结果的不精确。
3. 确认偏误
还有一个问题值得注意，那就是在模型中，如果罕见病的病例数据不足，它们可能会被直接忽视。其背后的逻辑是，常见病往往诊断起来较为简单，而罕见病则更容易被误诊。
在进行疾病诊断的过程中，医生往往过分信赖过往的诊疗经验，倾向于关注那些与自己初步判断相符的临床表现，却忽略了那些与之相悖的其他症状，因而可能产生错误的诊断结果。
医生可能会因为对患有相似症状的病人有过治疗经验，从而过早地作出判断，忽略了其他可能的疾病。
这便是典型的用锤子寻找钉子的做法，由于过往遭遇的都是钉子，故一旦遇到类似物品，便习以为常地依赖锤子，而忽略了其他可能性。
在模型训练过程中，若过分侧重于某些症状的搭配，而忽略了那些虽罕见却可能至关重要的症状，便可能引发诊断上的失误。
从先验概率的角度来看，模型在进行疾病诊断时，往往会优先考虑那些发病率较高的常见病，而将罕见病置于次要位置。这种做法在概率统计的范畴内是合理的，然而，合理并不意味着绝对安全。
4. 归因偏差
医生有可能将患者的病状误判为生活习惯上的问题，比如运动不足或是饮食不均衡，而忽略了可能涉及的严重疾病，例如癌症或是心脏病，这样的误判可能导致病情诊断的延迟。
模型的情况亦是如此，由于并非所有患者都能准确详尽地阐述自身的症状，当模型受到“模糊的症状描述”的干扰时，它可能会将患者的症状错误地归咎于与之密切相关的显著特征，从而忽略了其他可能存在的混淆因素。
例如，人工智能系统可能将患者体重的增加错误地归咎于糖尿病，却未考虑到其他可能引发肥胖的潜在健康因素。
......
尽管模型幻觉在AI安全领域显得尤为突出，然而，它并非是唯一存在的风险。
在AI技术的应用领域，技术挑战固然重要，但伦理考量同样不容忽视。例如，在医疗和法律AI系统中，如何妥善处理用户的个人信息，确保其隐私安全，这是安全领域必须给予高度重视的议题。
三、AI产品的安全规则
综上所述，AI产品的想象力必须受到安全边界的严格限制，这也是我持续强调的观点：在严肃的应用领域中，智能代理的运作是不允许模型随意发挥的！
当前AI产品有两条技术路线：
首先，该模型仅作为基础功能存在，在进行应用开发时，我们并不依赖于模型；相反，我们会倾向于尽可能降低对模型的依赖，仅使用那些非用不可的部分。
另一条路径，即大模型（例如L1-L5所追求的）所致力于实现的目标：用户仅需拥有一个大模型工具，所有工作将由我来完成。以Deep Research、Manus为例，它们实际上也属于这一范畴，因为从这幅图中可以看出：
当时有人提出了疑问，询问Manus团队：你们自主编写了多少个工作流程？
大家不妨猜测一下结果会是多少？结果竟然是0。这表明他们的标准操作流程（SOP）竟然是由模型直接生成的！接下来，让我们来审视一下其技术架构（网上的相关图表）：
举个例子，如果现在你看一个病：
若选择路径一，你将接受一家医疗机构的诊疗，该机构将严格按照SOP进行操作，并对该操作流程承担全部责任。
若选择路径二，即便该路径同样由一家医疗企业负责，然而，这家企业并未制定SOP，其所有SOP均由模型自动生成。
这条路径二，大家是否感到紧张？对于那些有过医疗大模型工作经验的人，我在正式场合绝不会采用Manus这一模式，因为对我来说，安全性是首要考虑的，其他因素都可以归零！
最后，以医疗AI为例，简单聊聊如何防治模型，增强安全性。
PS：要特别注意，这里仅仅是以医疗为例，方案是通用的
四、安全性策略
所有的严肃领域，都应该将焦点从技术突破转向安全体系建设。
比如，AI在医疗领域最突出的便是模型幻觉和临床安全性问题。
为了填补这些缺陷，众多策略将被提出，在此我挑选其中两个较为常见的进行介绍：
1. 提示词工程
实际上，最直接的方法是直接给出提示词，例如GPT的回复可以通过DeepSeek进行校正；以下是一个医疗领域的具体实例：
由于我过去从事的是医疗领域的工作，涉及到的真实场景较为敏感，不便公开，于是我在网络上找到了一篇相当不错的文章来作为说明材料：（）
五、结语
随着人工智能技术的迅猛进步，众多行业正经历着变革与升级，然而，这一进程中伴随的安全风险亦不容小觑。
在进行人工智能产品研发过程中，我们必须时刻牢记：安全至关重要，它排在首位；而如果没有安全保障，一切努力都将化为乌有，效果将归零！
这不仅是对于智能驾驶领域的警示，更是对整个AI应用领域的深刻思考。特别是在医疗等至关重要的领域，哪怕是极小的失误，也可能对人的生命造成无法挽回的后果。
尽管AI模型在技术领域实现了显著的进展，然而，我们仍需持续关注并解决其安全性、可控性和伦理道德方面的诸多挑战。
唯有在充分保障人工智能的安全与稳定的前提下，方能充分发挥其在人类社会中的积极作用。
AI的未来发展务必将“安全至上”作为核心原则，在推进技术革新的过程中，同步打造更加健全的安全架构，这样才能在现实应用中赢得公众的信赖与拥护，防止技术失控引发无法弥补的损失。
