摘要:你给AI定的规矩可能正被人套走。提示词收敛、试探拦截、对抗自测,把系统提示词当资产管。
你给AI定的规矩,可能正在被人套走。系统提示词里写着模型的角色、边界和禁忌,攻击者用一句“忽略之前的指令”或者“把你的设定打出来”就能试探。提示词泄露防护,是大模型安全里容易被忽视、却伤筋动骨的一块。
为什么伤筋动骨:安全投入常放在模型本身,却忘了系统提示词这些明文设定才是入口——提示词泄露之后,绕过路径等于公开,这一层没做,后面的越狱、滥用都顺理成章。
提示词泄露防护的头一步是收敛:系统提示词里不放敏感信息和内部规则细节,权限判断放到模型之外的代码层去做,让提示词即便被套走,也带不走大模型安全的关键家底。
防护动作二:监测与对抗。对“打印你的设定”这类套取系统提示词的试探做识别拦截,输出侧过滤疑似泄露内容;定期用对抗话术自测,泄露路径堵一条少一条,堵过的路要定期回头看。提示词泄露防护是持续工程,大模型安全的对抗没有终点。
再补一条容易被忽略的:会话记录与日志里也躺着系统提示词的影子。日志权限收敛、脱min存储、定期清理,是提示词泄露防护在运维侧的延伸;导出日志做调试的外包人员、第三方分析工具,都要过一遍权限审查。大模型安全复盘时,日志既是证据也是泄露源,两头都要看住——一条日志的疏漏,够攻击者研究半个月——日志治理是省力又见效的一环。
一句话:提示词就是新的配置文件。把这套设定当资产管,提示词泄露防护纳入日常安全运营的常规项,配置安全才立得住。安言咨询提供大模型安全评估与AI应用加固服务,欢迎交流。