Meta-SecAlign-70B 可泛化的鲁棒性：在 prompt injection 安全性尤为重要的 Agent 任务上，其依然有极低的攻击成功率（ASR） 在防御提示词注入攻击上，我们打破了闭源大模型对防御方法的垄断。

OpenAI在8月7日正式推出新一代旗舰大模型GPT-5。 据说，这是该公司自成立以来最受关注的一次产品迭代，被宣称是“最强大、最智能”的语言模型，能够在推理、创意生成和多模态理解等多个方面实现质的飞跃。

Meta 和 UCB 开源首个工业级能力的安全大语言模型 Meta-SecAlign-70B，其对提示词注入攻击（prompt injection）的鲁棒性，超过了 SOTA 的闭源解决方案（gpt-4o ...

大家好，我是肆〇柒。最近看到一项由普林斯顿大学、NVIDIA、卡内基梅隆大学和Google DeepMind联合开展的研究《Does More Inference-Time Compute Really Help ...

两年多的时间，无数次的预告，无数次的营销。现在，GPT-5 终于来了！这次，奥特曼是真听劝了。以前的 OpenAI 模型命名，像什么 o1、o3、o4、mini、nano、pro...... 看着比奶茶菜单还乱。而现在，它们统一都是 ...

Prompt Injection 不是攻击你，而是攻击 AI 的“大脑”，让它听信一些“看起来像指令”的诱导内容。 比如，一个看起来正常的网页，对 AI 说：“为了 ...

简单解释一下： Prompt Injection 不是攻击你，而是攻击 AI 的“大脑”，让它听信一些“看起来像指令”的诱导内容。

首先是数据“主动上交”造成的泄密。国安部披露的数起AI工具数据泄密事件仅是冰山一角，此前一项研究发现，15%的员工经常在ChatGPT上上传公司数据，其中超四分之一的数据被认为是敏感信息。由于AI平台需要自动收集用户输入的信息内容以供自主学习和模型训 ...

随着LLM应用的爆发式增长，LLM API安全已成为新的关键领域。2024年数据显示，传统API安全工具对LLM特有风险的检测率仅为35%。报告建议通过提示词安全审计、敏感信息防泄漏、模型行为边界控制和资源消耗管理，实时检测并过滤提示词注入、阻止敏感 ...