最后更新于2023年4月12日(星期三)22:47:28 GMT
在英国统治印度期间, 英国政府开始担心德里市眼镜蛇的数量. 雄心勃勃的官僚们想出了他们认为完美的解决方案, 他们悬赏购买眼镜蛇皮. 这个计划起初非常成功, 随着眼镜蛇皮大量涌入，德里有关眼镜蛇的报道减少.
然而, 不久之后，一些印度人开始饲养这些蛇，以获取有利可图的鳞片. 一旦英国人发现了这个阴谋, 他们立即取消了赏金计划, 印度养蛇的农民迅速将他们现在毫无价值的眼镜蛇放归野外.
现在, 眼镜蛇的难题甚至比悬赏前更糟糕, 这就产生了“眼镜蛇效应”这个术语.“晚些时候, 经济学家查尔斯·古德哈特创造了与之密切相关的古德哈特定律, 广泛释义为, “当一项措施成为目标, 它不再是一个好的衡量标准.”
创建网络安全指标已经够难的了, 但创造重要的指标仍然是一项更艰巨的挑战. 任何有商业头脑的人都会告诉你，有效的指标(在任何领域)都需要满足以下5个标准:
- 创建成本低
- 持续测量
- 可量化的
- 对某人很重要
- 与业务需求相关
如果您提出的指标不符合上述任何一个标准, 你这是在自找失败. 然而，如果他们确实符合这些标准，你还没有完全摆脱困境. 你仍然必须避免眼镜蛇效应.
案例研究
我想花点时间来讲述一个更有效的 安全操作中心(soc) 我有幸和你一起工作. 他们24小时运转良好. 有一个专门的数据科学家团队，他们花时间编写自定义工具和检测, 以及一个完全独立的传统SOC分析师团队, 谁负责响应生成的警报. 数据科学家的评判标准是新人的数量 威胁检测 他们能想出的. 对分析师的评判标准是他们能够分类的警报数量, 它们受到(相当迅速的)服务水平协议(SLA)的约束.
这在很大程度上运行良好，但有一个相当重要的警告. 分析师团队必须在进入生产警报系统的任何新检测上签字. 然而，这些分析师的主要动机是能够迅速对新问题进行分类.
我不是在说我相信他们做了什么道德上模棱两可的事情, 但是，组织的激励鼓励他们接受那些可以快速而容易地被标记为假阳性的检测，并拒绝那些需要更多时间来调查的检测, 即使它们的真阳性人口密度更高. 最终的效果是，一个系统的结构创造了一个成功的条件，即大量的误报警报，可以快速点击消失.
避免常见的陷阱
soc最常用的指标是已解决的问题数量和平均解决时间.
虽然我个人并不喜欢这些特定的量词, 有一个非常明显的原因是这些数据点是首选的. 他们很容易符合上面列出的5个标准. 但就它们本身而言，它们可能会引导你走上一条消极激励的道路.
那么我们怎样才能采用这样的指标，并使其有效呢? 在理想的情况下, 我们可以将这些数据与假阳性率/真阳性率的分析结合起来，得出一个 功效 费率将最大限度地提高你的真阳性检测每美元.
达到功效
在我们开始之前，让我们做一些假设. 我们将讨论必须由人类响应的SOC警报. 理想状态为高保真报警 自动回复但总有一种需要人为干预才能做出处置的状态. 我们还将假设有各种类型的检测具有不同的假阳性率和真阳性率, 为了简单起见, 我们要假装假否定不会产生任何代价(这显然是荒谬的), 但我的大学物理教授告诉我，为了演示，这是可以的). 我们还要假设, 安全, 我想象, 审查这些警报需要时间，而这些时间会产生一笔不小的成本.
对于任何警报类型, 你会想要确定期望真阳性的数量, 警报率乘以真阳性率是多少(你一定是在跟踪它吧?, 顺便说一下). 这将为您提供警报率期间真阳性的预期数量.
伟大的! 所以我们知道在一大堆警报中有多少真正的阳性信号. 现在? 好吧，我们需要知道浏览该桶中的警报需要花费多少! 以警觉性为例, 乘以提醒复习时间, 如果你觉得可以的话, 乘以人力成本, 您将得到查看该桶中所有警报的预期成本.
但你真正想知道的问题是，榨汁值得吗? 检测效率将告诉您每个真阳性的成本，可以通过将预期真阳性的数量除以预期成本来计算. 或者简化整个过程, 用真阳性率除以平均警报回顾时间, 再乘以人力成本.
如果你以这种方式捕捉检测效率, 您可以有效地发现哪些检测花费最多，哪些检测最有效.
下拉分布
另一个需要考虑的重要选项是在度量计算中使用分布. 我们都记得mean, 中位数, 从小学开始的模式——这些和其他统计数据是我们可以用来告诉我们自己有多有效的工具. 我们特别想问的是，我们的措施是否应该敏感 离群值 -看起来不典型的数据点. 我们还应该考虑均值和中位数是否受到分布的拖累.
作为一个简单的数值例子, 假设有100个警报, 我们根据一些启发式方法对其中的75个进行了批量关闭. 其他25个警报都被审查了，每次15分钟，然后作为真正的积极信号传递出去. 中间关闭时间是0分钟，平均关闭时间是3分45秒.
这些数字很棒，对吧? 不完全是这样. 他们告诉我们“正常”是什么样子，但没有让我们了解实际发生了什么.
为此，我们有两个选择. 首先，我们可以从数据中删除零值! 这是数据科学中典型的清理数据的方法, 因为在大多数情况下, 零是无用或错误的值. 这让我们更好地了解“正常”是什么样子.
第二个, 我们可以使用像上四分位数这样的值，看到第75个百分位数的关闭时间是15分钟, 在这种情况下，哪一个例子更能代表分析师在事件上花费的时间. 特别是，它很容易拉低平均值——只要快速关闭误报就可以了! 但如果不做出一些真正的改进，就很难拉低高四分位数.
记住3个关键
在为您的安全程序创建度量时，有很多可用的选项. 在选择参数时，有几个关键:
- 小心眼镜蛇效应. 你的参数应该描述一些有意义的东西，但它们应该很难被操控. 当有疑问时，请记住古德哈特定律——如果它是一个目标，它就不是一个好的度量.
- 记得功效. 总的来说，我们的目标是对需要人类专业知识的警报获得高质量的响应. 说到这一点, 我们希望我们的分析人员尽可能高效，我们的侦查工作尽可能有效. 功效为我们提供了一个为此目的量身定制的强大度量标准.
- 当有疑问时，把它摊开. 单个数字很少能够真正代表您的环境中正在发生的事情. 然而, 拥有两个或多个指标(如平均响应时间和上四分位数响应时间)可以使这些指标对异常值更加稳健，并且不会被操纵, 确保你得到更好的信息.
