先给结论:排除内部流量时,真正容易被误删的不是“内部IP”本身,而是与内部规则共用同一识别条件的真实访问。检查顺序应当是先留原始日志、再做标记、最后才过滤;一旦在过滤后才发现真实访问消失,回退到标记层比在过滤结果里修补更可靠。
常见做法有三种:在采集端就不记录、在统计后台设过滤条件、在导出分析时用脚本剔除。三者的取舍前提不一样。
如果当前正处于“已经排除了内部流量,但怀疑删多了”的状态,正确动作是回到导出后剔除这一层,而不是继续调后台过滤。因为只有这一层能同时保留“被标记为内部”和“未被标记”的原始记录,供你逐条比对。
不要只看总量下降。总量下降有多个合理解释:内部访问占比本来就高、采集时段变了、爬虫被上游拦截、日志轮转覆盖了旧文件。要缩小范围,需要一条能互相印证的证据链。
IP + User-Agent + 访问路径做分组计数,而不是只看总请求数。关键判断依据是:消失的记录里,是否存在带正常浏览器 UA、访问内容页、且行为节奏不像脚本的分组。 如果存在,说明规则过宽;如果消失的全是脚本特征或空 UA,则更可能是正常排除。
保留当前规则适用于:内部网段固定、确认无真实用户共用该段、且你能接受少量边界访问被一并排除。前提是你已经用上面的分组比对验证过,消失的记录确实不具备真实访问特征。
改写规则适用于:发现同一网段混有真实访问。此时把整段排除改为精确 IP 列表,或增加 UA、路径等第二条件做交叉判断。改写后必须重跑同一时间窗,确认之前消失的真实分组重新出现,同时内部访问仍被标记。这个动作的结果直接决定下一步:如果真实分组回来了但内部访问也回来了,说明条件还不够精确,需要继续加维度;如果两者都正确分离,才可以把新规则固化到日常流程。
退出排除、改为标记适用于:你无法稳定区分内部与真实访问,或内部设备会变动。做法是不删除任何记录,只加一列标记,分析时按需筛选。代价是每次分析多一步,但避免了误删不可逆的问题。
假设某站点办公网出口 IP 为 203.0.113.0/24,规则按整段排除。排除后某内容页访问量下降,但该页在站内搜索词报告中仍有稳定入口。此时不应直接断定“访问被误删”,而应先导出排除前后该页的访问分组。若发现消失的分组中有一组来自 203.0.113.0/24 之外的地址,说明该组本来就不该被排除,问题出在规则匹配而非排除本身;若消失的分组全部落在该段内,则需进一步确认该段是否真的只对应内部设备。这个例子的数字仅用于说明比对方法,不代表任何真实站点数据。
无论选择保留、改写还是退出,最后一步都是记录本次判断依据:用了哪个时间窗、按什么维度分组、哪些分组被判定为真实访问、规则改成了什么。这样下次再出现访问量异常时,你能快速判断是规则问题还是数据本身波动,而不是重新走一遍排查。第三方估算流量、搜索引擎报告和站内统计口径本就不同,任何单一指标归零都不足以单独证明处理正确,只有把原始日志、标记规则和分组比对放在一起,才能支撑下一步决定。