针对夜间动态背景下的行人检测中分割算法受光照条件影响大、误识别多等问题,提出双阈值分割算法和以多目标跟踪为核心的算法框架。新的分割算法解决了行人亮度分布不均时的分割问题,同时在新的框架下可以综合多帧的处理结果进行综合判断,通过将基于支持向量机的识别算法和多目标跟踪算法的融合,降低了系统的计算量,且比一般的系统具有更高的识别率。