自从杨林的幽州骑兵进入冀州之后，黑山军就一直躲藏在五行山中，轻易不敢与杨林的幽州骑兵交锋。杨林虽然数度公开招降黑山军，可是以张燕为首的黑山军却置若罔闻。而杨林的骑兵也不利于在山区作战，双方就这么僵持着。
由于朝廷动乱，官军忙于讨伐董卓，张燕等人也以为杨林的目标在洛阳，觉得自己的威胁已除，就开始跃跃欲试。特别是粮食欠收，五行山区所产粮食根本不够黑山军食用，黑山军便开始冒险出山。
刚开始的时候，他们只是在五行山周边丘陵地带活动，攻打丘陵地带的地主、豪门，并逐步朝平原地带过度，最后发展到攻城拔寨、燔烧官府、劫略聚邑。致使百姓逃亡，土地荒芜。
驻防在五行山沿线的幽州骑兵虽然不断地出击，可是黑山军却与幽州骑兵玩起了游击战术。他们从不与幽州骑兵正面作战，只要幽州骑兵一出动，他们就逃回五行山，而等幽州骑兵一走，他们再下山抢劫。
这些黑山军大大小小几十股，其中比较有名的就有黑山、黄龙、左校、郭大贤、陈林、于氐根、张白骑、刘山、丈八、平汉、大洪、司隶、雷公、浮云、张燕、李大目、白绕、畦固、罗市、王当、杨风等等等等，人数已有一百多万，严重威协着冀州、并州的安宁。