后来官至九卿，并娶了辛毗的女儿著名才女辛宪英为妻，只是这一世辛宪英还没长大就被刘辩的儿子刘无忌搞定。
这样权衡一番，羊家在青州的确算的上屈指可数的名门望族，因此才惹得李世民特地修书给李克用，命他在攻破泰山郡的同时要捉拿羊衜，将羊家人一网打尽，押解到平寿交给李世民发落。
羊衜得知唐军大举压境，准备攻打自己的故乡平阳，急忙从泰山郡组织了四千郡兵，又从各士族中征调了三千族人以及门客，另外鼓动了五千百姓，全部发给装备，离开泰山郡治所奉高返回故乡平阳据城死守，阻挡唐军逼近泰山。同时派遣使者分别向卫青与萧何求救，请速发援兵。
就在羊衜的使者抵达之前，驻守济南的卫青已经得知李克用连克费县、蒙阴的消息，当即扫视了一圈部将，大声喝问：“唐军分路夹攻，谁敢迎战？”
一员大将昂首阔步出列，拱手请命：“卫将军，末将不才，愿讨一旅之师，南下迎战李克用，誓斩李、史首级，杀光胡人，为百姓复仇雪恨！”
卫青视之，请战之人不是别人正是大将冉闵，当即颔首应允：“有冉将军迎战，足可抵挡李克用，我命魏无忌、徐盛担任副将，与你提兵两万，南下御敌，克日起兵，不得有误！”