抗日战争爆发后，任八路军第一二九师第三八六旅旅长，率部开赴太行山区，参与神头岭、响堂铺、长乐村等战斗的指挥，随后又转战于鲁西北、冀南、豫北。1940年任太岳军区司令员，次年任太岳纵队司令员，参与领导创建晋冀豫根据地。注重战略把握，也注意战术运用，在太行山的崇山峻岭中创造了伏击战、破袭战、围困战的著名范例。