明朝最大的外部威胁来自哪里？自然是北元残余势力，而这就凸显出北平在军事上的重要地位了。当年徐达率领大军直取元大都，大军开拔之前，徐达曾上书朱元璋问道：“如果元都攻克，但元帝向北边跑了，我们要不要追击？”以徐达当时的兵力和士气来说，追是可以追的。结果不知道朱元璋怎么回事，突然爆发了仁义之心，特别认真地告诉徐达：“元朝的国运已经衰落了，将会自行灭绝，不需要我们出兵，把他们赶到塞外后，固守边地，防止他们攻扰就行了。”这就直接导致元朝虽然被消灭了，但是残余势力还十分强大，号称“引弓之士，不下百万众也；归附之部落，不下数千里也。资装铠仗，尚赖而用也；驼马牛羊，尚全而有也”。
如此强大的军事势力必然会对明朝边地造成巨大压力，事实也正是如此，北元残余势力时不时就来骚扰一下边地，这个时候为了应付北元的残余势力，北平的军事地位开始直线上升，北平作为明初的九边重镇之一，可以凭借居庸关和山海关作为自己的东西方门户，顺利地实现防御蒙古，巩固边境的目的。所以在明太祖朱元璋时，北平的军事地位就一直深受重视，其驻兵达十几万，之后大明经常派大将率领大军北伐北元残余势力，而每次讨伐出兵都是以北平为军事基地，同时明朝开国大将中有很多大将都曾镇守北平以抗击北元残余势力，这便显示了北平军事位置的重要性。