武德六年（623年）七月，原投降唐朝的农民起义军将领杜伏威、辅公祏二人不和，辅公祏乘杜伏威入朝之际，窃据丹阳（今江苏南京），举兵反唐。李渊命李孝恭为帅，李靖为副帅，率李勣等七总管东下讨伐。辅公祏派大将冯惠亮率三万水师驻守当涂，陈正道率二万步骑驻守青林，从梁山用铁索横亘长江，以阻断水路。并筑造建月城，绵延十余里，以为犄角之势。李孝恭召集诸将议军事，诸将都说：“冯惠亮、陈正通都掌握了强大的兵力，是想守险不战，因此构城筑垒而固守，仓猝之间是不能攻取的。不如直指丹阳，掩袭辅公祏的巢穴，丹阳一旦攻破，冯惠亮等人自然不战而降。”李孝恭想采纳诸将的意见。
李靖透辟地分析了敌方形势，认为“辅公祏的精锐兵力，虽然集中在水、陆二军，然而他自己统帅的军队，也都是骁勇的士卒。冯惠亮等驻守的城栅尚且不能攻取，辅公祏已经固守的石头城，难道是可以轻易攻取的吗？如果我军直奔丹阳，旬月之间都不能攻下而滞留在那里，前面的辅公祏没有平定，后边的冯惠亮也是一大隐患，这样我们就会腹背受敌，恐怕不是万全之计。冯惠亮、陈正通都是身经百战的贼将，决不会害怕野战，只因为辅公祏立下计谋，命令他们持重防守，只想不出战拖延时间使我军疲劳。现在如果我们进攻冯惠亮、陈正通的城栅，就可以打他个出其不意，消灭敌贼的机会，只在此一举。”李孝恭赞同李靖的意见。李靖于是率黄君汉等将领先攻打冯惠亮，苦战击破冯惠亮，叛军被杀伤和溺死者万余人，冯惠亮败走。李靖率轻兵先至丹阳，辅公祏大惧，派遣将领左游仙领兵守会稽作为援助，辅公祏拥兵东走，去往游仙，到了吴郡，辅公祏、冯惠亮、陈正通相次被擒获，江南悉平。李渊为了嘉奖李靖的军功，赐物千段，并赐奴婢一百口，良马一百匹。设立东南道行台，授任他为行台兵部尚书。李渊十分钦佩他的军事才干，极口赞叹说：“李靖乃萧铣、辅公祏的膏肓之病，古代名将韩信、白起、卫青、霍去病，没有一个能比得上李靖！”江南的局势安定以后，北方的形势又一时紧张起来。隋末唐初，突厥势力强大，李渊太原起兵时，曾向突厥始毕可汗称臣，以换取北方的相对安定。唐朝建立后，突厥一方面支持薛举、刘武周等割据势力，与唐朝分庭抗礼；另一方面，又自恃兵强马壮，不断举兵南下侵扰。在平定江南中功勋卓著的李靖又被调到北方，以反击突厥。
武德八年（625年）八月，突厥颉利可汗率十余万人越过石岭，大举进犯太原。李渊马上命李靖为行军总管，统率一万多江淮兵驻守太谷，与并州总管任瑰等迎击敌人。由于突厥来势凶猛，诸军迎战多失利，任瑰全军覆没，唯李靖军得以保全。不久，又调李靖为灵州道行军总管，以抗击突厥。武德九年（626年）八月，李世民刚刚登基，颉利可汗便乘唐朝皇帝更替之机，率十几万精锐骑兵再次进犯泾州，并长驱直入，兵临渭水便桥之北。颉利可汗不断派精骑挑战，还派其心腹执失思力入朝，以观察虚实。当时征调的诸州军马尚未赶到，长安市民能拿兵器打仗者也不过几万人，形势十分危急。在此种情况下，李世民曾冒险亲临渭水桥，与颉利可汗结盟，突厥才退兵。事后，李世民擢任李靖为刑部尚书兼行太子左卫率，赐实封食邑四百户。不久后，李靖转任兵部尚书。此后不久，国内突厥发生了变乱，所属薛延陀、回纥、拔野古诸部相继叛离，又恰遇暴风雪，羊马死亡甚多，因而发生了饥荒，族人纷纷离散。贞观三年（629年）八月，李世民接受了代州都督张公瑾的建议，决定出击，突厥命兵部尚书李靖为定襄道行军总管，以张公瑾为副，发起了强大的军事攻势。又任命并州都督李勣、华州刺史柴绍、灵州大都督薛万彻等为各道总管，统率十几万军队，分道出击突厥。贞观四年（630年）正月，朔风凛冽，李靖率领三千精锐骑兵，冒着严寒，从马邑出发，向恶阳岭挺进。颉利可汗万万没有想到唐军会突如其来，兵将相顾，无不大惊失色。他们判定：如果唐兵不倾国而来，李靖决不会孤军深入，于是“一日数惊”。李靖探知这一消息，密令间谍离间其心腹，其亲信康苏密前来投降。李靖迅即进击定襄，在夜幕掩护下，一举攻入城内，俘获了隋齐王杨暕之子杨政道及原炀帝萧皇后，颉利可汗仓皇逃往碛口。李靖因军功进封代国公，增加食邑三千户，赐物六百段及名马、宝器等。李世民高兴地对大臣说：“汉朝李陵带领五千步卒进攻匈奴，最后落得归降匈奴的下场，尚且得以留名青史。李靖以三千骑兵深入敌境，攻克定襄，威振北狄，这是古今所没有的奇勋，足以雪往年在渭水与突厥结盟之耻。”在李靖胜利进军的同时，李勣也率军从云中出发，与突厥军在白道遭遇。唐军奋力冲杀，把突厥军打得溃不成军。颉利可汗一败再败，损失惨重，遂退守铁山，收集残兵败将，只剩下几万人马。颉利可汗处于山穷水尽的境地，他派执失思力入朝请罪，请求举国归附唐朝，并表示愿意入朝。其实，他内心尚犹豫未决，意欲赢得时间，以苟延残喘，俟草青马肥之时，逃到大漠以北，以卷土重来。同年二月，李世民派鸿胪卿唐俭、将军安修仁去抚慰颉利