经过一年多的休整，西汉军队补充完整，汉武帝准备征讨南越。
吕嘉杀死赵兴之后，立赵婴齐和南越人妻子所生的长子赵建德为新的南越王，并派人告知了南越国的诸侯苍梧王赵光及南越国属下的各郡县官员。这时韩千秋的军队进入南越国境内，攻下几个边境城镇。随后，南越人佯装不抵抗，并供给饮食，让韩千秋的军队顺利前进，在走到离番禺40里的地方，南越突然发兵进攻韩千秋的军队，把他们全部消灭。吕嘉又让人把汉朝使者的符节用木匣装好，并附上一封假装向汉朝谢罪的信，置于汉越边境上，同时派兵在南越边境的各个要塞严加防守。汉武帝得知后，非常震怒，他一方面抚恤战死者的亲属，一方面下达了出兵南越国的诏书。
汉武帝调遣罪人和江淮以南的水兵共10万人，兵分五路进攻南越。第一路任命路博德为伏波将军，率兵从桂阳沿湟水直下。第二路任命主爵都尉杨仆为楼船将军，从豫章郡过横浦关沿浈水直下。第三路和第四路任命两个归降汉朝的南越人郑严和田甲分别为戈船将军和下厉将军，率兵从零陵出发，然后郑严的军队沿漓水直下，田甲的军队则直抵苍梧。第五路以驰义侯何遗利用巴蜀的罪人和夜郎的军队，直下牂柯江。但西南夷国家多不愿出兵，甚至且兰的君主还公然反抗，杀死了汉朝使者和犍为郡太守。五路军队的最终目标皆为南越国的都城番禺。与此同时，东越王余善也向汉武帝上书请战，并派兵8000人协助杨仆进攻南越国，但东越王的军队行至揭阳时，便借口遇上风浪而不再前进，还暗中派使者向南越国报信。 杨仆率领精兵，抢先攻下寻峡，然后攻破番禺城北的石门，缴获了南越国的战船和粮食，乘机向南推进，挫败南越国的先头部队，率领数万大军等候路博德的军队。路博德率领被赦的罪人，路途遥远，与杨仆会师时才到了一千多人，于是一同进军。杨仆率军队在前边，一直攻到番禺，赵建德和吕嘉都在城中固守。杨仆选择有利的地形，将军队驻扎在番禺的东南面，天黑之后，杨仆率兵攻进番禺城，放火烧城。而路博德则在城西北驻军，派使者招降南越人，南越人久闻路博德的威名，于是纷纷投奔路博德的旗下，黎明时分，城中的南越国守军大部分已向路博德投降。吕嘉和赵建德见形势不妙，在天亮之前率领几百名部下出逃，乘船沿海往西而去。路博德在询问了投降的南越人之后，才知吕嘉和赵建德的去向，并派兵追捕他们。最后，赵建德被路博德的校尉司马苏弘擒获，而吕嘉被原南越国郎孙都擒获。
吕嘉和赵建德被擒之后，南越国属下各郡县包括苍梧王赵光，桂林郡监居翁，揭阳县令史定等皆不战而向汉朝投降。郑严和田甲的军队，以及何遗调动的夜郎军队还未到达，南越国已经被平定了。这样，由赵佗创立的南越国、五代南越王之后，终于被汉朝消灭了。当平定南越的捷报传给汉武帝时，汉武帝正在前去视察缑氏县的途中，于是汉武帝在桐乡设立了闻喜县。吕嘉被汉军处死后将其首级呈送给汉武帝，当时汉武帝行至汲县新中乡，于是汉武帝又在新中乡设立了获嘉县。同年，赵建德也被处死，其首级高悬在汉朝皇宫的北阙上。其后汉武帝还在益州郡设立嶲唐、不韦两县，将吕嘉的子孙和宗族迁徙过去，以绝南越后患。汉武帝在平定南越国后，将南越国领地设置了南海、苍梧、郁林、合浦、交趾、九真、日南七郡。杨仆率军从合浦郡徐闻县渡海，占领了海南岛。汉朝将其设为儋耳、珠崖两郡，和前面七郡同隶属于交州刺史部。
汉武帝决心进攻闽越国，他以畏懦罪杀了避闽越兵锋而撤退的大农张成和故山州侯刘齿，调遣四路大军围攻闽越国。第一路由杨仆率领，出武林，由崇安分水岭入闽；第二路由横海将军韩说率领，出句章，乘船由海路进攻东冶；第三路由中尉王温舒率领，经梅岭，入闽西.第四路由越侯为戈船、下濑将军率领，出若邪、白沙，进攻闽越东北。
面对汉军进攻，余善前往汉阳督战，指挥东越军抗击汉军。他派徇北将军守武林，败楼船军数校尉，杀长吏。但汉军马上反击，楼船将军率军斩杀徇北将军，逼得东越军节节败退。不久，四路汉军都进入福建境内。
在战况不利情况下，余善统兵固守天险泉山。原留居汉朝的越衍侯吴阳奉汉廷命回闽越劝余善放弃抵抗，但余善不听。吴阳便率领本邑兵700人攻占汉阳城，使余善腹背受敌。面对汉军的强大攻势，闽越贵族内部分化，余善势孤力单，不得不放弃泉山，逃回冶都. 汉武帝遣楼船将军杨仆领兵七千从齐地横渡渤海，右将军荀彘领兵五万出辽东，水陆两路同时进攻卫氏朝鲜，右渠发兵扼守险要地势。左将军率先发起进攻，遭遇失败，汉军溃散，退回辽东。随后杨仆率水师七千人抵达王险城，守军发现汉军人数不足，随即发起进攻，汉军败退，杨仆逃入山中十余天，重新聚集溃散的部众。左将军荀彘再次进攻朝鲜驻扎以西的军队，未能取得胜利。
汉武帝见强攻不能取胜，于是派遣卫山出使朝鲜，以兵威劝说右渠投降。右渠见到汉使就叩首谢罪，表示愿意归降汉朝，派太子入汉为质，并派遣一万五千人护送太子入汉，刚到达边境，左将军荀彘、汉使卫山恐其生变，告诫朝鲜太子不要带兵入境，朝鲜太子心生恐惧，又率众退回。
汉武帝见招降失败，命令荀彘、杨仆再次强攻，左将军荀彘击败了朝鲜在以西的守军，开进到王险城下，驻扎在城的北面，楼船将军杨仆亦抵达王险城，驻扎在南面，汉军强攻数月也未能破城。左将军荀彘猛攻王险城，朝鲜人于是私下约定投降楼船将军杨仆，荀彘将罪责归咎于杨仆，认为他只想讲和，不肯出力。汉武帝派原济南郡太守公孙遂协调两军关系，公孙遂私下与荀彘合谋，抓捕杨仆夺其兵权，交由荀彘指挥，两军再次猛攻王险城。公孙遂将此事禀报汉武帝，武帝下令将其诛杀。朝鲜大臣尼溪相参派人杀死卫右渠，开城献降，卫满朝鲜灭亡。