经过百余年的发展，南越国也发生了翻天覆地的变化。

到了南越国第四任国君赵兴时，南越国国力已经开始日渐衰弱，而北方正是汉武帝统治时期威加海内的强汉王朝。

此时的南越王朝，吕氏家族权倾朝野，吕氏宗族全都与王室联姻通婚，丞相吕嘉更是一人之下万人之上，史载：“其相吕嘉年长矣，相三王，宗族官仕为长吏者七十余人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连