南海郡那边地方势力庞大，尤其势力最大的四大家族梁家、邓家、乐正家、扶家几乎等同于南海郡的土霸王，说一不二，便是三司衙门也不能奈何其。地方上的州县衙门，除了奉承巴结，似乎没有其他出路。

四大家族一直企图自治南海郡，虽然彼此间明争暗斗从来都没有消停过，但在对付中央朝廷上却很齐心，联合起来明里暗里不知动了多少心思手脚，甚至向朝中大臣行贿，就盼着建德帝能下一道圣旨，封个异姓王让南海郡自治