他父亲林望北官至车骑将军，是手握重兵的权臣，但谁能料到一朝兵变，雍州刺史萧衍夺了皇位，国号梁，成了梁武帝。先前拥立梁武帝的官僚自然也一步登天，成为新贵，但若是反对派，便自然获罪。

林望北并不属于反对派，所统是边军，算是中立派，但昔日和梁武帝并不交好，所以也被削了兵权，流放在边郡驯马而已，家产也被尽数充公。

林意也从显赫的权贵子弟，变得和贫苦孤儿相差无几。