慷慨，才学风度为世人所推崇。所以，即便他没有出来做官，也是名声远播。和他往来的名士，包括王羲之顾恺之等人，包括了大晋的顶级名流。即便是隐居于会稽东山，那里也一样是世人瞩目的中心。

朝廷多次征召谢安入朝为官，但谢安都加以推辞，他其实并不想出来做官，他享受的是纵情山水自由自在的生活。但这一切都是有前提的，那便是陈郡谢氏之中有人在朝中为官，能保证陈郡谢氏在朝中的地位，能有参与决策的权利。