桓谭成为黄门侍郎，属于荫父亲之职，毕竟他们家世代都是替汉朝皇帝管礼乐的，他擅长音乐，善于弹琴，每逢宫廷宴会，汉成帝兴致上来了，往往让桓谭主持演奏。

但他不甘心只当一个乐官弄臣，常常进入天禄阁看书，数年下来博学通达，但都只训诂大义，讨厌繁琐章句，还时常讥笑那些天天宣扬谶纬的俗儒，因此多受排挤。

他家世交不少，从小到大伙伴、同事也多，但都是泛泛之交，要论真正的知心之交，三十