譚氏起源於山東。漢代巴南(今川東、鄂西南部)少數民族中也有譚姓。巴南譚氏有可能是譚國遺民逃到巴南，融入當地民族形成的。
譚氏早期主要在山東省境內繁衍發展，後因戰亂、自然災害、官職調遷等原因離開故土，向各地遷徙。
漢代時，譚氏已分布於河南、山西等地。南北朝時譚氏開始遷入廣東，唐末時遷入江西。
五代時，福建泉州人譚峭在嵩山從事辟穀養氣煉丹之術。他提出要“均其食”，幻想一種“無親、無疏、無愛、無惡”的“太和”社會。
從宋代起，譚姓人物漸多見於史冊，分布地更廣，集中於江南地區、江蘇、浙江、安徽及湖南、湖北、四川等地。大約從清代開始，閩、粵譚氏部分族人遷徙至東南亞，僑民於新加坡等國。