来远堡初建详细日期不可靠，万历四十一年（1613年）在原有城垣旧址上重建，是距离长城不到四十米的一个堡城，周长二里十三步，墙高三丈五，东临清水河而建，东西堡墙同长城相连，堡有两门，北为来远门，西南名永顺门，民间称为南口。

来远堡占地约百亩，堡内有总管署一座，营房三百间，观市厅二座、司税房二十四处、抚赏厅三座及讲市台和城隍庙等。祠庙二座，八角亭一座。总管署是来远堡交易的管理人员办公