Римский император III. Гордиана н. э. Некоторые части Внешней крепости, которая была построена в 242 году и окружает город с юга и запада, сохранились до наших дней.

Северные стены, которые поворачивают на запад от Внутреннего замка, начинаются от входа на Большой базар и доходят до района Дювененю. Части старых стен, простирающиеся отсюда на запад, и большинство стен, повернутых отсюда на юг в византийский период, не сохранились. Однако сохранившаяся часть треугольных византийских бастионов недалеко от Йогунбурча была восстановлена.

В этой части стен было двое ворот. Одними из них были ворота Бояджи на востоке от мечети Хатыроглу, а другим – Кичикапы на востоке от средней школы Кайсери. Было два дверных проема, один в Сивасе, а другой в Еникапы, на стенах, ведущих к Внутреннему замку с восточного фасада. Судя по руинам здесь, Внутренний замок был окружен стеной, простирающейся на северо–восток. Знак стрелки также находится в этом месте. На этих стенах были также знаменитые «Квадратные ворота», выходящие на площадь.

Лишь некоторые части внешних стен, в которых есть убежища, сторожевые башни и бастионы, сохранились до наших дней.