Каличья башня расположена на изломе двух прясел крепостной стены. В XVI веке на этом месте были Конюшенные ворота, а над ними — «круглая, о двух верхах» башня. В середине XVII века башню заново перестроили, она стала одноверхой, с проездными воротами в виде буквы «Г». В конце XVII века башня получила высокую надстройку. К середине XVIII века башня находилась в аварийном состоянии, была разобрана до основания и в 1758—1773 годах построена вновь по проекту И. Жукова и И. Яковлева. Ее архитектура типична для того времени. Уменьшающиеся кверху объемы завершает четырехгранный, покрытый обливной черепицей шатер, увенчанный фонарем с флюгером.

В 1977 году в Каличьей башне восстановлена деревянная винтовая лестница со 159 ступенями и пятью смотровыми площадками. Отсюда, с высоты, хорошо обозревается не только архитектурный ансамбль монастыря, но и город, живописно раскинувшийся на невысоких холмах. Каличья башня в основном сохранила свой первоначальный вид - реставраторы лишь укрепили её конструкции, вернули первоначальную окраску фасадам.