Строительство было начато в 1800 году. За год был выстроен первый этаж и перекрыт деревянной крышей, но, за отсутствием средств, на этом строительство было преостановлено. После обращения за помощью к императору Александру I, который пожертвовал значительную сумму, в 1802 году работы продолжились. Была разобрана крыша над первым этажом и надстроен второй этаж. На нижнем этаже провели отделочные работы, и в июне того же года освятили церковь во имя Сретения Господня. Нижняя церковь была зимней, верхний же этаж устраивался под летнюю церковь.
Лишь в 1809 году окончательно отделали внутри верхний этаж, украсили золоченым резным иконостасом и росписями, а в день памяти Преподобного Арсения освятили, как и древний храм, во имя Рождества Пресвятой Богородицы. Резной трехъярусный золоченый иконостас сохранялся в соборе вплоть до 1940 года.