Chùa Phố Cũ khởi nguyên là một ngôi miếu nhỏ  thờ quan Vân Trường của cộng đồng người Hoa, được dựng lên vào đời Vua Lê Hy Tông, niên hiệu Vĩnh Trị thứ 3 năm 1679, trên nền đất hiện tại. Xưa kia, các đoàn thương gia của người Hoa sang giao lưu buôn bán thường dừng chân nghỉ ngơi ở đây; sau nhiều lần, họ linh nghiệm rằng, chính vùng đất này đã giúp họ vượt qua khó khăn, gặp nhiều may mắn, là nhờ có Quan Vân Trường, một vị tướng tài ba thời Tam quốc của Trung Quốc hiển thánh cưu mang, nên đã lập nên miếu thờ để ghi nhớ công ơn với tên gọi là Miếu Quan Đế. Thời Nhà Nguyễn, khởi đầu từ Vua Gia Long (1802-1820) đến các vị vua kế tiếp, Miếu được sửa sang, xây dựng lại theo phong cách mới và được gọi là Chùa với chức năng thờ “Tiền thánh, hậu Phật”. Chùa Phố Cũ, vì vậy mà mang đậm nét dấu ấn kiến trúc Nhà Nguyễn, trên xà ngang gian Tiền đường có ghi Thành Thái bát niên, gian Trung đường ghi Bảo Đại nguyên niên (1926). Chùa còn lưu lại được 5 tấm bia đá, gồm: Bia Gia Long (1814), Bia Minh Mạng (1825), Bia Tự Đức (1858), Bia Tự Đức (1876), Bia Thành Thái (1893) ghi lại công đức tu sửa Chùa.

       Trải qua thời gian dài Chùa xuống cấp, năm 1945, nhân dân địa phương đã quyên góp trùng tu, xây thêm lầu ở hai cung chính, kiến trúc hoa văn kiểu hoa thị, đắp rồng chầu thời Nhà Nguyễn. Sau khi Đền thờ Quốc công tiết chế Hưng Đạo Vương Trần Quốc Tuấn ở Phố Thầu không còn nữa, nhân dân đã chuyển sang thờ tại Chùa Phố Cũ.

       Sau chiến sự năm 1979, Chùa cũng bị phá hoại, các loại đồ thờ bị xáo trộn, một số được chuyển đến Đền Ngọc Thanh; còn lại được giữ tại Chùa như: Hương án cao 1,2m, dài 1,85m, rộng 1,6m được sơn son thiếp vàng, có chạm trổ mặt hổ và các vân xoắn. Trải qua thời gian dài và ảnh hưởng chiến tranh, nhưng Hương án vẫn còn nguyên vẹn vẻ cố kính của nó; bên cạnh đó còn giữ được Ngai thờ chạm đầu rồng, tay kiệu, lâu, bài vị, mâm bồng, cây nến và một sô hiện vật bằng sứ: bát hương, lọ hoa.

        Hiện nay chùa Phố cũ đã được trùng tu, tôn tao. Ngoài cổng là tượng Quan Thánh Đế Quân ở bên trái và tượng Văn Xương Đế Quân ở bên phải. Ở cửa chính có bức hoành phi khắc chữ nổi trên tường ghi ba chữ hán: “Hiển Thánh Cung”. Gian bên phải thờ các vị Nhị Thập Bát Tú, bàn thờ của Hiếu Khương Hoàng Hậu, bàn thờ Đức Thánh Trần. Tại gian chính cung, ở giữa là bệ thờ Ngọc Hoàng Thượng đế, các vị thần thiên đình và hạ giới; bên trái thờ Đức Thánh hiền, bên phải thờ Đức Ông.

        Từ đó đến gian hậu cung được nối bởi một hiên, bên phải hiên có gác chuông. Hậu cung có bốn cửa ra vào bằng gỗ, mỗi cánh cửa đều có rồng đắp nổi trong khung hình chữ nhật, dưới khung là hoa cúc đắp nổi màu đẹp nền nã. Trong gian hậu cung gồm ba cấp thờ: cấp thờ ở vị trí cao nhất là thờ Phật Tam Thế Chương Phật có ba pho tượng ngồi xếp bằng trên các tòa sen nhiều cánh. Cấp thờ thứ hai thấp hơn có đức Phật A di đà nổi bật cả ban thờ; cấp thứ ba là các tượng phật: Thích Ca Mâu Ni, A Nan Tôn Giả, Ca Diếp Tôn Giả.

        Bên cạnh những giá trị văn hóa, tín ngưỡng, Chùa Phố Cũ còn mang trong mình gía trị lịch sử cách mạng, từng chứng kiến cuộc nổi dậy đấu tranh mạnh mẽ, oanh liệt của quần chúng nhân dân trong Tổng khởi nghĩa Tháng Tám giành độc lập, tự do cho dân tộc. Tại đây, ngày 22 tháng 08 năm 1945, thực sự là ngày hội của non sông, đông đảo nhân dân các dân tộc thị xã Cao Bằng tuần hành, thị uy, biểu dương lực lượng cách mạng trên các trục đường phố, sau đó đã hội tụ về sân Chùa, tổ chức cuộc mít tinh rầm rộ với quy mô lớn để làm lễ công bố ra mắt Ủy ban nhân dân lâm thời tỉnh Cao Bằng và thành lập Ủy ban nhân dân lâm thời Thị xã. Đây là sự kiện chính trị trọng đại, thời khắc thiêng liêng, hào hùng, lật đổ tầng lớp thống trị, tay sai phong kiến thực dân, giành chính quyền về tay nhân dân. Chính quyền cách mạng chính thức ra đời. Chùa Phố Cũ đã đi vào lịch sử vẻ vang của Đảng bộ, chính quyền và nhân dân thị xã Cao Bằng (nay là thành phố Cao Bằng).

         Ngày 22 tháng 8 năm 1945, chùa Phố cũ được Ủy ban nhân dân tỉnh Cao Bằng xếp hạng di tích lịch sử, văn hóa cấp tỉnh, là di tích tiêu biểu cho nền kiến trúc thời nhà Nguyễn.

         Lễ hội Chùa Phố Cũ được tổ chức vào ngày 2/2 âm lịch hàng năm. Nhân dân địa phương tổ chức rước kiệu, dâng hương tế lễ; có năm còn bày mâm ăn uống chung làm cho không khí hội chùa đầu xuân càng thêm tưng bừng, đoàn kết, đông vui, cuốn hút khách lữ hành về đây dâng hương cầu phúc, cầu lộc, chiêm bái.