清真寺为二进院，占地面积2800平方米（原有面积5000平方米），有伊斯兰教特有的建筑，如大殿（礼拜殿）、讲堂（讲经堂）、水房（沐浴室）、省心楼等，布局紧凑严整。寺院开有东西两门，1958年扩建解放路前，东门为正门，面临狭窄的东米市牛肉巷。扩建解放路后，西门改为正门，面临宽阔的解放路大街。省心楼，是教民们忏悔的地方，面对东门入口，峭立于庭院中央。上下两层，重檐歇山顶，四周檐角双层飞翘，底层外围红漆木柱内倾支撑，玲珑俊俏。内有明代著名学者方孝孺的题匾：“声吟不及清”，字为草体，龙飞凤舞，堪为书法珍品。省心楼的西北、西南两侧，六角碑亭对峙。北亭石碑立于清康熙三十三年（1694），碑面刻文为康熙皇帝的诏谕，“文革”期间大都被凿。
南亭石碑立于清同治七年（1868），正面镌刻明代洪武皇帝对回教的百字御赞文。背面刻有北宋黄庭坚、元代赵子昂、清代傅山、刘石庵等书法家的题词题名。 庭院的西面是讲经堂和防火墙。讲经堂是宣讲《古兰经》和传教的场所。防火墙将古寺分隔为两院，距大殿约8米，与大殿等宽，与殿前檐等高，墙厚1米，中开铁门。如果前院失火，只要把铁门关闭，即可使大殿免遭火灾。这种防火措施，在我国古建筑中尚不多见。穿过防火墙，即是原第二进院。迎面是古朴恢宏的礼拜大殿，为清真寺的主体建筑，是教徒们做礼拜的场所。
大殿座西向东，殿宽五间，进深六间，高6．22米，单体面积460平方米，高大宽敞，可容纳500余人作礼拜。殿顶由硬山和卷棚顶相连组成，施布筒瓦，前有廊，饰垂莲柱吊楣，殿门上悬挂“开天古教”匾额。殿内建筑装饰融合了阿拉伯建筑风格和中国传统工艺手法，中西合壁，格调得宜。檐柱砌在墙内，四壁由护墙板封闭，“内不见砖，外不见木”。
殿内突出的特征是无画像，无塑像，不烧香，不摆供，与佛寺、道观截然不同。由于《古兰经》禁用动物的形象做装饰材料，因而殿内细部装饰纹样都是由阿拉伯文字和几何线纹组成，富有浓厚的阿拉伯风格。西墙右都有13阶木梯，称宣讲楼。大殿地面满铺绿色地毯，禁止穿鞋和携带物品进殿。整个大殿显得富丽堂皇，庄严肃穆。 伊斯兰教的礼仪形式和宗教活动多种多样，其中主要的有一周一次的穆斯林聚礼，每星期五午后举行，称“主麻日”。
另外，每年还有3个主要节日，即开斋节、古尔邦节和圣纪节。在这些节日里，穆斯林游客可沐浴盛装，举行会礼，诵经赞圣，互相祝贺，是接受教义、增进友谊和团结的盛会.
