Daeth llawer o bobl Cymru'n aelodau o gapeli'r anghydffurfwyr yn ystod oes Fictoria. Roedd y bobl hyn yn teimlo nad oeddent am fod yn rhan o Eglwys Loegr. Roedd llawer o'r werin yn teimlo fel hyn. Roeddent hwy'n teimlo'n fwy cartrefol wrth ddod at ei gilydd i godi capel er mwyn cael addoli yn eu ffordd eu hunain. Yn y Gymraeg roedd gwasanaethau llawer o'r capeli. Roedd yr holl emynau a'r darllen yn y Gymraeg hefyd. Gan nad oedd llawer o bobl yn gallu siarad Saesneg roedd hyn yn bwysig iawn.

Roedd gan y Bedyddwyr gapel yn Stryd y Farchnad am lawer o flynyddoedd. Cafod y capel hwn ei ailadeiladu ddwywaith eto yn y 19fed ganrif, er mwyn gwneud lle i fwy o bobl. Yn 1899 adeiladodd y Bedyddwyr eglwys newydd hardd yn Stryd y Gorllewin ac roedd ganddi bigdwr (gweler chwith). O Dde Cymru, lle’r oedd yna filoedd o gapeli'r Anghydffurfwyr, roedd llawer o'r ymwelwyr i'r dref yn dod. Cafodd y bobl hyn groeso gan lawer o gapeli Llanfair-ym-Muallt.
Cafodd Capel Cynulleidfaol Horeb (ar y dde) ei adeiladu yn 1869 gan bensaer o Fanceinion am £1800. Roedd capel arall yn arfer â sefyll ar y safle hwn. Roedd gan Gapel Horeb bigdwr hefyd, ac roedd pobl yn gallu ei weld o bell ac agos.