Severozahodno nad trgom leži grajski kompleks Strmola, prvič omenjen leta 1436, ko so celjski grofje podelili Jakobu Strmolskemu iz Cerkelj na Gorenjskem stolp pri Rogatcu. V 16. stoletju so ob prvotnem stolpu prizidali še en stolp ali trakt in celotno zgradbo obdali z obzidjem in obrambnimi obzidnimi stolpiči. S prezidavo je bila stavba sklenjena z obliko črke T v tlorisu in je izgubila prvotno utrdbeno vlogo.

Konec 17. stoletja so obrambne stolpiče podrli, obzidje pa nadomestili z nizko zidano ograjo. Višino prvotnega stolpa so prilagodili ostali stavbi in ob njej pozidali manjšo enonadstropno stavbo z notranjim dvoriščem. V tej stavbi je bilo v 19. in v začetku 20. stoletja okrajno sodišče, o čemer pričajo še ohranjene ječe.

Ob gradu je bil zasnovan tudi lep angleški park z obzidanim studencem. Park se ni ohranil, graščina pa je po vojni služila kot stanovanjska stavba.