Sul fianco destro della cattedrale si affaccia sulla piazza il Palazzo Venditti, del XIII secolo, originario palazzo civico, che scavalca con un grande arco gotico la via Appia e conserva una delle trifore originarie.  Il palazzo è unito alla facciata tramite uno dei prospetti laterali. E' traforato alla base da un arcone ogivale, che segna l'inizio di via  Garibaldi, mentre al primo piano spiccano sul paramento della facciata due belle trifore angolari. Le forme architettoniche sono quelle proprie dell'architettura cistercense, adattate ad usi civili. Sul lato meridionale della piazza si eleva alla stessa altezza del campanile la contemporanea Torre Frumentaria o "Torre dei Rosa" (XII-XIII secolo), che fu probabilmente in possesso di questa famiglia. Tra la torre e la chiesa è il Palazzo vescovile, risalente in origine all'epoca carolingia e ristrutturato in epoca medioevale, nel XVII secolo dal vescovo Cesare Ventimiglia, e infine nel 1786 da papa Pio VI. L'attuale configurazione nulla conserva di antico, essendo stato quasi completamente ricostruito dopo i bombardamenti della seconda guerra mondiale.