L’antico castello si eleva in posizione panoramica, su una collina protesa verso il piano. Iniziato prima del XII secolo come recinto fortificato, con i primi Doria assunse la funzione di residenza dei feudatari fino a prendere nel XVI -XVII secolo la forma attuale di palazzo rinascimentale. Venduto ai Fieschi nel 1505 e riconsegnato ad Andrea Doria dall’imperatore Carlo V nel 1547, venne gestito dall’illustre famiglia fino al 1736 anno in cui divenne parte del Regno di Sardegna. Il borgo medioevale di Borgo Castello situato nella zona a nord della città si sviluppa ai piedi del castello e conserva la caratteristica piazzetta centrale su cui si affacciano arcate e terrazzini e da cui partono viottoli con acciottolato e la scalinata con lunghi gradini che sale ai piedi del castello.