La primera referencia documental del castillo es del año 1001. De planta cuadrada, se construyó en el siglo XIII, después de la destrucción del castillo en 1277 por Humbert de Rocafort. Actualmente del castillo se conservan unos fragmentos de murallas que rodeaban la parte norte de la colina como núcleo defensivo.

Junto a la torre encontramos la ermita de la Virgen de Castellet, construida en el siglo XIII y restaurada en 1884. La ermita de Santa María de Castellet, dedicada a la Virgen de Castellet, ha sido a lo largo de la historia santuario mariano de los municipios del Bages Sud. Hoy en día todavía se conserva una talla románica de madera de la Virgen de Castellet. En 2000 se celebró el 50 aniversario de su entronización.

En 1999 se observó un agravamiento muy importante en las grietas que ya se habían detectado en la colina de Castellet. El proceso de erosión de la base se había acentuado tanto que podía poner en peligro la estabilidad de las construcciones situadas encima. Es en este momento que se decide que es necesaria una actuación urgente para evitar la pérdida de este importante patrimonio cultural del municipio. El conjunto restaurado y rehabilitado fue inaugurado el 13 de abril de 2003

En la colina se han realizado otras intervenciones para potenciar la zona como un espacio de ocio. En el plano más elevado de la colina es el lugar donde se coloca la bandera cada año con motivo de la Diada de Catalunya del 11 de Septiembre.