En su origen era una torre fortaleza y vigía, la entrada norte a la medina de Elche desde Alicante, construida en época almohade a finales del siglo XII o principios del XIII. Formaba parte de la muralla defensiva. Tuvo otras funciones como: residencia de los Alcaides, nobles y familias destacadas. Cuenta con dos construcciones, por un lado la propia Torre de la Calahorra, y por otro un añadido del siglo XV donde se sitúa el almudí –granero de cereales–; mandado realizar por el Consejo Municipal. En 1470 Gutierre de Cárdenas establecería su sede en la Calahorra. En su origen contó con un pórtico con arcos, cerrado posteriormente y dividido en habitaciones y dos alturas (se vino abajo por los terremotos de 1648 y 1829). De planta cuadrangular, muros de mampostería revocados, sillares en la base y las esquinas.
En 1870 Rafael Brufal Melgarejo lo convertirá en su residencia, abrirá unas ventanas en la fachada, y rehabilitará el almudín como salón de baile y centro de reuniones de la logia ilicitana a la que pertenecía, sala decorada por Pedro Ibarra con motivos egipcios relacionados con la vida y la muerte. En 1909 José Revenga adquirirá la casa para su mujer -Asunción Ibarra- como regalo de bodas. El edificio fue rehabilitado, sobre todo la decoración de las paredes, con motivos neoárabes, otras dependencias decoración historicista y romántica, debida al muralista alcoyano Agustín Espí Carbonell. Fue Pedro Ibarra quien, a instancia de José Revenga guió estas decoraciones murales. Actualmente, el edificio acoge exposiciones y conferencias.