El Palacio fue encargado en 1873 por los marqueses de Linares al arquitecto municipal Carlos Colubí e inaugurado en 1900. Para entonces, el edificio ya estaba maldito.

El marqués José de Murga había contraído matrimonio con una joven de condición humilde, Raimunda de Osorio, sin que nadie pudiera impedírselo, ya que el único opositor al matrimonio, Mateo de Murga (padre de José), había muerto, llevándose a la tumba un secreto que destrozó a la pareja: José y Raimunda eran hermanastros.

A partir de este momento, la historia deja paso a la leyenda y se dice que como fruto de esta unión nació Raimundita, que fue asesinada al nacer.

En mayo de 1990, el Palacio entra en obras. A partir de ese momento, los obreros y guardas jurados afirman oír ruidos, pisadas y voces de ultratumba que dicen: "Yo tuve una hija", "Mi hija Raimunda… Nunca oí decir mamá", y que fueron atribuidas a Raimunda de Osorio. A continuación, responde la voz de Raimundita: "Mamá…Yo no tengo mamá". Por último, replica el marqués: "¡Fuera... No, aquí no!". En la actualidad, la Casa de América fomenta la cultura iberoamericana.