L'edifici és actualment dividit en tres cossos. Al centre hi ha una porta de gran dovellatge amb un escut i un castell senzill a la clau. Al primer pis hi ha dos finestrals gòtics molt interessants, un d'ells convertit en balcó, amb decoració d'arabesc a l'arc conopial i un altre de característiques cinc-centistes. Al segon pis les finestres són més petites i també n'hi ha dues d'arc conopial més simples. La part dreta té el parament repicat, la central arrebossat i emblanquinat i l'esquerra arrebossat amb els arcs pintats. De l'edifici només se'n conserva la façana, ja que l'interior ha estat absolutament reformat.
La casa pren el nom del Senyor del Mal Us, perquè així s'anomenaven els batlles de sac del castell de Calonge de cognom Valmanya o Vallmanya que hi habitaren durant moltes generacions. La genealogia arrenca del cavaller Pere de Vallmanya, soldat de Jaume I. Però la batllia de sac de la baronia del castell fou instaurada a finals del s.XV. Se'n coneix la genealogia: Grau i Antoni de Vallmanya (entre 1460 i 1475), Grau de Vallmanya (1590), Joan de Vallmanya (1600), Joan de Vallmanya (1644), Francesc de Vallmanya (1679), Domènec de Vallmanya (1697), i Domènec Narcís de Vallmanya (1734-1790). En Domènec de Vallmanya, cavaller de Malta, col·laborà amb els corregidors afrancesats i per aquest motiu la seva casa fou cremada.
S'hi distingeixen dues èpoques constructives: una amb trets de fortificació (han desaparegut els elements defensius) i una altra de caràcter civil posterior.
- «Casa del Senyor del Mal Ús». Inventari del Patrimoni Arquitectònic de Catalunya. Direcció General del Patrimoni Cultural de la Generalitat de Catalunya. [Consulta: 29 abril 2012].
