O edifício que hoje se conhece como Casa Museu do Infante foi construído como alfandega para mercadorias marítimas em meados do século XIV. Décadas depois construiu-se a casa da moeda, ainda parte do complexo de edifícios, para que lá se pudessem emitir cédulas e moedas de cada país.
Diz a tradição que no final desse século nasceu no edifício Infante Dom Henrique, o quinto filho do Rei D. João I com Filipa de Lencastre, pais da ínclita geração. Por ter sido um dos precursores dos descobrimentos o edifício hoje recebe o seu nome e alberga uma exposição de cariz etnográfico focada nas navegações dos portugueses nos séculos XV em diante.
Hoje pode visitar-se o edifício medieval onde ainda há alguns mosaicos romanos e outros vestígios da passagem pelos romanos no Porto, um conjunto azulejar do Porto e uma exposição que mostra a história do espaço no tempo desde a sua ocupação romana, da qual fazem parte uma maqueta do edifício e uma outra interactiva da cidade medieval do Porto.
Actualmente funciona como sede do Arquivo Histórico do Porto.
Curiosidade: Na fachada do edifício pode ver-se uma lápide comemorando o nascimento do infante, datada de 1894.