A expressão não tem nenhuma conotação sexual, como muita gente pensa.
As telhas de argila do período colonial eram feitas em formas arredondadas e tinham um tamanho relativamente grande se comparados ao tamanho da coxa do escravo que as moldava [o formato era semelhante, obsevem na foto acima]. Quando uma telha ou um lote de telhas saia ruim diziam que elas tinham sido feitas nas coxas do escravo e não na forma.
Daí a expressão que era comum no bairro chamado Olaria, no Rio de Janeiro, saiu dali para se espalhar por quase todo o Brasil.