Este foi considerado o ataque mais mortal da coligação este ano no Iémen.
O centro de detenção, na província de Dhamar, no sudoeste do país, tinha cerca de 170 detidos.
A Cruz Vermelha disse que 40 feridos estavam a receber tratamento, enquanto os outros estão mortos.
Franz Rauchenstein, responsável da delegação da Cruz Vermelha no Iémen, sugeriu que o número de mortos poderá ser maior.
Rauchenstein visitou o local do ataque de domingo, dizendo que poucos detidos sobreviveram.
A coligação liderada pela Arábia Saudita, que mantém a guerra contra os Houthis (apoiados pelo Irão) desde 2015, tem enfrentado críticas internacionais por ataques aéreos que atingiram escolas, hospitais e festas de casamento, matando milhares de civis.