男方是否有权让其父母居住在离婚后判给你的房子，取决于以下几个因素：

1. 是否有居住权约定：如果离婚协议或法院判决明确约定男方享有一定期限的居住权，那么在该期限内男方有权居住，其父母也可能一同居住。如果没有此类约定，男方未经你或其监护人同意，无权擅自让他人居住。

2. 房屋权利人同意：如果男方没有合法的居住权，那么他必须获得房屋权利人（即你）的同意才能居住。如果男方未经同意让其父母居住，这可能构成侵权行为。

3. 特殊情况：如果孩子未成年且母亲为抚养权人，可能因“共同居住履行监护职责”主张暂留房屋。需判断母亲拒绝是否基于保障孩子生活的合理需求（如无其他住房），此时需协商居住方式而非直接交付钥匙。若离婚协议或判决中，母亲在约定期限内（如无其他住房需暂住至再婚）享有居住权，期限内拒交钥匙可能合法，待约定期满或条件满足后孩子可主张。

综上所述，如果男方没有合法的居住权且未经你同意让其父母居住，这可能侵犯了你的房屋所有权。你可以通过协商或法律途径解决此问题。如果情况复杂，建议咨询专业律师获取具体法律建议。