男人在外养小三，对孩子漠视是否能认定遗弃罪，取决于以下几个关键因素：

1. 法定抚养义务：父亲对未成年子女有法定的抚养义务。如果男人是孩子的生父，那么他负有抚养义务。

2. 拒绝扶养行为：需要判断该男人是否拒绝履行抚养义务，例如不提供生活费用、不照顾孩子的生活等。

3. 情节恶劣：遗弃罪的认定需要达到情节恶劣的程度。司法实践中，致使孩子重伤、死亡，流离失所沿街乞讨，因生活无着被迫自杀等情形，一般认定为情节恶劣。如果只是偶尔疏于照顾，孩子生活基本有保障，未造成严重后果，一般不构成遗弃罪。

4. 事实上的抚养关系：如果男人与小三的孩子形成了事实上的抚养关系，比如长期共同生活、提供生活照料等，那么他可能负有扶养义务。若此时拒绝扶养且情节恶劣，就有可能构成遗弃罪。

综上所述，男人在外养小三，对孩子漠视是否构成遗弃罪，需要综合考虑上述因素。如果满足法定抚养义务、拒绝扶养行为以及情节恶劣等条件，可能构成遗弃罪；否则，一般不构成遗弃罪，可通过民事途径解决。