子供のこと嫌いじゃないんだけど、自分の気が向いた時や余裕のあるとき…

子供のこと嫌いじゃないんだけど、
自分の気が向いた時や余裕のあるときだけ子供の相手をしたり、
普段は仕事で疲れてるのに帰ってまで仕事（子供の世話）みたいなことしたくないと言っていたことがあります。
普段は家族の団欒を放棄して、同僚と飲みに行くことが多く、いざ自分が家族の団欒をしたいときだけ寄ってくるなんてまかりとおるかよ？と思ってしまいます。