別居による婚姻関係が破綻している場合の不貞行為について

主人から離婚を迫られ、家から出て行くように言われています。 数ヶ月前、育児ノイローゼだった私が、そのストレスを主人にぶつけ、私から離婚を言い出しました。主人も了承しました。 でもその後、自分がノイローゼだったことを自覚し、主人にも今までのことを詫び、やり直したいと申し出ましたが、今度は主人から「愛想がつきた、離婚したい」と言われました。 主人は4年間、単身赴任で別居していますが、つい最近になって不倫していることが判明しました。 私が離婚を申し出て、主人が了承した後に、不貞行為が始まった様子です。 この場合、別居による婚姻関係が破綻している場合の不貞行為、とみなされますか？ ちなみに、別居してからも3年半は、お互い行き来し、夫婦仲は良かったです。 子どもを抱え、今後が不安で仕方ありません。どうかよろしくお願いいたします。