ご質問ありがとうございます。
状況としましては、不倫当事者の双方が既婚で、どちらかの家庭で不倫がバレてしまった、ということでしょうか?
その場合は、おっしゃる通り、お互いの家庭にとっての問題となります。
仮に、不倫をしていた男性側の家庭で不倫がバレた場合を考えます。
この場合、不倫をしていた男性の妻は、夫だけでなく、不倫をしていた女性に対しても、慰謝料を請求し得ます。そうしますと、不倫をしていた女性の家庭では不倫がバレていなくとも、慰謝料を請求されることで、付随的に不倫の事実がバレる可能性があり、そうしれば、双方の家庭にとっての問題になるといえます。また、不倫をしていた女性の夫は、妻だけでなく、不倫をしていた男性に対しても慰謝料を請求できるので、まさに全体の問題になるといえます。