弁護士の変更を決められているのであれば、一般的には早めのタイミングの方が良いと思います。 ただ、短期間で引き継ぎが容易にできない事情もあるとは思いますので、どのタイミングでどのような方法で対応すべきかは、後任（候補）の弁護士と相談されるのが良いと思います。

面会交流調停で、すでに２回の調査官調査が終了しているというのは、だいぶ進行が進んだ状態と言えるのではないかと思います。 この段階での弁護士解任についてはリスクはありますが、変更する場合には、なるべく早いほうが良いかと思いますので、調査官の作成する書面完成前でも良いと思います。 なお、今の弁護士と「方向性が合わない」ということですが、事実によっては依頼者の観測よりも厳しい見通し（方向性）を弁護士としては指摘しなければならない場合もありますので、他の弁護士を探す場合には、しっかりとご事情をお話なさったほうがよいと思います。