離婚後の連絡、面会について

公正証書で、子供との面会に制限はしない。 夏休み冬休みなどの長期休みは１週間程度の宿泊も認める。子供の福祉を考慮して決める。と書きました。 今子供は4歳でまだ小さいですが、元夫が自分の都合でこの日に泊りに来て！と、子供の習い事や気持ちは聞くこともなく決めてきます。 関西と関東で遠いので、泊まりに行かせるのも子供にとっては疲れることだと思ってます。 元夫はもともと短気で毎日怒鳴られたりしてたので、今でも元夫と話すと息苦しくなったり目の前が真っ白になったりしてしまいます。 今は、向こうの希望で毎週テレビ電話をしてますが、電話の時間が短かったり、電話が出来ないと文句を言われるので、毎週必死です。 毎週の連絡を減らしたり、泊まりに行く日程を決めたり。 離婚して1年以上経ちますが、まだ怖くて仕方なく これがこの先何年も続くと考えるだけで辛いです。 面会については、会わせなくてもいい！と過去に弁護士さんに相談に行った時に教えてもらいましたが、会わせないとなると、元夫の怒りがどうなるのか…私は怖すぎて、その選択が出来ないんです。 こんな内容でも、弁護士さんに相談することはできるのでしょうか？