求償権、慰謝料について

未成年のときから不倫関係にあった職場の男性との関係が向こうの奥さんに私のSNSを覗かれてバレてしまい、夫婦間で話をするから慰謝料でもなんでもないただの100万持ってこいと半ば脅し状態で言われ期限も決められ4月の初めに払ったんですが、その後男とは縁切れたもののまた戻りたいと向こうが夫婦同士話をして、男が家を出て来て一緒に住んでいました。ですが、警察沙汰になって再度別れたんです。昔は暴力暴言あったので今も情緒は不安定で精神的に辛い状況です。相手は一切お金を払わず結婚しようねと書面で書いていたり期待させるようなことばかりやっていたので遣る瀬無い気持ちでいっぱいです。少しでも返してもらおうと責任あるから払ってって言っても俺は責任は無いと言われてしまいました。それに周りには内緒にしろ俺は戻りたいとずっと言われ続けています。この場合、払った謎の100万は返ってこないでしょうか？また相手はまだ私からお金を取ろうとしているみたいで不安です。苦しいです。どうにもなりませんか？