使用権を売った相手への使用権剥奪について

配信用イラストの有償依頼を受けています。 お渡しするのは使用権。著作権はお譲りしていません。 1人の依頼者による迷惑行為、問題行動等が発覚しました。 その依頼者にイラストを納品したのが2021年4月頃。 発覚したのが、2022年3月後半頃。 それに伴い、依頼者を集めた全体連絡用グループに注意喚起を流したのが、2022年4月頃。 問題行動等が発覚する前から、｢問題行動等はやめてください。発覚した場合、使用権の剥奪等の相応の措置を取る｣と宣言しています。 相手もそれを認識しています。 ですが、その話に同意していないから使用権の剥奪は出来ない。納品されてから使用ルールの追加は困る等の主張がありました。 どう使用するのかを決められるのは著作権保有者の権利であると私は認識しています。 そして、ルール等は変わっていくのが自然です。 著作権保有者がルールを決め、それに従うのが当たり前だと思っていたのですが、違うのでしょうか？ こういった問題を起こす人に信用はありません。 信用出来ない方に、もうイラストを使用して欲しくないのですが、どうしたら使用権の剥奪ができるのでしょうか？