osu!の譜面をダウンロードすることが違法ダウンロードに当たるのか

僕は「osu!」というPCゲームをよくやっています。 遊び方については説明しませんが、いわゆる音ゲーです。 そのビートマップ(譜面)は他のユーザーが作ったものであり、譜面ファイルの中には音源も含まれています。 中にはアニソンやJ-POPなどもあります。 長期間好んで遊んでいましたが、ふとこれは違法なものなのではないかと思い、怖くなって譜面ファイルを全部消しました。 調べてみましたが、「グレーゾーン」しか書いておらず、不安が残っています。 今回のケースでは、僕は違法だと「知らなかった」ので犯罪にはなりえませんが、もし違法かもしれないという疑いを思っていながら譜面ファイルをダウンロードした場合、犯罪になるのでしょうか？ osu!の運営は「レベルを送信するとき、クリエイターは、コンテンツ使用ガイドラインに従って、関連する著作権所有者からすべてのアセットの許可を受け取ることをお勧めします。」としているので、アップロードされている譜面は合法だという前提として見てもいいのでしょうか… なお、ゲームそのものに何ら違法性はないと思います。問題は譜面のほうです。