なぜ自分は(41歳・男性）

それはお悩みですね。年齢を重ねていくと、プライベートの過ごし方は人それぞれ違ってきます。私も不規則な休みのお仕事なので分かる部分がありますが、土日休みでないと友達と遊びにくく、疎遠になりやすいですよね。
自身にできないことをしている人を見ると羨ましく思うのは当たり前です。しかしそれは環境によるものであって、質問者様が自身を否定する必要はありませんよ。
平日休みで集団で楽しむ場を考えることもできますが、今の質問者様に必要なのはご自身の環境をもう少しだけ楽しんでみる事かなと思います。
私自身平日休みは、一人でよく行動しておりました。家でパン作りに凝ってみたり、観光地やショッピングの混み合う場所へ1人で散策へ行ったり、飲食店を巡ってみたり、平日にやっているお教室に行ってみるなど、1人かつ平日にしか味わえない楽しみが沢山あります。そこで出会う人達は年代も性別もバラバラで楽しいですよ。仕事している人なら、その人も同じ休み形態かもしれません。質問者様と同じ悩みを持つ人もたくさんいるはず。休日が似た職種の方を探しにいきましょう。
土日祝の休みが取れそう…という時がきたら、何ヶ月前でもすぐ友人に連絡をとって、遊ぶ約束をしておいてもいいですね。
まずは手始めに、色々体験しながら趣味探しをしてみると楽しいかもしれませんよ。
質問者様の楽しいが見つかれば、そこから交友関係も広がりやすくなります。気軽に試してみてくださいね。