「異性と2人でご飯」問題(30歳・女性）

現在遠距離で婚約中の女です。

彼と付き合う直前、男性Aと2人でご飯に行ったことがありました。男性Aは彼も私も知っている共通の知人です。そのときには彼からは交際を申し込まれてはいますが保留にしている状況下でした。

食事にAと言ったことを直後にSNSを通じて彼が知ったことで、「Aとご飯行くの嫌だし、先に教えてくれなかったことが嫌だった」と伝えられました。
私は「異性と食事にいくことは友人だし特別な感情を待ってると思ってなければいいんじゃないか、と思っていたので、事前に伝えるべきと思っていなかった。でも嫌な気持ちにさせたのは申し訳ないです。」と素直に伝えました。
その際に彼は「なんの気もなしに2人でご飯をいくわけがないと思うから、気持ちのいいものではないと思う。俺もこれからあなたに対して嫌な思いをさせたくないし、行く時には先に言ってほしい。」と返事をされ、それを尊重すると伝えてその場の口論は収まりました。

それから交際してしばらくし、最近、遊び仲間でご飯に行った後に彼が「女性Bと意気投合した。Bとご飯にいくかもだけど許してね」と2人でご飯にいくニュアンスで言われました。女性Bも共通の知人です。
その場は食事の場がとても楽しかったんだろうな、楽しい気持ちを損ねてしまってもよくないなと思ったので、「Bさんいい人だもんねー、いく時は事前に教えてね」と軽く返事をしましたが、どうやら現在、ご飯の場をかなり前向きにセッティングすすめている様子です。

Bさんの明るさや共通点が多いことに惹かれた部分はありつつも下心のようなものはなさそうですし、上記のように「友人であれば異性でも2人でご飯にはいく」という私の価値観があったことを過去に言っているので、送り出そうとは思っているのですが、
遠距離になり自分のプライベートの交友関係がかなり狭くなってしまったこと、彼は週5-7で遊ぶ人で不安を感じてるが故に少し嫉妬心が芽生えはじめ、交際したあとに他の女の子との関係を深めるなんて、と思ってしまっています。
また彼が自分で言った「なんの気もない人とご飯に行くはずがないし、気持ちのいいものではない...」という発言を棚に上げていることもどうしてもひっかかってしまっています。

この気持ちにどう折り合いをつけたらいいか、伝えるとしたらどう伝えたらいいかぜひアドバイスをください。