別れようか悩んでます(27歳・女性）

個人的には、「いつ別れても良い」と覚悟をもちつつ、一度彼と話し合ってみるのが良いと思います。

5年も関係が続いているということで、彼は質問者様の存在が「当たり前」になっているのだと思います。
例えるなら、友達や両親にはタメ口で話すような感覚。
初めのころは好意を得ようと積極的に動いていたと思います。
ですがお付き合いに発展して、質問者様がいろいろ「尽くしている」姿を見て、無意識的に「やってもらうのが当たり前」「主導権は自分にある」と思っている気がします。

わたしも恋人関係ではないですが……
・旅行の代金をもらっていない（相手が誘ってきたのに）
・家に呼んでおいて手料理にかかったお金を請求する（こっちは手料理を望んでいないのに）
他にも「お前は一人暮らしで金あるだろ？」など、正論だけど自分のことを優先する姿勢にイライラすることが多く、その人とは縁を切りました。
楽しかった思い出やいいところもあるので、なかなか縁を切る選択をとれなかったですが―
・人は自分のことを第一に考えるもの
・基本的にこちらの事情を汲んではくれない
・なら、自分もそうすべき
・この人がいなくて何か不都合はあるだろうか
など、自分軸で考えると「失うもののほうが大きい（お金やストレス）」「この人とは友達として接していい距離感ではない」と感じて、思い切って決別しました。（今は縁を切ってよかったと思っています）
人生には多少の我慢は必要ですが、日常生活に支障が出るほどの我慢はすべきではないと思います。

質問者様がどうすべきかは、もう答えが出ていると思います。
「将来一緒になるのは無理と分かっている」
そう思われているなら距離を置くべきです。
お互いに連絡を取り合う恋人関係でなく、たまに会うような友人関係に格下げするのが、質問者様にとって最善な気がします。

◆貸したお金に関して
お金に関しては「戻ってこないもの」と考えた方が良いです。
理由は
・人から借りたお金は大事にしない（自分が苦労して手に入れたお金は大事に扱うが…）
・借りた側はすぐに忘れる（その場では感謝するが数日で忘れる。貸してくれるのが当たり前だと思う）
・取り立てるのが面倒（自分から言い出しにくいし、法的手段だとお金・手間がかかる）
・何度もあてにされ、貸さないと「前は貸してくれたじゃん！」と逆ギレされる
わたしも身内にお金を貸したり、友人の旅費を立て替えたりしましたが、3～4割くらいはかえってきてないです。
なので、「お金ではなく知恵を貸す」か「あげるつもりで貸す」にする方が良いです。

◆結論
・会話や返信が冷たくなったのは親しくなった証拠
（彼の本来の姿が露呈しただけで、冷めたわけではない）
・彼も質問者様が喜びそうなことをしている（と彼は思っている）
・お金を返さないのは大きなマイナスポイント
（なあなあにしようとしている不誠実さが際立つ）

関係悪化の根本はコミュニケーション不足から始まります。
お金のことも含めて、どう思っているのかを腹を割って話し合い、お互いの気持ちに変化がなければ別れを切り出す。
これが質問者様にとって最善の選択だと思います。

自分を幸せにできるのは自分自身ですから、ご自身のお気持ちを優先して決断なさってください。