関係ないといえば無いがモヤモヤする(26歳・男性）

不倫は「噂」とのことですが、ご相談者様は実際に一緒に帰るところを見たとのことですし、「上司から何度も注意が入り、最後通告も言われた」と、やたらと具体的な話が出ていますので、「不倫をしているというのが真相」で間違いないように思います。ですので、これからはもう真相を確かめることにエネルギーを使うよりかは、彼女が不倫をしているというのを前提にしてアプローチしたほうが良いのではないでしょうか。
幸い、彼女は不倫相手ともう一緒に帰っていなさそうとのことですので、これからはご相談者様が一緒に帰るチャンスです。ぜひ、「一緒に帰りましょう」と誘ってみてください。このようにして誘うことが、ご相談者様が「不倫の噂を知らない」という証明にもなりますので、彼女はご相談者様と安心して接することができるはずです（不倫を知っている人であれば本来は彼女に近づかないようにするはずだからです。実際に私の場合は不倫をしている女性には近づかないようにしていました）。

彼女とご相談者様が今、どのくらいの距離感なのかがわからないためこれ以上はなんとも言えません。仕事でよく関わるのか、仕事中や休憩中に雑談をすることがあるのか、プライベートで連絡を取り合うことがあるのかなど、そのあたりの情報があれば、どのようにすれば付き合えるかというもっと具体的なお話ができると思います。

1つ言えるのは、彼女は「不倫をする女性」だということです。不倫をするということは日常生活で何かしらの満たされぬ思いがあるのかもしれません。そのあたりを理解できたり、受け止めたりできる器の大きさがご相談者様には必要になります。アプローチももちろん大切ですが、彼女を幸せにできるように、自分を磨くことも大切だと思います。今、私が申し上げられるのはこのくらいです。もしさらに具体的なアドバイスが必要でしたら、詳しい状況を書いて再度ご質問をいただきたいです。