何を思っての行動や発言なのでしょうか？(34歳・女性）

遊ばれているかどうか、という言葉で片付けられない要素が多く絡んできていると思います。まずは、質問者様、彼のそのような行動に対してどのように感じているか、深堀していく必要がありそうです。
こちらは恋愛相談の方が多いと思いますが、例えば彼に対して好意を持っていてそれが隠せている自信がないのであれば、遊ばれているという表現が遠からず近からずのような立ち位置になるかと思います。男女限らず、ナチュラルに小悪魔な天然タイプ・計画や打算のための行動を怠らない養殖タイプなど、小悪魔的な人間はいます。自分（彼）が起こした行動によって相手（質問者様）がおどおどしたり、慌てたり、喜怒哀楽を見せてくれることがたまらなく楽しく面白い。そこに好意が芽生えることもありますが、すでに圧倒的な上下関係が出来上がってしまっていることを意味してます。
または、彼の行動に対して嫌悪感を抱いているうえで、どう行動してよいのか分からない場合。今回の質問文にあるような事象は、はっきりいってセクハラ事案です。質問者様よりも上の立場にいるという優越感、質問者様が近くの人たちに言いふらしていないという安心感。また、質問者様からとがめられたとしても何の実害も出ていない。性的なごっこ遊びで質問者様のセクシャルな部分を冒涜している行動だと感じます。加えて彼がそっけなくなれば、質問者様が気にかけてくれる。セクハラ野郎にとって、この上ない性的搾取の環境が整ってしまっています。少しでも嫌悪感を感じるのならば、危ない目に合ったときは質問者様からの拒否だけでなく、録音や日記をつけて証拠を残し、「さらに上の人」へチクるのが一番です。そこまでしなくても・・・と思い、自分が犠牲になればいいんだ、と思ってしまう女性に限って、「周りが見えていない」ことが多い。同じような被害に苦しんでいる人は、質問者様１人ではないのかもしれません。被害が言い出せない新人の方、取引先の方、お客様・・・誰かが言い出すのを待っていて、ふたを開けてみたら被害者が他にもいた、ということは良く聞く話です。質問者様、相手をとがめるほど嫌な思いをしたのであれば、相手の態度の変化にひるまないこと。相手が態度を改めるといったのだから、距離を置かれるのは当然です。相手は、質問者様のその動揺や心のひりひり感をつぶさに見ています。質問者様の「ごめんね、強く言い過ぎたかも」の言葉を待っているのですから。
しかし、質問者様がたとえ彼に好意を抱いていたとしても、彼のような男性は手放しに応援できません。恋人であっても、職場で身体の接触が他人に見られるかもしれない状況は嫌な気持ちになると思います。同じオフィスで私がそんな場面に鉢合わせしてしまったら、素直に「気持ち悪いな、家でやれ」と思って（言って）しまうと思います(笑)仕掛ける男も気持ち悪いし、甘んじて受け入れてる女も気持ち悪い。質問者様もぜひ、第三者的な目線で彼のこと、自分の揺れてしまう気持ちを読み取ってみてください。そこにどっちつかずな楽しさを見るか、お互い毅然とした態度になれない情けなさに触れるかは質問者様次第。お辛い状況かもしれませんが、ご自身や周りの方の心や体を守るつもりで挑んでください。応援しています。

男性目線で回答します。

Q：私は遊ばれてるのでしょうか？
A：現時点では、それ以前の段階に見えます

彼は質問者様のことを恋愛的な意味で捉えていないように思えます。
その理由は、デートのお誘いがないため。
もし「この人とお近づきになりたい」「付き合いたい」という思いがあるなら、休日にお茶などに誘うものです。
ですが現状は、職場でのやり取りや仕事終わりといった、仕事の延長線上の絡みしかありません。
プライベートのお誘いがない以上、「そこまで好きではない」あるいは「まだ関係が育っていない」という表れに見えます。
もしボティ―タッチや下ネタを質問者様が受け入れたら、恐らく要求はエスカレートして遊びの関係に発展すると思います。

Q：彼の気持ちがわかりません
A：質問者様のことは好意的に見ていますが、恋愛感情は抱いていない。そんな風に見えます。

例えるなら、「気になる女子にいたずらをする男子」のような感覚。
彼自身、恋愛願望はそれほどあるわけではない。一方で質問者様の人柄や性格は好き。
「面白そうだったから」という言葉の真意は、
・「気を引きたい」という子供のような欲求
・「欲望を満たしたい」という大人ならではの欲求
これらが重なったものだと思います。

恋人になりたいという願望があるなら、一般的には大切にするものです。
ですが告白もないうちから砕けた態度を取るのは、「お付き合いしたい」よりも「欲求を満たしたい」が先に来ている表れ。
恋愛的な好意は希薄だと思います。

◆結論
・"現時点では"かれから恋愛的な脈は感じない
・まだ遊びの段階ではないが、このまま進むと遊びになる可能性がある

彼に恋愛願望が無いのは、年齢が関係しているかもしれません。
20代前半の男性は、まだまだ遊びたい欲が強い人が多いです。

もっと仕事に打ち込みたい、趣味に時間を費やしたい、まだまだ遊びたい。
わたしも、20代の頃は恋愛に対する優先度は低かったです。
なかったわけではありませんが「いい人が居れば」「まだ慌てる時間じゃない」。心のどこかでそんな気持ちを持っていました。

質問者様が大人な態度で一線を引いて、彼を諫（いさ）めるのが基本姿勢だと思います。