一般的には、空間（広さ）・時間・重量など、数量に置き換えられる条件に関連するさま。 という意味ですね。

例えば、1時間かかる場所に30分で行けと言われても、それは「物理的に無理」です。
これは、できませんね。このように問題に対してよく考えても現実的に達成できないということです。

仕事がたくさんあって、とてもこなせない「物理的に無理」ということですね。

“物理的に”の対義語に“生理的に” “精神的に“というのがあります 物理的というのは 実際の数値、または、可能・不可能ということに関わるのに対し 生理・精神的というのは 心、気持ちの問題ということになります 。

いずれの言葉も、“無理”と一緒に使うことが多いです。

例えば、 ある友達Aさんから結婚してくれと言われた時 「まだ結婚出来る程生活が安定してない」 この場合は物理的に無理 、「Aのことが苦手で結婚出来ない」 この場合は生理的に無理 というように言えます。

問題がどんな状況なのかで変わりますが、時間・数量・人員・距離・広さなどさまざまな要因があります。

その問題に対し、物事を数値化して考え、それが達成できない、または不可能であるときに使います。

物理学の法則

物理学の法則というものがあります。よく説明される話は有名なニュートンの万有引力の法則です。

地球には重力があり、それによってリンゴは上に投げても必ず下に落ちます。

これは質量がある物であれば必ず起こる現象（法則）です。
すべてのものに通じる共通の法則のことです。

このように「物理的に無理」という言葉の意味も、使う場面でいくつかのパターンがあるので注意しましょう。

対義語

前述したように、物理的にの対義語は、

• 物理の法則（リンゴが落ちる）には、精神的で、人の考え方には決まりがないから。
  
  例えば、野球部で監督からAさんとBさんの二人が怒られたとすると、
  Aさんは、「監督はなぜ俺ばかりを怒るのだろう」と考え
  Bさんは、「監督は俺に期待しているから怒っているんだ」と考えたのです。
  
  このように人によって感じかたや考えかたが違うということです。
  
• 一般的な、空間（広さ）・時間・重量など、数量に置き換えられる条件には論理的です。
  
  これは現実（空間、時間、重量など）具体的に認識することです。
  論理的とは今ある現実にとらわれず、現状なかったしても、それがあると仮定して筋道を立てることです。
  
  例えば、プラスチックの箱を1個作るのに1時間かかるとして、その箱を1時間で5個作るには、到底1人では無理ですね。
  しかし、全員総勢5人の人数がいれば、なんなく終わらせることができます。
  
  このように、今ある現実を考えると物理的には不可能なことでも、今の現実にとらわれずに考えることによって論理的に可能になります。

物理的を英語ではフィジカル（ physical ）といいます。Weblio辞書によると

フィジカル（physical）は、主に「肉体的」「身体的」あるいは「身体面」の意味で用いられる語。運動・スポーツ・格闘技などの話題において、「メンタル（精神面）」と対比する形で用いられることが多い。

引用：Weblio辞書

日常、何となく使っている｢物理的に無理」も対義語を理解して感じ、考えることでよいアイデアが生まれるかもしれませんね。

参考：ギモン雑学