スマホ対応しないと Google 検索順位で不利になりますか？

回答としては、2021年4月以降は完全に不利になります。このタイミングで、Google は条件や例外なく全ての Web ページをスマートフォン（のような画面の小さいデバイスでの）サイトとして評価するようになります。
つまり、スマートフォンで閲覧するのに問題がある Web サイトは、2021年4月1日を持って、大幅に検索結果順位を落とすことになります。

『ウチの会社はコンシューマーを相手にしているわけではないので、閲覧者はほぼ PC で見てるんだけど！』と言っても Google には関係ありません。例え検索している方が PC で検索していようとも、その検索結果上位に並ぶのはマルチデバイス対応ができている Web ページです。

• スマートフォンの画面サイズで操作性や視認性に難がある。
• 公共 WiFi のような通信速度が遅い回線での閲覧時に読み込みが遅い。
• 画像解像度やサイズが十分でない。
• スマートフォン向けに存在してしないコンテンツが PC 版だけに存在する。

といったことがあると、大幅に減点されます。

スマホ対応が直接的にメリットがないとしても、Google を無視できないならば、小手先ではなくきっちりと対応する必要がありますので、お気を付けください。