えんどうです。

う〜ん、やっぱり何がやりたいのか今ひとつわからないのですが、^^;

何はともあれ、クライアント側から SQL を発行し、サーバで処理させ、
必要なデータのみを取ってくるような仕組みでない限り、全データが
ネットワーク上を流れるわけで、遅くなるのは当然。というお話だと
思います。

つまり、Access 側で SQL を発行するということはつまり、データを
全部持ってきて該当するレコードをクライアント側で引っかけるとい
う処理に他ならず、当然全データを持ってくるので遅くなる。と。
パススルークエリはそれを「ぱすする」から早くて当然ですね。
# ここでは引っ張ってくる時のお話のみね。

私もあまり Access の動きは知らないので、間違っているかも知れま
せん。
識者の方、間違っていたら私を戒めてやって下さい。m(_ _)m