「出荷」ではなく「出荷通知」前にキャンセル依頼のメールを受信していたらキャンセルが成立するのが一応のルール。
出荷済でも、出荷通知前にキャンセル依頼を受けたら対応しなければなりません。

発送直前まで何かメールが来ていないかチェックし、このようなことがあれば配送業者にすぐにこちらに送り返す準備もしていなければならないのでしょうか？

タイミングによって今回のような事は発生し得るので、私も発送する前にメールを確認するようにはしています。出荷手続きと同時に出荷通知送信。
出荷手続きと出荷通知の間にタイムラグが生じる場合はリスクを覚悟する必要があります。
ほぼ同時にメールが着信して不幸にも発送手続きをしてしまったら、配送業者に連絡して出荷取り消しまたは取り戻し。商品が購入者に届いてしまったら、返品を待った上での返金。Amazon上は全額返金手続きせざるを得ないので、できるだけ損失が少ない形での処理。
出荷通知後のメール受信であれば購入者都合の返品としての処理も可能ですが、購入者側の出荷通知受信した時間とキャンセル依頼メール送信時間がキャンセル成立条件に該当する場合は揉めるかもしれません。

いやがらせなのか？

それは考えすぎでしょう。よくある事とは言いませんが、タイミングによって1度や2度経験のあるセラーは少なくないはずです。私も経験があります。

キャンセル依頼を受けて出荷しなければいいだけなので、何度も繰り返し注文-キャンセル依頼が続くのでなければいやがらせ目的と考える必要はないでしょう。

出荷前のメール確認、出荷と同時の出荷通知送信を習慣づける事です。