フォローが外れてた場合に削除反映がされないのは正確にはRedis上のTL(idのみ)のからの削除で、サーバ間についてはSubscriptionが生きてる限り(一人でもフォローしているか誰もフォローしてなくても期限が切れる前か)反映されますね。ローカルに関してもidに対するデータが消えるのでブラウザかRedisのキャッシュが消えた後にはちゃんと消えるかも。