何が起こっていたかというと、Rails.cacheにActiveModelがシリアライズされて入っている訳なのだけどRails5.0のキャッシュが残っている結果Rails5.1で読み込めなくなっていた。