おひとりさまサーバですけどRailsが立ち上がるだけで結構なメモリを持っていくのでそれ×ワーカー数くらいはなにもしなくても持ってかれます。ついでにpgBouncer使わないとワーカーが使うコネクション分でも地味に食います。