神楽坂しえる @Clworld@md.ggtea.org

@Clworld rablのレンダリング結果キャッシュされてるかもと思ったけどキャッシュされてないですね

Mastodonのjsonテンプレートのrablはたぶんある程度の速度では動くと思うんだけどerb的なテンプレートでincludeとかしてるのでSidekiq内でどばどばレンダリングしていいものかというと不安

がんばれそこがなんか純Ruby処理的に一番やばそうな所だぞ<json <Boost

@Clworld Workerで軽率にAccount.findとかStatus.findしてる箇所全部Rails.cache.fetchで囲むべきでは。
あとnodeでステータス来る度にブロック/ミュート確認してるところも同罪。😐

Railsの特長としてテンプレートからDBうっかり呼び出して負荷がやばい があります😐

@Clworld アカウント毎にjsonをレンダリングする必要あったよ…FavしてるかとBoostしてるかがアカウント毎に違うよ…😇

@Clworld PushUpdateWorkerでローカルのアカウント毎+自分+Hashtag+pubilc回数分jsonのレンダリングをしている気がするのだけどアカウント毎にレンダリングする必要あるの…???

@Clworld Sidekiqを経由する度にDBにアカウントのデータを取りに行き直している…!?

Sidekiq N+1 Sidekiqを挟んだそのあとに何してるかといったら
Redisにデータを書きに行ってる
ので何がしたいのだと言われても仕方ない感ある。

@Clworld 受ける方のRedisが耐えられるのか知らない😐

ふと思ったんですけど、MastodonのSidekiqで使われてるRedis.currentの接続数って一本ですね？connection_poolとか噛ませてる感じしませんし。
スレッドじゃなくてプロセス数増やさないと早くならないのこのせいでは。

これってローカル配送の問題ですよね リモートは何人いてもサーバごとに一回ですしと感じたのでソース見なきゃってなってる(寝なきゃ)
ローカル配送ってRedisだけどRedis負荷高いんだろうかとか、最終的にRedisに一括でpipelineしたりluaスクリプト投げ始めそうとか、
タイムライン400件以上消してるけど毎回越えた分消すよりまとめて消した方がいいんじゃないかなとか。
寝ねば。

NAK

SidekiqN+1問題 純粋なSidekiqのN+1なのか

Sidekiq N+1問題 / “engineers/mastodon/Mastodonを3倍早くしたい話 - esa-pages.io” http://htn.to/9yRK2nPJxKB

出資者へのボーナスなのでopenなMastodonインスタンスだとあまり意味がなくなるは分かるけどMastodonじゃなくていいの感はある。

ふと気になってstatusesテーブルの定義見たら既にbigint(64bit)だった…