Replying to @tomzoh
allocation faliureで1系ではメモリ内にある最近のデータは壊れそうですが、、なんかどちらかというとシステム全体が不安定化してる状態になっちゃってるに1票入れたい気がします・・・それ。
1
ファイルシステムのデータが壊れてるぽいんすよねー。再起動しても過去データ含め読み込めなくなっている。そして、これ、Raspberry Pi 4 (8GB)にこれだけ入ってる感じで、システム的にはそんなひどいことになってないと思うのだけど、何なんだろうなあ…。
1
なんかmicrosdが飛んだ時っぽい状況ですね(苦笑 うーん、、prometheusのデータ格納はものすごくストレージ書き込み浪費する感が。。。
1
SSDなんすよー。稼動1ヶ月とかなんでさすがになあ、と思ってます。
1
うううむ。そうですよねぇ。 とはいえprometheus 2.xだと自動データ修復で(ある程度?)壊れたデータでも普通に稼働するんですけどねぇ。 止まってしまうほどのひどい状態に出くわしたことはない気が・・・ うちは2GB mem VMで、1.5GB位喰って動いてますが、page allocationすら出たことないです。。
1
そうなんすね。2.7.1ぽいんすよね〜。SSDのアクセスに問題があるのかな〜。
1
うーみゅ。 checkpoinitingとかcompleted maintenanceとかのログはちゃんと出てます??(storage.go)
1
なーんか、どーもデータが壊れてるのではなくなーんかおかしな状態ぽいです。
1
前者はIOのキャッシュですねぇ。いつからか余裕分をほぼ喰うようになった気がしてます。 後者は設定してるターゲットが多いとulimitのfdの上限にあたるという噂を2.0の最初の頃に聞いた気もしますが、、治ったんじゃなかったのかなぁとは思うところで・・・><
1
これ、スレッド上限じゃないんですかねー。(1枚目は、メモリ不足を吐いてたりしたのでメモリは足りてる、ということで貼ったのですが、メモリ不足のスクショ貼り忘れてたので意味不明でした)
1
Replying to @tomzoh
あ、ごめんなさい、後者はそれですね。(なんでfdって書いたんだ・・・ メモリ不足吐いてるのとこのエラーの組み合わせって、ちょくちょくgoで出てくる何かな覚えがあるんですが・・・(忘れちゃいました(涙(うーん

Jan 6, 2022 · 6:50 AM UTC

1