Subscribed unsubscribe Subscribe Subscribe

ふり返る暇なんて無いね

日々のメモ書きをつらつらと

Fluentdのfilter_grepの設定で少しはまった。

fluentd 0.12.15 の話です。 結論から言うとFluentdのfilter_grepが、keyの後にスペース1個しか許容してくれません。 なので、下記のようにそろえるために、スペースを余分に入れると、意図しない正規表現になってしまいます。 <filter fluent.info> type grep exclude1 message </filter>…

Fluentdのmonitor_agentを動かしたい

設定ファイルにこう書いて再起動するだけ。 <source> type monitor_agent bind 0.0.0.0 port 24220 </source> 拡張子jsonを付けるとJSONで結果が返ってくるので、jqと組み合わせるとか、プログラムで処理しても良い。何も付けないとLTSVで結果が返ってくる。 curl --silent lo…

FluentdのBufferedOutputの挙動を知るためのリソース メモ

Fluentdのforward回りで少しはまってたときに役に立ったリソースメモ。 解決しつつあるので、その件についても後で書く Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモtagomoris.hatenablog.com td-agentでqueue size exceeds …

fluentdでltsvのログを出力したい

メモ 普通のパターン 各エージェントから送られてきたログを単純に集約してコレクター側でファイルに吐くのであればコレで十分なはずです。 エージェント側 <source> type tail tag http.access path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx.ac</source>…

out_fileとout_file_alternativeのデフォルトのタイムゾーンは違う

微妙にはまったのですが、現状のバージョンでは、 file => localtime file_alternative => utc がデフォルトのタイムゾーンです。fluent-plugin-file_alternativeというより、中で使っているfluent-mixin-plaintextformatterの中でutcを指定していますはまら…

fluentdもうちょい真面目にいじる

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2014/08/08メディア: 大型本この商品を含むブログを見る 諸…

プロセスがオープン可能なファイルディスクリプタを知りたい

OS全体での上限 % cat /proc/sys/fs/file-max 816171 今まで開いたディスクリプタ、現在開いているディスクリプタ、上限ディスクリプタの順番 % cat /proc/sys/fs/file-nr 1120 0 816171 シェルから実行したプロセスの上限はuname -nを見れば良い % ulimit -…

fluent-plugin-forestを使いつつ、tag_partsが複数あるときにpathにtag_partsを含めたときに、same buffer_pathを使っていると怒られる。

要件としては、 ファイル名としては、remove_suffix後、最後のtag_partsを無視して欲しい ログにはtagを残して欲しい どうやら${tag_parts[1]}が異なっていることが原因でtemplateから別の設定が作られるがbuffer_pathが同一の箇所を示しているため、怒られ…