Vector: A High-Performance Logs, Events, & Metrics Router      2019-07-13 14:40:09  詳細
Blistering FastBuilt in Rust, Vector is blistering fast and memory efficient. It's designed to handle the most demanding environments. Vendor NeutralVector does not favor any specific storage. It fosters a fair, open ecosystem with the user's best interest in mind.
https://vector.dev/
fluentdでOSのいろんなログをまとめてS3に出力する設定考えてみた | DevelopersIO      2019-07-08 22:40:05  詳細
こんにちは、臼田です。 fluentdの設定は自由度が高くて、逆にどうやるのが最適なのかなーと悩むことがよくあります。 今回は「apacheのログを出力したい」のような単体のログではなくて、「OSに保存されているいろんなログを(比較的)楽にS3に出力したい」という需要に答える設定を考えてみました。用途としてはとりあえ...
https://dev.classmethod.jp/cloud/aws/fluentd-settings-with-some-os-logs/
GitHub - timberio/vector: A High-Performance, Logs, Metrics, & Events Router      2019-07-03 13:40:07  詳細
Dismiss Join GitHub today GitHub is home to over 36 million developers working together to host and review code, manage projects, and build software together. Sign up
https://github.com/timberio/vector
NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog      2019-07-03 11:40:06  詳細
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問...
https://tech.repro.io/entry/2019/07/03/090000
fluentdでapacheのログに時間が出力されなくて苦労したので解決策と原理をまとめてみた | DevelopersIO      2019-06-28 12:40:36  詳細
こんにちは、臼田です。 最近fluentdを使い始めたのですが、apacheのログに時間を含めて出力できなかったので対処法と周辺情報をまとめてみます。 やりたいこと 構成としては単純にEC2のapache access_logをfluentdを利用してS3に出力する形です。 目的としてはログの永続化で、使用目的は何かあったらAmazon Athenaで分...
https://dev.classmethod.jp/cloud/aws/fluentd-cant-output-time-with-apache-format/
Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer      2019-05-20 21:40:08  詳細
少し前のことですが、 Fluentd の v0.14 が stable になりましたね。 イコール v1.0 である通り、安定感が増した感じがしています。 ブログのネタが無いので今回は Fluentd の小ネタを投稿することにしますw 一応ここでは比較のために v0.12, v0.14 と表記します、というか v0.14 に慣れすぎてまだ v1.0 と呼ぶのに慣れ...
http://innossh.hatenablog.com/entry/2018/02/28/211535
ECSのawsvpcモードではログドライバにサイドカーコンテナを指定できない - Re:cohalz      2019-05-06 22:40:10  詳細
下記の構成でサービスを構築したところ,ログが転送されなかった タスク定義のネットワークモードをawsvpcにする fluentdをサイドカーコンテナにする コンテナのログドライバを127.0.0.1:24224に指定する 起動順がおかしいのかと思い,docker-composeで同様の例を作った github.com が,こちらは動く上にfluentd-async-c...
https://core.cohalz.co/entry/2019/01/06/152220
Fluentd(td-agent) "Aws::CloudWatchLogs::Errors::InvalidSequenceTokenException" 回避方法 - Qiita      2019-04-18 23:40:08  詳細
事象 fluent-plugin-cloudwatch-logs を使用して複数の AWS EC2 インスタンスから CloudWatch Logs の同一 LogStream へ転送していた際、下記の様な WARNING によりログ転送が行われませんでした。 2016-05-14 02:08:24 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2016-05-14 02:42:45 +0000 er...
https://qiita.com/htnosm/items/581db601d070b7ccea3b
TiarraのIRCログをBigQueryに流し込む - ぷろじぇくと、みすじら。      2019-04-08 06:40:08  詳細
Created at: 2018-01-18 ふとTiarraでとったIRCのログをBigQueryに流し込むようにしたら手元にログを長期間残す必要もないし、検索もできるし便利そうだなと思ったので設定してみました。Twitterのログもあって若干流れますがBigQuery的には誤差の範囲レベル(1日1MB程度)なのでStreaming Insertして、たまーに検索しても...
https://www.misuzilla.org/Blog/2018/01/18/TiarraToBigQuery
LogstashとFluentdの連携方法 - ククログ(2018-01-24)      2019-04-06 14:40:09  詳細
はじめに LogstashとFluentdはどちらもログ収集を行うソフトウェアです。 この二つのソフトウェアの内部で扱われているデータのエンコード方法が異なるため、どちらかでデータ形式の変換を行わないといけません。 この記事はLogstashとFluentdの連携方法のうち、Logstash側で変換を行い、連携する方法を解説します。 Log...
https://www.clear-code.com/blog/2018/1/24.html
logrotateの設定とファイルのアクセスモードについて – catatsuy – Medium      2019-04-01 20:40:13  詳細
大量にアクセスが来るサーバーのlogrotateは意外と考えることが多いです。大量にアクセスが来るなら当然それだけログファイルが簡単に肥大化します。そこで一定間隔でログファイルを別のファイル名に変更して、書き込み先を新しいファイルにする必要があります。 これについてどういう設定をすればいいのか、昔自分が調...
https://medium.com/@catatsuy/logrotate%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%81%A8%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%83%A2%E3%83%BC%E3%83%89%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-f9719352dada
Fluentd,EmbulkなどTreasure Dataの最新技術を総チェック! 「TD Tech Talk 2018」レポート:レポート|gihyo.jp … 技術評論社      2019-04-01 02:40:12  詳細
トレジャーデータ(⁠株⁠)は,2013年に日本で本格的な事業展開を開始して今年で5周年を迎えます。その節目にあたり同社は,2月19日(月)~21日(水)の3日間,東京都丸の内(JP TOWERほか)にてプライベートイベント「TREASURE DATA“⁠PLAZMA”」を開催しました。 TREASURE DATA“PLAZMA”公式サイト URL:https://plazma.r...
https://gihyo.jp/news/report/2018/03/0801
td-agent3でGemfileベースのプラグイン管理 - ククログ(2018-04-06)      2019-03-27 22:40:12  詳細
Fluentdのプラグイン管理はGemfileベースでやると、きちんとバージョンを管理できるのでよいです。 ドキュメントでもGemfileベースのプラグイン管理について書かれています。 しかし、記事執筆時点ではtd-agentでどのようにするのかは、書かれていませんでした。 td-agent3からsystemdに対応しているので、特に断りがな...
https://www.clear-code.com/blog/2018/4/6.html
Kubernetes 上のアプリケーションから Stackdriver Logging に構造化ログを送る - Quipper Product Team Blog      2019-03-20 18:40:05  詳細
SRE チームの @yuya-takeyama です。 Quipper の SRE チームでは AWS や Kubernetes を用いたインフラの構築、CI/CD パイプラインの構築・改善等様々な Developer Experience の向上、社内のあらゆるサービスのマイクロサービス化のサポート、そしてそれに伴う複雑化にも耐え得るよう、サービスの安定稼働を支えるための...
https://quipper.hatenablog.com/entry/structured-logging-for-kubernetes
Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE tech blog      2019-03-19 12:40:08  詳細
こんにちは。インフラチームの高畑です。 今回は Elasticsearch (ES) を AWS に移行した際に導入した Embulk についてお話しします! Embulkとは Embulk とは、 Fluentd の開発者である古橋貞之氏によって開発された、 Fluentd のバッチ版のようなものです。 プラグインにより、インプットとアウトプットを柔軟に切り替...
https://tech.willgate.co.jp/entry/2018/10/09/120000
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました      2019-03-07 20:40:18  詳細
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました カンムでは業務でお客様のクレジットカード番号を扱っています。お客様の安全のため、PCIDSSの要件をクリアするため、コンプライアンス遵守のため、カード番号は安全に取り扱う必要があります。この記事では対象をログ...
https://medium.com/kanmu-tech-blog/%E3%82%AF%E3%83%AC%E3%82%B8%E3%83%83%E3%83%88%E3%82%AB%E3%83%BC%E3%83%89%E7%95%AA%E5%8F%B7%E3%81%8C%E3%83%AD%E3%82%B0%E3%81%AB%E6%AE%8B%E3%82%89%E3%81%AA%E3%81%84%E3%82%88%E3%81%86%E3%81%AB%E3%81%99%E3%82%8B-fluent-plugin-pan-anonymizer-%E3%82%92%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-d6f95eac93a3
Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ]|Everything you do is practice      2019-02-21 19:40:07  詳細
Fluentd Linux Tool Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ] この記事では実運用環境で使用している td-agent2 を td-agent3 にバージョンアップする手順を解説します。実際にかなり多くの変更が行われているシステム(秒間数百件程度の変更が行われている)において、td-a...
http://everything-you-do-is-practice.blogspot.com/2017/12/fluentd-td-agent-td-agent2-td-agent3.html
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫 - ログミーTech      2019-02-12 15:40:08  詳細
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫 Amazon ECS の安定運用のために 2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォー...
https://logmi.jp/tech/articles/320723
無線 LAN の通信品質を見える化する話 - Technology of DeNA      2018-12-07 13:40:15  詳細
これは DeNA Advent Calendar 2018 その2 の 7 日目の記事です。 こんにちは、IT 基盤部ネットワークグループの寺増です。 ネットワークグループでは、各サービスを提供している DC ネットワークの他、DeNA グループ全体のオフィスネットワークの管理・運用も行っています。 今回は、中でも日々重要性が増している無線 L...
https://engineer.dena.jp/2018/12/wireless-lan-quality-visualize.html
【k8s合宿】 Kubernetesのログ分析環境を作る - UZABASE Tech Blog      2018-11-19 23:40:08  詳細
こんにちは、SPEEDAのSREチームでエンジニアをしている阿南です。SPEEDAのSREチームでは、昨年末kubernetesについて理解を深めるために合宿を行いました。やり方はA〜Cの3チームに分けて、それぞれのチームでkubernetesに関することを調査、構築するという形式で、今回はAチームが実際にやってみた内容についてブログを...
https://tech.uzabase.com/entry/2018/02/01/161447