Fluentd(td-agent) "Aws::CloudWatchLogs::Errors::InvalidSequenceTokenException" 回避方法 - Qiita      2019-04-18 23:40:08  詳細
事象 fluent-plugin-cloudwatch-logs を使用して複数の AWS EC2 インスタンスから CloudWatch Logs の同一 LogStream へ転送していた際、下記の様な WARNING によりログ転送が行われませんでした。 2016-05-14 02:08:24 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2016-05-14 02:42:45 +0000 er...
https://qiita.com/htnosm/items/581db601d070b7ccea3b
TiarraのIRCログをBigQueryに流し込む - ぷろじぇくと、みすじら。      2019-04-08 06:40:08  詳細
Created at: 2018-01-18 ふとTiarraでとったIRCのログをBigQueryに流し込むようにしたら手元にログを長期間残す必要もないし、検索もできるし便利そうだなと思ったので設定してみました。Twitterのログもあって若干流れますがBigQuery的には誤差の範囲レベル(1日1MB程度)なのでStreaming Insertして、たまーに検索しても...
https://www.misuzilla.org/Blog/2018/01/18/TiarraToBigQuery
LogstashとFluentdの連携方法 - ククログ(2018-01-24)      2019-04-06 14:40:09  詳細
はじめに LogstashとFluentdはどちらもログ収集を行うソフトウェアです。 この二つのソフトウェアの内部で扱われているデータのエンコード方法が異なるため、どちらかでデータ形式の変換を行わないといけません。 この記事はLogstashとFluentdの連携方法のうち、Logstash側で変換を行い、連携する方法を解説します。 Log...
https://www.clear-code.com/blog/2018/1/24.html
logrotateの設定とファイルのアクセスモードについて – catatsuy – Medium      2019-04-01 20:40:13  詳細
大量にアクセスが来るサーバーのlogrotateは意外と考えることが多いです。大量にアクセスが来るなら当然それだけログファイルが簡単に肥大化します。そこで一定間隔でログファイルを別のファイル名に変更して、書き込み先を新しいファイルにする必要があります。 これについてどういう設定をすればいいのか、昔自分が調...
https://medium.com/@catatsuy/logrotate%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%81%A8%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%83%A2%E3%83%BC%E3%83%89%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-f9719352dada
Fluentd,EmbulkなどTreasure Dataの最新技術を総チェック! 「TD Tech Talk 2018」レポート:レポート|gihyo.jp … 技術評論社      2019-04-01 02:40:12  詳細
トレジャーデータ(⁠株⁠)は,2013年に日本で本格的な事業展開を開始して今年で5周年を迎えます。その節目にあたり同社は,2月19日(月)~21日(水)の3日間,東京都丸の内(JP TOWERほか)にてプライベートイベント「TREASURE DATA“⁠PLAZMA”」を開催しました。 TREASURE DATA“PLAZMA”公式サイト URL:https://plazma.r...
https://gihyo.jp/news/report/2018/03/0801
td-agent3でGemfileベースのプラグイン管理 - ククログ(2018-04-06)      2019-03-27 22:40:12  詳細
Fluentdのプラグイン管理はGemfileベースでやると、きちんとバージョンを管理できるのでよいです。 ドキュメントでもGemfileベースのプラグイン管理について書かれています。 しかし、記事執筆時点ではtd-agentでどのようにするのかは、書かれていませんでした。 td-agent3からsystemdに対応しているので、特に断りがな...
https://www.clear-code.com/blog/2018/4/6.html
Kubernetes 上のアプリケーションから Stackdriver Logging に構造化ログを送る - Quipper Product Team Blog      2019-03-20 18:40:05  詳細
SRE チームの @yuya-takeyama です。 Quipper の SRE チームでは AWS や Kubernetes を用いたインフラの構築、CI/CD パイプラインの構築・改善等様々な Developer Experience の向上、社内のあらゆるサービスのマイクロサービス化のサポート、そしてそれに伴う複雑化にも耐え得るよう、サービスの安定稼働を支えるための...
https://quipper.hatenablog.com/entry/structured-logging-for-kubernetes
Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE tech blog      2019-03-19 12:40:08  詳細
こんにちは。インフラチームの高畑です。 今回は Elasticsearch (ES) を AWS に移行した際に導入した Embulk についてお話しします! Embulkとは Embulk とは、 Fluentd の開発者である古橋貞之氏によって開発された、 Fluentd のバッチ版のようなものです。 プラグインにより、インプットとアウトプットを柔軟に切り替...
https://tech.willgate.co.jp/entry/2018/10/09/120000
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました      2019-03-07 20:40:18  詳細
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました カンムでは業務でお客様のクレジットカード番号を扱っています。お客様の安全のため、PCIDSSの要件をクリアするため、コンプライアンス遵守のため、カード番号は安全に取り扱う必要があります。この記事では対象をログ...
https://medium.com/kanmu-tech-blog/%E3%82%AF%E3%83%AC%E3%82%B8%E3%83%83%E3%83%88%E3%82%AB%E3%83%BC%E3%83%89%E7%95%AA%E5%8F%B7%E3%81%8C%E3%83%AD%E3%82%B0%E3%81%AB%E6%AE%8B%E3%82%89%E3%81%AA%E3%81%84%E3%82%88%E3%81%86%E3%81%AB%E3%81%99%E3%82%8B-fluent-plugin-pan-anonymizer-%E3%82%92%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-d6f95eac93a3
Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ]|Everything you do is practice      2019-02-21 19:40:07  詳細
Fluentd Linux Tool Fluentd (td-agent) のバージョンアップ [td-agent2 から td-agent3 へバージョンアップ] この記事では実運用環境で使用している td-agent2 を td-agent3 にバージョンアップする手順を解説します。実際にかなり多くの変更が行われているシステム(秒間数百件程度の変更が行われている)において、td-a...
http://everything-you-do-is-practice.blogspot.com/2017/12/fluentd-td-agent-td-agent2-td-agent3.html
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫 - ログミーTech      2019-02-12 15:40:08  詳細
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫 Amazon ECS の安定運用のために 2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォー...
https://logmi.jp/tech/articles/320723
無線 LAN の通信品質を見える化する話 - Technology of DeNA      2018-12-07 13:40:15  詳細
これは DeNA Advent Calendar 2018 その2 の 7 日目の記事です。 こんにちは、IT 基盤部ネットワークグループの寺増です。 ネットワークグループでは、各サービスを提供している DC ネットワークの他、DeNA グループ全体のオフィスネットワークの管理・運用も行っています。 今回は、中でも日々重要性が増している無線 L...
https://engineer.dena.jp/2018/12/wireless-lan-quality-visualize.html
【k8s合宿】 Kubernetesのログ分析環境を作る - UZABASE Tech Blog      2018-11-19 23:40:08  詳細
こんにちは、SPEEDAのSREチームでエンジニアをしている阿南です。SPEEDAのSREチームでは、昨年末kubernetesについて理解を深めるために合宿を行いました。やり方はA〜Cの3チームに分けて、それぞれのチームでkubernetesに関することを調査、構築するという形式で、今回はAチームが実際にやってみた内容についてブログを...
https://tech.uzabase.com/entry/2018/02/01/161447
fluentdでElasticsearchにnginxアクセスログを流してみる - abcdefg.....      2018-09-12 10:40:04  詳細
fluentdでElasticsearchにNginxログを流してみたメモです。 以前、LogstashとBeatsを利用してElasticsearchにデータ投入を試したので、 fluentdでも試してみようと思います。 https://www.fluentd.org/ Nginxのアクセスログをfluentdを利用してElasticsearchに流してみます。 下記のバージョンで試してみます。 Ubuntu 1...
http://pppurple.hatenablog.com/entry/2018/02/17/035403
構造化ロギング  |  Stackdriver Logging  |  Google Cloud      2018-09-11 04:40:03  詳細
Stackdriver Logging では、構造化ログとは jsonPayload フィールドを使用してペイロードに構造を追加するログエントリを意味します。Stackdriver Logging API またはコマンドライン ユーティリティ gcloud logging を使用すると、ペイロードの構造を制御できます。Stackdriver Logging エージェントを使用してログエン...
https://cloud.google.com/logging/docs/structured-logging?hl=ja
DeNAのデータ分析基盤 あらゆるサービスのログを蓄積・分析するインフラの仕組み      2018-09-05 19:20:06  詳細
2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組...
https://logmi.jp/311098
FluentdでS3にログを収集してみる | Developers.IO      2018-07-10 14:40:02  詳細
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3に...
https://dev.classmethod.jp/cloud/aws/fluentd-s3/
systemd で動くプログラムの標準出力をファイルに出力させたい - えいのうにっき      2018-07-02 17:40:02  詳細
昨年末に Go言語で書いた Web アプリケーションの習作をサービス化して公開するところまでやってみた - えいのうにっき で公開したサービス・Yukizuri のデーモン化手段を、今日、supervisor から systemd に変更した。理由は単純で、会社の同僚(先輩)と「なんで supervisor 使ったの?」「今なら systemd がいいんじ...
https://blog.a-know.me/entry/2018/01/28/220948