KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2] - Speaker Deck      2019-10-04 23:40:08  詳細
本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管理しているが管理コストなど課題を感じている人や、コンテナ活用時のロギング構...
https://speakerdeck.com/prog893/kinesistolambdadetukuruserverlessnaroguji-pan-at-aws-devday-tokyo-2019-c-2
Collecting Logs into Elasticsearch and S3 | Fluentd      2019-09-30 23:40:23  詳細
Elasticsearch is an open sourcedistributed real-time search backend. While Elasticsearch can meet a lot of analytics needs, it is best complemented with other analytics backends like Hadoop and MPP databases. As a "staging area" for such complementary backends, AWS's S3 is a great fit. As an adde...
https://www.fluentd.org/guides/recipes/elasticsearch-and-s3
GAE のログに憧れて – google-cloud-jp – Medium      2019-09-19 20:40:56  詳細
Google App Engine (GAE) は GCP の他のサービスとの連携が豊富で非常に便利なのですが、その中でも個人的に好きな機能の一つに、Stackdriver Logging に出力されるログの見やすさがあります。 Logging from Google App EngineGAE のログは、上記画像のようにアクセスログとアプリケーションログを一箇所にグルーピング...
https://medium.com/google-cloud-jp/gae-%E3%81%AE%E3%83%AD%E3%82%B0%E3%81%AB%E6%86%A7%E3%82%8C%E3%81%A6-895ebe927c4
AppEngineの旧Log APIを脱却したい話 - Mercari Engineering Blog      2019-09-19 20:40:52  詳細
この記事はMERPAY TECH OPENNESS MONTHの3日目の記事です。 メルペイ ソリューションチームで毎日コード書いたりして遊んでいるvvakameです。 TL;DR AppEngine 2nd genでロックインAPIから解放され大脱出できるようになった AppEngine Log APIはオーパーツ(完全には真似できない) プラットフォーム出力のrequest logを使...
https://tech.mercari.com/entry/2019/05/22/122803
Vector: A High-Performance Logs, Events, & Metrics Router      2019-07-13 14:40:09  詳細
Blistering FastBuilt in Rust, Vector is blistering fast and memory efficient. It's designed to handle the most demanding environments. Vendor NeutralVector does not favor any specific storage. It fosters a fair, open ecosystem with the user's best interest in mind.
https://vector.dev/
fluentdでOSのいろんなログをまとめてS3に出力する設定考えてみた | DevelopersIO      2019-07-08 22:40:05  詳細
こんにちは、臼田です。 fluentdの設定は自由度が高くて、逆にどうやるのが最適なのかなーと悩むことがよくあります。 今回は「apacheのログを出力したい」のような単体のログではなくて、「OSに保存されているいろんなログを(比較的)楽にS3に出力したい」という需要に答える設定を考えてみました。用途としてはとりあえ...
https://dev.classmethod.jp/cloud/aws/fluentd-settings-with-some-os-logs/
GitHub - timberio/vector: A High-Performance, Logs, Metrics, & Events Router      2019-07-03 13:40:07  詳細
Dismiss Join GitHub today GitHub is home to over 36 million developers working together to host and review code, manage projects, and build software together. Sign up
https://github.com/timberio/vector
NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog      2019-07-03 11:40:06  詳細
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問...
https://tech.repro.io/entry/2019/07/03/090000
fluentdでapacheのログに時間が出力されなくて苦労したので解決策と原理をまとめてみた | DevelopersIO      2019-06-28 12:40:36  詳細
こんにちは、臼田です。 最近fluentdを使い始めたのですが、apacheのログに時間を含めて出力できなかったので対処法と周辺情報をまとめてみます。 やりたいこと 構成としては単純にEC2のapache access_logをfluentdを利用してS3に出力する形です。 目的としてはログの永続化で、使用目的は何かあったらAmazon Athenaで分...
https://dev.classmethod.jp/cloud/aws/fluentd-cant-output-time-with-apache-format/
Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer      2019-05-20 21:40:08  詳細
少し前のことですが、 Fluentd の v0.14 が stable になりましたね。 イコール v1.0 である通り、安定感が増した感じがしています。 ブログのネタが無いので今回は Fluentd の小ネタを投稿することにしますw 一応ここでは比較のために v0.12, v0.14 と表記します、というか v0.14 に慣れすぎてまだ v1.0 と呼ぶのに慣れ...
http://innossh.hatenablog.com/entry/2018/02/28/211535
ECSのawsvpcモードではログドライバにサイドカーコンテナを指定できない - Re:cohalz      2019-05-06 22:40:10  詳細
下記の構成でサービスを構築したところ,ログが転送されなかった タスク定義のネットワークモードをawsvpcにする fluentdをサイドカーコンテナにする コンテナのログドライバを127.0.0.1:24224に指定する 起動順がおかしいのかと思い,docker-composeで同様の例を作った github.com が,こちらは動く上にfluentd-async-c...
https://core.cohalz.co/entry/2019/01/06/152220
Fluentd(td-agent) "Aws::CloudWatchLogs::Errors::InvalidSequenceTokenException" 回避方法 - Qiita      2019-04-18 23:40:08  詳細
事象 fluent-plugin-cloudwatch-logs を使用して複数の AWS EC2 インスタンスから CloudWatch Logs の同一 LogStream へ転送していた際、下記の様な WARNING によりログ転送が行われませんでした。 2016-05-14 02:08:24 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2016-05-14 02:42:45 +0000 er...
https://qiita.com/htnosm/items/581db601d070b7ccea3b
TiarraのIRCログをBigQueryに流し込む - ぷろじぇくと、みすじら。      2019-04-08 06:40:08  詳細
Created at: 2018-01-18 ふとTiarraでとったIRCのログをBigQueryに流し込むようにしたら手元にログを長期間残す必要もないし、検索もできるし便利そうだなと思ったので設定してみました。Twitterのログもあって若干流れますがBigQuery的には誤差の範囲レベル(1日1MB程度)なのでStreaming Insertして、たまーに検索しても...
https://www.misuzilla.org/Blog/2018/01/18/TiarraToBigQuery
LogstashとFluentdの連携方法 - ククログ(2018-01-24)      2019-04-06 14:40:09  詳細
はじめに LogstashとFluentdはどちらもログ収集を行うソフトウェアです。 この二つのソフトウェアの内部で扱われているデータのエンコード方法が異なるため、どちらかでデータ形式の変換を行わないといけません。 この記事はLogstashとFluentdの連携方法のうち、Logstash側で変換を行い、連携する方法を解説します。 Log...
https://www.clear-code.com/blog/2018/1/24.html
logrotateの設定とファイルのアクセスモードについて – catatsuy – Medium      2019-04-01 20:40:13  詳細
大量にアクセスが来るサーバーのlogrotateは意外と考えることが多いです。大量にアクセスが来るなら当然それだけログファイルが簡単に肥大化します。そこで一定間隔でログファイルを別のファイル名に変更して、書き込み先を新しいファイルにする必要があります。 これについてどういう設定をすればいいのか、昔自分が調...
https://medium.com/@catatsuy/logrotate%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%81%A8%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%83%A2%E3%83%BC%E3%83%89%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-f9719352dada
Fluentd,EmbulkなどTreasure Dataの最新技術を総チェック! 「TD Tech Talk 2018」レポート:レポート|gihyo.jp … 技術評論社      2019-04-01 02:40:12  詳細
トレジャーデータ(⁠株⁠)は,2013年に日本で本格的な事業展開を開始して今年で5周年を迎えます。その節目にあたり同社は,2月19日(月)~21日(水)の3日間,東京都丸の内(JP TOWERほか)にてプライベートイベント「TREASURE DATA“⁠PLAZMA”」を開催しました。 TREASURE DATA“PLAZMA”公式サイト URL:https://plazma.r...
https://gihyo.jp/news/report/2018/03/0801
td-agent3でGemfileベースのプラグイン管理 - ククログ(2018-04-06)      2019-03-27 22:40:12  詳細
Fluentdのプラグイン管理はGemfileベースでやると、きちんとバージョンを管理できるのでよいです。 ドキュメントでもGemfileベースのプラグイン管理について書かれています。 しかし、記事執筆時点ではtd-agentでどのようにするのかは、書かれていませんでした。 td-agent3からsystemdに対応しているので、特に断りがな...
https://www.clear-code.com/blog/2018/4/6.html
Kubernetes 上のアプリケーションから Stackdriver Logging に構造化ログを送る - Quipper Product Team Blog      2019-03-20 18:40:05  詳細
SRE チームの @yuya-takeyama です。 Quipper の SRE チームでは AWS や Kubernetes を用いたインフラの構築、CI/CD パイプラインの構築・改善等様々な Developer Experience の向上、社内のあらゆるサービスのマイクロサービス化のサポート、そしてそれに伴う複雑化にも耐え得るよう、サービスの安定稼働を支えるための...
https://quipper.hatenablog.com/entry/structured-logging-for-kubernetes
Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE tech blog      2019-03-19 12:40:08  詳細
こんにちは。インフラチームの高畑です。 今回は Elasticsearch (ES) を AWS に移行した際に導入した Embulk についてお話しします! Embulkとは Embulk とは、 Fluentd の開発者である古橋貞之氏によって開発された、 Fluentd のバッチ版のようなものです。 プラグインにより、インプットとアウトプットを柔軟に切り替...
https://tech.willgate.co.jp/entry/2018/10/09/120000
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました      2019-03-07 20:40:18  詳細
クレジットカード番号がログに残らないようにする fluent-plugin-pan-anonymizer をリリースしました カンムでは業務でお客様のクレジットカード番号を扱っています。お客様の安全のため、PCIDSSの要件をクリアするため、コンプライアンス遵守のため、カード番号は安全に取り扱う必要があります。この記事では対象をログ...
https://medium.com/kanmu-tech-blog/%E3%82%AF%E3%83%AC%E3%82%B8%E3%83%83%E3%83%88%E3%82%AB%E3%83%BC%E3%83%89%E7%95%AA%E5%8F%B7%E3%81%8C%E3%83%AD%E3%82%B0%E3%81%AB%E6%AE%8B%E3%82%89%E3%81%AA%E3%81%84%E3%82%88%E3%81%86%E3%81%AB%E3%81%99%E3%82%8B-fluent-plugin-pan-anonymizer-%E3%82%92%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-d6f95eac93a3