fluentdでElasticsearchにnginxアクセスログを流してみる - abcdefg.....      2018-09-12 10:40:04  詳細
fluentdでElasticsearchにNginxログを流してみたメモです。 以前、LogstashとBeatsを利用してElasticsearchにデータ投入を試したので、 fluentdでも試してみようと思います。 https://www.fluentd.org/ Nginxのアクセスログをfluentdを利用してElasticsearchに流してみます。 下記のバージョンで試してみます。 Ubuntu 1...
http://pppurple.hatenablog.com/entry/2018/02/17/035403
構造化ロギング  |  Stackdriver Logging  |  Google Cloud      2018-09-11 04:40:03  詳細
Stackdriver Logging では、構造化ログとは jsonPayload フィールドを使用してペイロードに構造を追加するログエントリを意味します。Stackdriver Logging API またはコマンドライン ユーティリティ gcloud logging を使用すると、ペイロードの構造を制御できます。Stackdriver Logging エージェントを使用してログエン...
https://cloud.google.com/logging/docs/structured-logging?hl=ja
DeNAのデータ分析基盤 あらゆるサービスのログを蓄積・分析するインフラの仕組み      2018-09-05 19:20:06  詳細
2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Platform Day: TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。1日目のData Platform Dayでは、分散処理システムの構築やエコシステム開発、運用に対する取り組...
https://logmi.jp/311098
FluentdでS3にログを収集してみる | Developers.IO      2018-07-10 14:40:02  詳細
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3に...
https://dev.classmethod.jp/cloud/aws/fluentd-s3/
systemd で動くプログラムの標準出力をファイルに出力させたい - えいのうにっき      2018-07-02 17:40:02  詳細
昨年末に Go言語で書いた Web アプリケーションの習作をサービス化して公開するところまでやってみた - えいのうにっき で公開したサービス・Yukizuri のデーモン化手段を、今日、supervisor から systemd に変更した。理由は単純で、会社の同僚(先輩)と「なんで supervisor 使ったの?」「今なら systemd がいいんじ...
https://blog.a-know.me/entry/2018/01/28/220948
MicroAdのデータ基盤 - MicroAd Developers Blog      2018-06-20 18:20:09  詳細
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました...
https://developers.microad.co.jp/entry/2018/05/24/131136
CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記      2018-06-14 14:20:18  詳細
エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotify...
https://hiboma.hatenadiary.jp/entry/2018/06/06/111426
オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ      2018-06-13 18:40:02  詳細
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検...
https://techlife.cookpad.com/entry/2018/05/31/080000
BigQueryで将棋の棋譜の氾濫を解決する - KAYAC engineers' blog      2018-06-13 17:40:02  詳細
Tech KAYAC Advent Calendar 2017の13日目の記事をお届けします。 クライアントワーク事業部でサーバーサイドエンジニアをしている森です。よろしくお願いします。 過去最大の将棋の盛り上がり 今年は将棋がとてもとても盛り上がりましたね。 最年少プロ棋士誕生 藤井四段29連勝 加藤一二三九段引退 流行語大賞候補に藤...
https://techblog.kayac.com/big-query-shogi
Kubernetes上のアプリケーションログを自動収集する - Qiita      2018-05-31 01:40:02  詳細
TL;DR; 新サービスや既存サービスをKubernetesに移行するたびに、ログの収集設定のためインフラエンジニア待ちになってしまうのは面倒ですよね。 そこで、アプリのログをFluentdとDatadog LogsやStackdriver Loggingで自動的に収集する方法を紹介します。 主に以下のOSSを利用します。 fluentd kube-fluentd fluent-plug...
https://qiita.com/mumoshu/items/4d1d5e5ac0a0ce67d45f
MicroAdのデータ基盤 - MicroAd Developers Blog      2018-05-26 10:20:09  詳細
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました...
http://developers.microad.co.jp/entry/2018/05/24/131136
Fluentd | Open Source Data Collector | Unified Logging Layer      2018-05-21 10:40:03  詳細
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
https://www.fluentd.org/
AWS - Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに - Qiita      2018-05-19 08:40:03  詳細
こんにちは、cloudpack の @dz_ こと大平かづみです。 Prologue - はじめに 今回は、Fluentd から Amazon S3 へのログを送ってみます。 S3 への出力は、デフォルトで out_s3 プラグインが用意されています。セキュアな通信にするには、Credentials ( aws_key_id と aws_sec_key ) を設定すればよいのですが、設定ファイ...
https://qiita.com/dz_/items/224607c84112ccafa2d6
TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita      2018-05-19 08:40:02  詳細
こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結果をRDBに書き出したい MapReduceはメモリに収まりきらないデータをJOINしたり集計したりできる信頼性の高いアーキテクチャですが、どうしても1発のクエリを実行するのに時間がかか...
https://qiita.com/frsyuki/items/7230194e31eafe282c5b
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita      2018-05-19 05:40:05  詳細
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google B...
https://qiita.com/harukasan/items/0e0da49c65839e9517c4
Norikraで遊んでみた #fluentd #Norikra #Ruby - Qiita [キータ]      2018-05-18 08:40:03  詳細
Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください! Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリ...
https://qiita.com/harukasan/items/957012833e5a361f7aa1
fluentdとKibanaでSSHアクセス元マップ - Qiita      2018-05-18 08:40:02  詳細
大学外にポートが空いている研究室のサーバに対して,不正なSSHのアクセスが結構来ています. 今回は以下のステップで,不正アクセス元の国をKibana mapで可視化してみました. fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panel...
https://qiita.com/hiconyan/items/e847793a291760a7ac1d