MicroAdのデータ基盤 - MicroAd Developers Blog      2018-06-20 18:20:09  詳細
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました...
https://developers.microad.co.jp/entry/2018/05/24/131136
CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記      2018-06-14 14:20:18  詳細
エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotify...
https://hiboma.hatenadiary.jp/entry/2018/06/06/111426
オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ      2018-06-13 18:40:02  詳細
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検...
https://techlife.cookpad.com/entry/2018/05/31/080000
BigQueryで将棋の棋譜の氾濫を解決する - KAYAC engineers' blog      2018-06-13 17:40:02  詳細
Tech KAYAC Advent Calendar 2017の13日目の記事をお届けします。 クライアントワーク事業部でサーバーサイドエンジニアをしている森です。よろしくお願いします。 過去最大の将棋の盛り上がり 今年は将棋がとてもとても盛り上がりましたね。 最年少プロ棋士誕生 藤井四段29連勝 加藤一二三九段引退 流行語大賞候補に藤...
https://techblog.kayac.com/big-query-shogi
Kubernetes上のアプリケーションログを自動収集する - Qiita      2018-05-31 01:40:02  詳細
TL;DR; 新サービスや既存サービスをKubernetesに移行するたびに、ログの収集設定のためインフラエンジニア待ちになってしまうのは面倒ですよね。 そこで、アプリのログをFluentdとDatadog LogsやStackdriver Loggingで自動的に収集する方法を紹介します。 主に以下のOSSを利用します。 fluentd kube-fluentd fluent-plug...
https://qiita.com/mumoshu/items/4d1d5e5ac0a0ce67d45f
MicroAdのデータ基盤 - MicroAd Developers Blog      2018-05-26 10:20:09  詳細
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました...
http://developers.microad.co.jp/entry/2018/05/24/131136
Fluentd | Open Source Data Collector | Unified Logging Layer      2018-05-21 10:40:03  詳細
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
https://www.fluentd.org/
AWS - Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに - Qiita      2018-05-19 08:40:03  詳細
こんにちは、cloudpack の @dz_ こと大平かづみです。 Prologue - はじめに 今回は、Fluentd から Amazon S3 へのログを送ってみます。 S3 への出力は、デフォルトで out_s3 プラグインが用意されています。セキュアな通信にするには、Credentials ( aws_key_id と aws_sec_key ) を設定すればよいのですが、設定ファイ...
https://qiita.com/dz_/items/224607c84112ccafa2d6
TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita      2018-05-19 08:40:02  詳細
こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結果をRDBに書き出したい MapReduceはメモリに収まりきらないデータをJOINしたり集計したりできる信頼性の高いアーキテクチャですが、どうしても1発のクエリを実行するのに時間がかか...
https://qiita.com/frsyuki/items/7230194e31eafe282c5b
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita      2018-05-19 05:40:05  詳細
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google B...
https://qiita.com/harukasan/items/0e0da49c65839e9517c4
Norikraで遊んでみた #fluentd #Norikra #Ruby - Qiita [キータ]      2018-05-18 08:40:03  詳細
Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください! Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリ...
https://qiita.com/harukasan/items/957012833e5a361f7aa1
fluentdとKibanaでSSHアクセス元マップ - Qiita      2018-05-18 08:40:02  詳細
大学外にポートが空いている研究室のサーバに対して,不正なSSHのアクセスが結構来ています. 今回は以下のステップで,不正アクセス元の国をKibana mapで可視化してみました. fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panel...
https://qiita.com/hiconyan/items/e847793a291760a7ac1d
Embulk(エンバルク)プラグインのまとめ - Qiita      2018-05-18 02:40:02  詳細
embulk gem search embulk-filter -r 2015-05-30 18:20:50.064 +0900: Embulk v0.6.10 *** REMOTE GEMS *** embulk-filter-eval (0.1.0) embulk-filter-speedometer (0.2.2) Inputプラグイン RDBMS Embulk(エンバルク) データベースプラグイン覚書も参照ください。 embulk-input-mysql MySQLのテーブルからデータを取得...
https://qiita.com/hiroysato/items/da45e52fb79c39547f69
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita      2018-05-17 22:40:02  詳細
このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、flu...
https://qiita.com/ixixi/items/e2dafaa7e4d6eb531729
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用 - Qiita      2018-05-17 20:40:04  詳細
まずはFluentdコミュニティの皆さん、おめでとうございます!!! Googleを中心に開発されているオープンソースのDockerジョブスケジューラKubernetes (k8s)、それにGoogle Cloud Platformのログ収集サービスGoogle Cloud LoggingのGoogle Compute Engine用ログコレクタとして、Fluentdが標準採用されました。もうひとつ...
https://qiita.com/kazunori279/items/8554cb8eccef05d2d4e5
nginxのログをLTSV形式で出力して、fluentd経由でMongoDBに保存する - Qiita      2018-05-17 08:40:06  詳細
nginxのlog_formatを忘れないところにメモっておきたかったのでメモ。 nginx設定 nginx.confのhttpコンテキスト内にLTSV形式のログフォーマット定義を行う。$time_iso8601などの変数はnginx http_core_moduleのEmbedded Variablesを参照して適当に設定しています。 /etc/nginx/conf.d/log_format.confとして分離したファ...
https://qiita.com/key/items/038b7913b3bb0298c625
fluentdでつくる監視系 - Qiita      2018-05-17 08:40:05  詳細
いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal ...
https://qiita.com/kotatsu360/items/2985056d5af72c6eb5c2
Docker 1.8 の Fluentd logging driver でコンテナログをフォワードする - Qiita      2018-05-17 08:40:04  詳細
Docker は 1.6 から Logging Drivers というのが追加され、コンテナからのログというものをどのように扱うかをドライバとして差し替えできるようになったとのこと。 そして Docker 1.8 からは Fluentd logging driver が追加され、ログ自体を fluentd を通した状態で扱えるようになりました。ログに fluentd の tag が付...
https://qiita.com/kumatch/items/744076da68fa71b36a35
fluentd - Logging of Rails in Lograge - Qiita      2018-05-17 01:40:03  詳細
ログはアプリケーションの開発中はもちろん、運用でもとても大切な情報です。 Rails の標準機能のロギングではアクセスログやエラーログなど様々な情報が混在しています。 ログはアクセスログ・業務ログや正常系・異常系など関心事を分離して設計することが大切です。 今回はアクセスログに注目したログの入門編としてサ...
https://qiita.com/ogomr/items/fd47dbafc8d9d3dfba00