データエンジニアリング関連ソフトウェアの障害対応事例 - LINE ENGINEERING      2018-12-05 13:20:30  詳細
上記の通り、フェイルオーバー発生直前には RegistryAdminService という名前の thread が、全 thread 数のほとんど (97.6 %) を占めていたことがわかりました。 1-8. RegistryAdminService Thread 今度は、「この RegistryAdminService thread はどのようなものであるのか」を確認することにしました。この名前の threa...
https://engineering.linecorp.com/ja/blog/data-engineering-software-troubleshooting/
データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 by @yuzutas0      2018-12-03 17:20:27  詳細
この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ は...
http://yuzutas0.hatenablog.com/entry/2018/12/02/180000
Hadoop本第3版 3章 Hadoop分散ファイルシステムについて - Qiita      2018-11-23 18:20:17  詳細
*こちらはOpt社内で実施しているオライリーのHadoop本第3版の輪読会用資料になります 自己紹介 株式会社オプト シニアエンジニア @sisisin GitHub Twitter フロントエンドマン(Angular,AngularJS中心) スクラムマスター 最近インフラ周りも始めました Scalaも書いてます Hadoop本第3版第3章Hadoop分散ファイルシステ...
https://qiita.com/sisisin/items/488a85c4e9725e7ae6ab
Hiveでarray、struct型などをNULLにする方法 - MicroAd Developers Blog      2018-10-22 11:20:06  詳細
こんにちは。マイクロアドでサーバーサイドエンジニアをしている大澤です。 今回はApache HiveでComplex型(ARRAY, STRUCT, MAP, UNION)を使用している際に発生した問題と解決方法について紹介します。 問題の内容 Hive上に下記の様なテーブルが存在する場合を想定します。 CREATE TABLE example_table ( column1 INT, co...
https://developers.microad.co.jp/entry/2018/10/19/170001
Uber’s Big Data Platform: 100+ Petabytes with Minute Latency | Uber Engineering Blog      2018-10-19 10:20:08  詳細
By Reza Shiftehfar Uber is committed to delivering safer and more reliable transportation across our global markets. To accomplish this, Uber relies heavily on making data-driven decisions at every level, from forecasting rider demand during high traffic events to identifying and addressing bottl...
https://eng.uber.com/uber-big-data-platform/
ぐるなびデータ基盤の運用について - ぐるなびをちょっと良くするエンジニアブログ      2018-10-16 10:20:03  詳細
はじめまして。データマネジメントグループ DMPチームの瀧澤と申します。趣味は映画鑑賞と自宅のスマートホーム化です。 ぐるなびではデータ基盤の構築・運用を担当しています。 今回は私が運用しているデータ基盤環境の概要や導入経緯、運用のTipsをご紹介させていただこうと思います。 ぐるなびでの導入経緯 過去環境...
https://developers.gnavi.co.jp/entry/hadoop/
ClouderaとHortonworksが合併を発表。エッジからAIまでをカバーするデータクラウドの提供へ - Publickey      2018-10-05 23:20:09  詳細
ClouderaとHortonworksが合併を発表。エッジからAIまでをカバーするデータクラウドの提供へ 統合後の新会社のCEOにはクラウデラのCEOであるTom Reilly氏が、COOにはHortonworksのCOOであるScott Davidson氏がそれぞれ就任予定。 HortonworksのCEO Rob Bearden氏は新会社の取締役に就任予定。また、HortonworksのChief Pr...
https://www.publickey1.jp/blog/18/clouderahortonworksai.html
ClouderaとHortonworksが52億ドルの合併を発表 | TechCrunch Japan      2018-10-05 00:20:10  詳細
かつて高い評価を受けたオープンソースプラットフォームであるHadoopは、長年にわたり多くの企業とベンダーのエコシステムを生み出した。そうした集団から、いくつかの大企業が生まれるだろうと信じられていたが、予想通り2014年にはHortonworksが公開を果たした。その3年後にはClouderaが続いたが、やがて市場は鈍化し...
https://jp.techcrunch.com/2018/10/04/cloudera-and-hortonworks-announce-5-2-billion-merger/
Hadoop チューニング | GMOアドパートナーズグループ TECH BLOG byGMO      2018-10-04 14:20:08  詳細
GMOアドマーケティングのT.Cです。 入社してから今までPHP, Ruby On Rails, Java, Spark, JavaScriptなどの様々な言語を使った開発に関わることでどんどん開発の幅が広くなりましたが、プロジェクトで運用しているHadoopクラスタについては関わる機会がなかったので、以前から興味を持っていたこともあって今回勉強して...
https://techblog.gmo-ap.jp/2018/10/01/hadoop-%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0/
Cloudera and Hortonworks Announce Merger to Create World's Leading Next Generation Data Platform and Deliver Industry's First Enterprise Data Cloud - Hortonworks      2018-10-04 10:20:12  詳細
Establishes a superior unified platform and clear industry standard from the Edge to AI Strategic combination accelerates market development, fuels innovation and produces substantial benefit for customers, partners and community PALO ALTO, Calif. and SANTA CLARA, Calif., October 3, 2018 — Cloude...
https://hortonworks.com/press-releases/cloudera-hortonworks-announce-merger-create-worlds-leading-next-generation-data-platform-deliver-industrys-first-enterprise-data-cloud/
Asakusa 0.10.0 - 急がば回れ、選ぶなら近道      2018-09-29 12:20:09  詳細
Asakusa 0.10.0について あけましておめでとうございます。今年もよろしくお願いします。 のっけからアレですが、これはAsakuas Advent Calendar 2017のエントリーなわけ(個人的には12/31までがクリスマスとかそんな感じの年末催事なのでそのつもり:2017/12/30に追記)(って書いてたら、年が明けたけど、個人的にはあ...
https://okachimachiorz.hatenablog.com/entry/20180105
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜      2018-09-27 00:20:09  詳細
資料は後ほど公開する予定です〜 スライドは後ほど公開。写真は撮るひつないです。 Inputとなるログデータを規模の大小に関わらず同じアプリケーションで処理する仕組み。 ログデータの規模によって変わるのはインフラ〜ミドル部分。 「大規模データをどれだけスムーズに処理できるか」にやりがい。 Googleではビックデ...
https://www.slideshare.net/kazuhiromitsuhashi5/hadoopdataflow-115897421
ビッグデータ処理データベースの全体像と使い分け
2018年version      2018-09-22 09:20:05  詳細
ビッグデータ処理データベースの全体像と使い分け
2018年version 1. (C) Recruit Technologies Co.,Ltd. All rights reserved. ビッグデータ処理データベースの全体像と使い分け 2018年version 2018/9/21 株式会社リクルートテクノロジーズ データテクノロジーラボ部 渡部徹太郎 db tech showcase Tokyo 2018 2. (C) Rec...
https://www.slideshare.net/tetsutarowatanabe/2018version-115735455
bigquery-115566274      2018-09-22 08:20:05  詳細
BigQuery を使用した分析基盤の運用を進めていく上で見えてきた課題乗り越えてきた軌跡 1. D2-4-S10 BigQuery を使用した分析基盤の運用を進めて いく上で見えてきた課題、乗り越えてきた軌跡 山田 雄 瀧井 伸一 株式会社リクルートライフスタイル ビッグデータアーキテクト 2018/09/20 2. 山田 雄(Yamada Yu) @nii...
https://www.slideshare.net/yuyamada777/bigquery-115566274
Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018      2018-09-21 12:20:08  詳細
Apache Hadoop HDFSの最新機能の紹介(2018)#dbts2018 1. Apache Hadoop HDFSの最新機能の紹介 (2018) https://www.yahoo.co.jp/ ヤフー株式会社 浅沼 孝信 2018年9月20日 2. 自己紹介 2 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止  名前 • 浅沼 孝信  業務履歴 • 2012年...
https://www.slideshare.net/techblogyahoo/apache-hadoop-hdfs2018dbts2018
Apache Impalaパフォーマンスチューニング #dbts2018      2018-09-20 06:20:05  詳細
Apache Impalaパフォーマンスチューニング #dbts2018 1. Apache Impala パフォーマンスチューニング 2. 2 © Cloudera, Inc. All rights reserved. 嶋内 翔 (しまうち しょう) テクニカルエバンジェリスト 兼シニアセールスエンジニア お客様にとって最適なデータ分析基盤の提案をする仕事をして います 主な担当業種: 金...
https://www.slideshare.net/Cloudera_jp/apache-impala-dbts2018
Apache Hadoop上でTensorFlowを動かす「TonY」 | OSDN Magazine      2018-09-17 12:20:02  詳細
米Microsoft傘下のLinkedIn開発者は9月12日、Apache Hadoop上でTensorFlowをネイティブに動かすオープンソースプロジェクト「TensorFlow on YARN(TonY)」を発表した。 TensorFlow on YARN(TonY)は、大規模なApache Hadoop実装上で分散型で機械学習を運用するためにLinkedIn社内で開発されたフレームワーク。単一ノー...
https://mag.osdn.jp/18/09/14/164500
データ民主化の負の側面 - wyukawa’s blog      2018-09-13 10:20:05  詳細
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限ら...
https://wyukawa.hatenablog.com/entry/20171001/1506825995