Apache Hadoop and YARN, current development status      2017-09-20 14:20:06  詳細
Apache Hadoop and YARN, current development status 1. © 2017 NTT DATA Corporation Apache Hadoop, YARNの最新動向 2017/9/7 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 db tech showcase 2017 Tokyo 2. © 2017 NTT DATA Corp...
https://www.slideshare.net/hadoopxnttdata/apache-hadoop-and-yarn-current-development-status
ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 - 科学と非科学の迷宮      2017-09-20 12:20:05  詳細
2017 - 09 - 19 ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 ドワンゴ さんの主催で Hue Meetup が開催されることになったので、いい機会だから Hue について、自分の復習がてらまとめておきます。 Hue って何? Hadoop エコシステムを操作するためのWebインタフェースです。 Hadoop エコシステムの多くは、管理Web UIは持っ...
http://shiumachi.hatenablog.com/entry/2017/09/19/124401
HDFS basics from API perspective      2017-09-18 13:20:04  詳細
HDFS basics from API perspective 1. © 2017 NTT DATA Corporation 07/09/2017 NTT DATA Masatake Iwasaki 今さら聞きにくいHDFSの基本 2. © 2017 NTT DATA Corporation 2 Apache Hadoopの分散ファイルシステムであるHDFSについて、アーキ テクチャ、ファイルシ...
https://www.slideshare.net/hadoopxnttdata/hdfs-basics-from-api-perspective
ビッグデータを支える技術 ――刻々とデータが脈打つ自動化の世界:書籍案内|技術評論社      2017-09-16 14:20:03  詳細
この本の概要 多彩な技術の集合体。 ビッグデータの今。 スマホで買い物をして,翌日には届けてもらえる。 たとえば,このような身近な場面でも,背後では決済/在庫管理/配送をはじめとした複数のシステムが連携して動いています。 コンピュータの性能向上に伴い,機械学習をはじめとした,データを活かすシステム開発への期待は高まる一方です。 今後,システム規模の大小を超えて「データ処理そのものをシステムの一部と...
http://gihyo.jp/book/2017/978-4-7741-9225-3
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017      2017-09-13 01:20:02  詳細
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 1. 1© Cloudera, Inc. All rights reserved. Apache Kuduは何がそんなに 「速い」DBなのか? Takahiko Sato - Sales Engineer at Cloudera Sep 5, 2017 2. 2© Cloudera, Inc. All rights r...
http://www.slideshare.net/Cloudera_jp/apache-kududb-dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017      2017-09-12 21:20:02  詳細
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 1. 1© Cloudera, Inc. All rights reserved. Apache Kuduは何がそんなに 「速い」DBなのか? Takahiko Sato - Sales Engineer at Cloudera Sep 5, 2017 2. 2© Cloudera, Inc. All rights r...
https://www.slideshare.net/Cloudera_jp/apache-kududb-dbts2017
Yahoo!の異常検知フレームワーク"EGADS" | takuti.me      2017-09-12 06:20:02  詳細
Yahoo!がOSSとして開発している異常検知フレームワーク " EGADS " ( E xtensible G eneric A nomaly D etection S ystem) について書いた次の論文を読んだ: Generic and Scalable Framework for Automated Time-series Anomaly Detection (KDD 2015) リアルタ...
https://takuti.me/note/yahoo-egads/
Python から Hadoop Streaming を使ってみる - CUBE SUGAR CONTAINER      2017-09-08 09:20:04  詳細
2017 - 05 - 20 Python から Hadoop Streaming を使ってみる Python Apache Hadoop CentOS7 Linux 今回は、任意のプログラミング言語から Apache Hadoop を使うことのできる Hadoop Streaming という機能を使ってみる。 通常、Hadoop を使って MapReduce のジョブを直接扱うときは Java ...
http://csc.hatenablog.jp/entry/2017/05/20/121839
Data Platform Conference Tokyo 2017      2017-09-07 10:20:04  詳細
データ駆動型ビジネス・サービスの本格的な実現に向けて、国内外の最新動向及び最新ソリューションを共有する、「Data Platform Conference Tokyo 2017」10月10日開催。クラウドの利用が当たり前になり、様々なモノがIoTによりインターネットと繋がり、企業は膨大なデータを収集しはじめ、AI(人工知能)によりビッグデータの分析が可能になってきた今、データを活用したビジネスが急...
http://dataplatform.jp/
Hadoop を新たに学んでいくには | GMOインターネット 次世代システム研究室      2017-08-28 02:20:04  詳細
こんにちは。次世代システム研究室で Hadoop 周辺をよく触っている T.O. です。 Hadoop 周辺をよく触っているので、最近 Hadoop 周辺を触ってきて得た話などを書いていきます。 今回は今までとは趣向を変えて、「 Hadoop を新たに学んでいくには」ということについて考えていきたいと思います。 というのも私の場合、業務にて「今まで Hadoop を使っていなかった組織に Hado...
http://recruit.gmo.jp/engineer/jisedai/blog/how-to-learn-hadoop/
DMM.comのビッグデータ基盤を支える技術 // Speaker Deck      2017-08-26 12:20:03  詳細
TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用...
https://speakerdeck.com/dmmlabo/dmm-dot-comfalsebitugudetaji-pan-wozhi-eruji-shu
Hue meetup - connpass      2017-08-22 11:20:03  詳細
このイベントについて HadoopのWebUIであるHueのMeetupです。 Hueの機能紹介や事例の紹介をメインに、各社の講演者が発表します。 「これからHueを導入したいがどういう機能があるのかわからない」「Hueを使っているがよりうまく利用できる情報がほしい」といった方に有用なMeetupになりますと幸いです。 発表内容・タイムスケジュール 発表内容(敬称略) Hue 4.0登場!(Clo...
https://connpass.com/event/65052/
Introducing S3Guard: S3 Consistency for Apache Hadoop – Cloudera Engineering Blog      2017-08-21 15:20:05  詳細
Best practices, how-tos, use cases, and internals from Cloudera Engineering and the community Synopsis This article introduces a new Apache Hadoop feature called S3Guard. S3Guard addresses one of the ...
http://blog.cloudera.com/blog/2017/08/introducing-s3guard-s3-consistency-for-apache-hadoop/
Hadoopの概念と基本的知識      2017-08-20 18:20:03  詳細
Hadoopの概念と基本的知識 1. Hadoopの 概念&基本的知識 2015/1/6 DMM.comラボ勉強会資料 2. 今回の勉強会の目標 1.Hadoopがどんなものかなんとなく理解する 2.Hadoopシステムをどう作れば良いか学ぶ 3.Hadoopとどう付き合うか考える 全部で60ページあるので、飛ばし気味でいきます。 3. わかりやすいHadoop 4. +パンチ HADOO Pun...
https://www.slideshare.net/sasakipochi/hadoop-43231811
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~      2017-08-14 16:20:10  詳細
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~ 1. © 2017 NTT DATA Corporation SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~ 2017/7/28 株式会社NTTデータ 鯵坂 明 #devsumi A-1 2. © 2017 NTT DATA Corporation 2 鯵坂 明 (Akira...
https://www.slideshare.net/hadoopxnttdata/relation-between-sier-and-open-source-community
Cybozu Meetup #6 大規模サービスを支える名脇役たち - connpass      2017-07-27 14:20:12  詳細
Cybozu Meetup #6 開催します! サイボウズの Meetup イベント第6回を開催します! サイボウズは「チームワークあふれる社会を創る」を企業理念として掲げ、グループウェアや kintone などのクラウドサービスを開発・運用しています。 そんなサイボウズが、現場で働くエンジニア同士がカジュアルに情報交換できる交流イベントを開催します。サイボウズで使われている技術、製品、文化など毎...
https://cybozu.connpass.com/event/61329/
Apache Zeppelinと Sparkでデータの集計と可視化をお手軽に実現する | OSS on Azure 技術ブログ      2017-07-22 15:20:08  詳細
Home 技術ブログ Apache Zeppelinと Sparkでデータの集計と可視化をお手軽に実現する Apache Zeppelinと Sparkでデータの集計と可視化をお手軽に実現する 2016-12-02 editor 技術ブログ 0 はじめに サイオステクノロジー技術部の森田です。 Webベースの分析向けノートブックとして, Apache Zeppelin を紹介します。 お手元に仮想...
http://azure.sios.jp/archives/visualizing-data-with-apache-zeppelin
スケールするメッセージングシステムを構築せよ ―チャットワークとNTTデータが挑んだKafkaベースの"土管"づくり:レポート|gihyo.jp … 技術評論社      2017-07-11 17:20:07  詳細
クラウドコンピューティングが普及し, 多くの企業が日常的に膨大で多様なデータを扱うようになるにともない, ITの世界では"スケール"という言葉がごく一般的に使われるようになりました。ニーズに応じて利用するコンピューティングリソースを柔軟に増減し, 処理を分散してシステム全体の稼働力を上げる"スケール"というしくみは, いまや"あって当然"の概念となり, 加えてここ数年はスケールにおいてもよりリアル...
http://gihyo.jp/news/report/2017/07/1101
Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない - ブログなんだよもん      2017-07-11 12:20:07  詳細
2017 - 07 - 11 Hadoop の時代は終わってないけど、使いどころは限定されてきたかもしれない 読み物 分散 id:shiumachi さんが書かれてる下記の記事がとても良かったです。 shiumachi.hatenablog.com 私自身もSparkを触る前は「 Hadoop == MapReduce 」と思ってましたが、どちらかというとYARNや HDFS が Hadoop フ...
http://koduki.hatenablog.com/entry/2017/07/11/083107
Hadoop Query Performance Smackdown      2017-07-10 23:20:08  詳細
Map reduce would have had turned in a faster performance number if it has failed all the tests For the non columar formats Gzip wins the compression Non columnar formats snappy is the winner Total Cac...
https://www.slideshare.net/Hadoop_Summit/hadoop-query-performance-smackdown