CentOS7 で Apache Hadoop の疑似分散モードを使ってみる - CUBE SUGAR CONTAINER      2017-11-11 21:20:14  詳細
2017 - 05 - 15 CentOS7 で Apache Hadoop の疑似分散モードを使ってみる CentOS7 Apache Hadoop Apache Hadoop はビッグデータ処理基盤を構築するための超有名なオープンソースソフトウェア。 Google の発表した論文を元にして MapReduce アルゴリズムと Hadoop Distributed File System (HD...
http://blog.amedama.jp/entry/2017/05/15/230009
認証/認可が実現する安全で高速分析可能な分析処理基盤      2017-11-07 22:20:09  詳細
認証/認可が実現する安全で高速分析可能な分析処理基盤 1. 認証/認可が実現する 安全で高速分析可能な 分析処理基盤 株式会社ドワンゴ 第二サービス開発本部 木浦 正博 2. 自己紹介 • 木浦正博, Masahiro Kiura • 株式会社ドワンゴ/第二サービス開発本部 • ソフトウェアエンジニア • 2015年01月入社 • I ❤️ • 分散システム(Hadoop/Grid computi...
https://www.slideshare.net/aircastle/ss-81691174
OSSやクラウド(AWS、GCP)を使ったビッグデータ分析、基本的な流れをつかもう - TechTargetジャパン クラウド      2017-11-06 21:20:36  詳細
関連キーワード Amazon Web Services | NoSQL | OSS | Microsoft Azure | Apache | BI(ビジネスインテリジェンス) | Hadoop | オープンソース | クラウドコンピューティング | クラウドサービス | データ | データ分析 ビッグデータ分析のデータパイプライン《クリックで拡大》 2017年10月に都内で開催されたデータ活用関連...
http://techtarget.itmedia.co.jp/tt/news/1710/31/news04.html
楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた - 科学と非科学の迷宮      2017-11-02 13:20:09  詳細
2017 - 10 - 28 楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた 楽天テクノロジーカンファレンス に登壇するという貴重な機会をいただいたので、 Apache Kudu について発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催...
http://shiumachi.hatenablog.com/entry/2017/10/28/193810
Windows上にApache Spark環境を作ってみた - Qiita      2017-10-21 20:20:06  詳細
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, Eclipseあたりが主流なようです。あとはJupyter Notebook? 合わせてビルドツールとしてsbt, mavenなどが使われたりするようです。が、素人には...
https://qiita.com/tomotagwork/items/1431f692387242f4a636
最新版Hadoopクラスタを運用して得られたもの      2017-10-02 04:20:03  詳細
最新版Hadoopクラスタを運用して得られたもの 1. 最新版Hadoopクラスタを運用して得られたも の 2017 Sep 22 CyberAgent, Inc. All Rights Reserved 2. 梅田 永介 ● 2012年6月入社 ● 技術本部 秋葉原ラボ所属 ● データ解析基盤Patriotの開発・運用 ● 量産型Hadoop/HBaseクラスタの運用 ● HBase徹底入門の執...
https://www.slideshare.net/cyberagent/hadoop-80160762
データ民主化の負の側面 - wyukawa’s blog      2017-10-01 16:20:02  詳細
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの...
http://d.hatena.ne.jp/wyukawa/20171001/1506825995
Amazon EMR で使う Hue // Speaker Deck      2017-09-21 21:20:04  詳細
Hue Meetup 2017-09-20 発表資料 https://connpass.com/event/65052/ Hadoop の 標準WebUI であるHue を Amazon EMR 上で運用する利点/欠点と、欠点を回避してより便利に使うための実例を紹介します 補足資料 ・Amazon EMR 上の WebUI群 ( Hue や Zeppelin ) をSSHトンネルなしでブラウザ表示...
https://speakerdeck.com/yaiwase/amazon-emr-deshi-u-hue
Apache Hadoop and YARN, current development status      2017-09-20 14:20:06  詳細
Apache Hadoop and YARN, current development status 1. © 2017 NTT DATA Corporation Apache Hadoop, YARNの最新動向 2017/9/7 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 db tech showcase 2017 Tokyo 2. © 2017 NTT DATA Corp...
https://www.slideshare.net/hadoopxnttdata/apache-hadoop-and-yarn-current-development-status
ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 - 科学と非科学の迷宮      2017-09-20 12:20:05  詳細
2017 - 09 - 19 ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 ドワンゴ さんの主催で Hue Meetup が開催されることになったので、いい機会だから Hue について、自分の復習がてらまとめておきます。 Hue って何? Hadoop エコシステムを操作するためのWebインタフェースです。 Hadoop エコシステムの多くは、管理Web UIは持っ...
http://shiumachi.hatenablog.com/entry/2017/09/19/124401
HDFS basics from API perspective      2017-09-18 13:20:04  詳細
HDFS basics from API perspective 1. © 2017 NTT DATA Corporation 07/09/2017 NTT DATA Masatake Iwasaki 今さら聞きにくいHDFSの基本 2. © 2017 NTT DATA Corporation 2 Apache Hadoopの分散ファイルシステムであるHDFSについて、アーキ テクチャ、ファイルシ...
https://www.slideshare.net/hadoopxnttdata/hdfs-basics-from-api-perspective
ビッグデータを支える技術 ――刻々とデータが脈打つ自動化の世界:書籍案内|技術評論社      2017-09-16 14:20:03  詳細
この本の概要 多彩な技術の集合体。 ビッグデータの今。 スマホで買い物をして,翌日には届けてもらえる。 たとえば,このような身近な場面でも,背後では決済/在庫管理/配送をはじめとした複数のシステムが連携して動いています。 コンピュータの性能向上に伴い,機械学習をはじめとした,データを活かすシステム開発への期待は高まる一方です。 今後,システム規模の大小を超えて「データ処理そのものをシステムの一部と...
http://gihyo.jp/book/2017/978-4-7741-9225-3
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017      2017-09-13 01:20:02  詳細
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 1. 1© Cloudera, Inc. All rights reserved. Apache Kuduは何がそんなに 「速い」DBなのか? Takahiko Sato - Sales Engineer at Cloudera Sep 5, 2017 2. 2© Cloudera, Inc. All rights r...
http://www.slideshare.net/Cloudera_jp/apache-kududb-dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017      2017-09-12 21:20:02  詳細
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017 1. 1© Cloudera, Inc. All rights reserved. Apache Kuduは何がそんなに 「速い」DBなのか? Takahiko Sato - Sales Engineer at Cloudera Sep 5, 2017 2. 2© Cloudera, Inc. All rights r...
https://www.slideshare.net/Cloudera_jp/apache-kududb-dbts2017
Yahoo!の異常検知フレームワーク"EGADS" | takuti.me      2017-09-12 06:20:02  詳細
Yahoo!がOSSとして開発している異常検知フレームワーク " EGADS " ( E xtensible G eneric A nomaly D etection S ystem) について書いた次の論文を読んだ: Generic and Scalable Framework for Automated Time-series Anomaly Detection (KDD 2015) リアルタ...
https://takuti.me/note/yahoo-egads/
Python から Hadoop Streaming を使ってみる - CUBE SUGAR CONTAINER      2017-09-08 09:20:04  詳細
2017 - 05 - 20 Python から Hadoop Streaming を使ってみる Python Apache Hadoop CentOS7 Linux 今回は、任意のプログラミング言語から Apache Hadoop を使うことのできる Hadoop Streaming という機能を使ってみる。 通常、Hadoop を使って MapReduce のジョブを直接扱うときは Java ...
http://csc.hatenablog.jp/entry/2017/05/20/121839
Data Platform Conference Tokyo 2017      2017-09-07 10:20:04  詳細
データ駆動型ビジネス・サービスの本格的な実現に向けて、国内外の最新動向及び最新ソリューションを共有する、「Data Platform Conference Tokyo 2017」10月10日開催。クラウドの利用が当たり前になり、様々なモノがIoTによりインターネットと繋がり、企業は膨大なデータを収集しはじめ、AI(人工知能)によりビッグデータの分析が可能になってきた今、データを活用したビジネスが急...
http://dataplatform.jp/
Hadoop を新たに学んでいくには | GMOインターネット 次世代システム研究室      2017-08-28 02:20:04  詳細
こんにちは。次世代システム研究室で Hadoop 周辺をよく触っている T.O. です。 Hadoop 周辺をよく触っているので、最近 Hadoop 周辺を触ってきて得た話などを書いていきます。 今回は今までとは趣向を変えて、「 Hadoop を新たに学んでいくには」ということについて考えていきたいと思います。 というのも私の場合、業務にて「今まで Hadoop を使っていなかった組織に Hado...
http://recruit.gmo.jp/engineer/jisedai/blog/how-to-learn-hadoop/
DMM.comのビッグデータ基盤を支える技術 // Speaker Deck      2017-08-26 12:20:03  詳細
TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用...
https://speakerdeck.com/dmmlabo/dmm-dot-comfalsebitugudetaji-pan-wozhi-eruji-shu