Asakusa 0.10.0 - 急がば回れ、選ぶなら近道      2018-01-08 15:20:14  詳細
Asakusa 0.10.0について あけましておめでとうございます。今年もよろしくお願いします。 のっけからアレですが、これはAsakuas Advent Calendar 2017のエントリーなわけ(個人的には12/31までがクリスマスとかそんな感じの年末催事なのでそのつもり:2017/12/30に追記)(って書いてたら、年が明けたけど、個人的にはあと3ヶ月は2017年の感じなので:2018/...
http://d.hatena.ne.jp/okachimachiorz/20180105
Hadoopベースの分散データベース「Apache HBase 1.4」リリース | OSDN Magazine      2018-01-04 18:20:28  詳細
HadoopのHDFSを使った分散データベース「Apache HBase」プロジェクトは12月19日、最新安定版「Apache HBase 1.4」を公開した。 Apache HBaseはGoogleの「BigTable」コンセプトを基にした分散型ノンリレーショナルデータベース。Javaで実装されており、Hadoopの分散ファイルシステムHDFSをベースとすることから「Hadoopデータベース」と...
https://mag.osdn.jp/17/12/22/180000
Hadoop, Sparkその他分散処理フレームワークの2018年を占う:新春特別企画|gihyo.jp … 技術評論社      2018-01-04 18:20:27  詳細
あけましておめでとうございます。 例年, Apache HadoopやApache Sparkを中心に並列分散処理ミドルウェアの動向や展望についてご紹介しています。 今年は NTTデータに所属する 岩崎正剛 (Hadoopコミッタ)⁠ , 猿田浩輔 (Sparkコミッタ)⁠ , 鯵坂明 (Hadoopコミッタ/PMC) の3名でディスカッションした内容を元にお伝えします。 Hadoop 3. 0リ...
http://gihyo.jp/dev/column/newyear/2018/hadoop-spark
HDFSの現状と今後 (その1) - Qiita      2017-12-24 23:20:22  詳細
まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Ro...
https://qiita.com/ajis_ka/items/d132c040f98836f2f3de
「Apache Hadoop 3.0」リリース、Java 8が必須に | OSDN Magazine      2017-12-16 00:20:17  詳細
非営利団体のApache Software Foundation(ASF)は12月14日、分散処理フレームワーク「Apache Hadoop 3.0.0」を公開した。本バージョンではJava 7のサポートがなくなり、Java 8の利用が必須となっている。 Hadoop 3.0.0は2013年に正式版が公開された2系に続くメジャーリリースとなる。効率、拡張性、信頼性の強化にフォーカスして開発しており...
https://mag.osdn.jp/17/12/15/163000
Apache Hadoop 3.0.0 リリース | Tech Blog      2017-12-15 14:20:18  詳細
本日 Apache Hadoop v3.0.0 が GA になりました! https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ハイライトは下記の通り(上記サイトから抜粋して翻訳)本日 Apache Hadoop v3.0.0 が GA になりました! https://blogs.a...
http://linux.wwing.net/WordPress/?p=3264
The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability : The Apache Software Foundation Blog      2017-12-15 07:20:18  詳細
The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability Ubiquitous Open Source enterprise framework maintains decade-long leading role in $100B annual Big Data market Fore...
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26
Architecting a Next Generation Data Platform – Strata Singapore 2017      2017-12-06 14:20:25  詳細
Architecting a Next Generation Data Platform – Strata Singapore 2017 1. Hadoop Application Architectures: Architecting a Next Generation Data Platform Strata Data Conference, Singapore 2017 Ted Malask...
https://www.slideshare.net/jseidman/architecting-a-next-generation-data-platform-strata-singapore-2017
Distributed computing (Apache Hadoop, Spark, Kafka, ...) Advent Calendar 2017 - Qiita      2017-11-26 23:20:16  詳細
大規模データの分散処理を実現するミドルウェアに関する技術情報ならなんでもどうぞ 例 Apache Hadoop Apache Spark Apache Kafka Apache Hive Apache HBase Apache Impala Apache Tez Apache Drill Apache Flink Apache Storm Apache Software Foundationのプロ...
https://qiita.com/advent-calendar/2017/distributed-computing
CentOS7 で Apache Hadoop の疑似分散モードを使ってみる - CUBE SUGAR CONTAINER      2017-11-11 21:20:14  詳細
2017 - 05 - 15 CentOS7 で Apache Hadoop の疑似分散モードを使ってみる CentOS7 Apache Hadoop Apache Hadoop はビッグデータ処理基盤を構築するための超有名なオープンソースソフトウェア。 Google の発表した論文を元にして MapReduce アルゴリズムと Hadoop Distributed File System (HD...
http://blog.amedama.jp/entry/2017/05/15/230009
認証/認可が実現する安全で高速分析可能な分析処理基盤      2017-11-07 22:20:09  詳細
認証/認可が実現する安全で高速分析可能な分析処理基盤 1. 認証/認可が実現する 安全で高速分析可能な 分析処理基盤 株式会社ドワンゴ 第二サービス開発本部 木浦 正博 2. 自己紹介 • 木浦正博, Masahiro Kiura • 株式会社ドワンゴ/第二サービス開発本部 • ソフトウェアエンジニア • 2015年01月入社 • I ❤️ • 分散システム(Hadoop/Grid computi...
https://www.slideshare.net/aircastle/ss-81691174
OSSやクラウド(AWS、GCP)を使ったビッグデータ分析、基本的な流れをつかもう - TechTargetジャパン クラウド      2017-11-06 21:20:36  詳細
関連キーワード Amazon Web Services | NoSQL | OSS | Microsoft Azure | Apache | BI(ビジネスインテリジェンス) | Hadoop | オープンソース | クラウドコンピューティング | クラウドサービス | データ | データ分析 ビッグデータ分析のデータパイプライン《クリックで拡大》 2017年10月に都内で開催されたデータ活用関連...
http://techtarget.itmedia.co.jp/tt/news/1710/31/news04.html
楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた - 科学と非科学の迷宮      2017-11-02 13:20:09  詳細
2017 - 10 - 28 楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた 楽天テクノロジーカンファレンス に登壇するという貴重な機会をいただいたので、 Apache Kudu について発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催...
http://shiumachi.hatenablog.com/entry/2017/10/28/193810
Windows上にApache Spark環境を作ってみた - Qiita      2017-10-21 20:20:06  詳細
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, Eclipseあたりが主流なようです。あとはJupyter Notebook? 合わせてビルドツールとしてsbt, mavenなどが使われたりするようです。が、素人には...
https://qiita.com/tomotagwork/items/1431f692387242f4a636
最新版Hadoopクラスタを運用して得られたもの      2017-10-02 04:20:03  詳細
最新版Hadoopクラスタを運用して得られたもの 1. 最新版Hadoopクラスタを運用して得られたも の 2017 Sep 22 CyberAgent, Inc. All Rights Reserved 2. 梅田 永介 ● 2012年6月入社 ● 技術本部 秋葉原ラボ所属 ● データ解析基盤Patriotの開発・運用 ● 量産型Hadoop/HBaseクラスタの運用 ● HBase徹底入門の執...
https://www.slideshare.net/cyberagent/hadoop-80160762
データ民主化の負の側面 - wyukawa’s blog      2017-10-01 16:20:02  詳細
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの...
http://d.hatena.ne.jp/wyukawa/20171001/1506825995
Amazon EMR で使う Hue // Speaker Deck      2017-09-21 21:20:04  詳細
Hue Meetup 2017-09-20 発表資料 https://connpass.com/event/65052/ Hadoop の 標準WebUI であるHue を Amazon EMR 上で運用する利点/欠点と、欠点を回避してより便利に使うための実例を紹介します 補足資料 ・Amazon EMR 上の WebUI群 ( Hue や Zeppelin ) をSSHトンネルなしでブラウザ表示...
https://speakerdeck.com/yaiwase/amazon-emr-deshi-u-hue
Apache Hadoop and YARN, current development status      2017-09-20 14:20:06  詳細
Apache Hadoop and YARN, current development status 1. © 2017 NTT DATA Corporation Apache Hadoop, YARNの最新動向 2017/9/7 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 db tech showcase 2017 Tokyo 2. © 2017 NTT DATA Corp...
https://www.slideshare.net/hadoopxnttdata/apache-hadoop-and-yarn-current-development-status
ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 - 科学と非科学の迷宮      2017-09-20 12:20:05  詳細
2017 - 09 - 19 ブラウザ上で簡単にビッグデータを扱えるOSS: Hue についての簡単な紹介 ドワンゴ さんの主催で Hue Meetup が開催されることになったので、いい機会だから Hue について、自分の復習がてらまとめておきます。 Hue って何? Hadoop エコシステムを操作するためのWebインタフェースです。 Hadoop エコシステムの多くは、管理Web UIは持っ...
http://shiumachi.hatenablog.com/entry/2017/09/19/124401