Hiveを導入・高速化したい時に最低限必要な知識 - Qiita      2018-04-10 18:21:02  詳細
お疲れ様です。ビッグデータという言葉が流行りだしてから幾星霜、皆さんの中でもそろそろ社内にビッグデータ処理基盤を作りたいという方がいるのではないでしょうか? というわけでSQL on Hadoopでよく知られるHiveを使う上で最低限必要だなと思う知識をまとめてみました。 PrestoやAWS Athena、Amazon Redshift Spectrumを使う場合でも裏側にはHiveのテーブルが...
https://qiita.com/yskazuma/items/db543d45d32013cfcbb9
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮      2018-03-15 15:20:24  詳細
Hadoop の時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、 Hadoop とその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜ Hadoop の時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私は Hadoop を中心としたデータ基盤を取り扱...
https://shiumachi.hatenablog.com/entry/2017/07/10/080827
楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた - 科学と非科学の迷宮      2018-03-15 15:20:09  詳細
2017 - 10 - 28 楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた 楽天テクノロジーカンファレンス に登壇するという貴重な機会をいただいたので、 Apache Kudu について発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催...
https://shiumachi.hatenablog.com/entry/2017/10/28/193810
「Apache BookKeeper 4.6」リリース | OSDN Magazine      2018-02-26 14:20:24  詳細
Apache BookKeeperプロジェクトは12月26日、高性能・低遅延を特徴とする分散型ストレージシステム「Apache BookKeeper 4.6」のリリースを発表した。 Apache BookKeeperは拡張性のあるストレージサービス。Apache Hadoopが持つフォルトトーラレント、低遅延などの特徴を備え、リアルタイムワークロード向けに最適化されている。レッジャー(ログエントリ...
https://mag.osdn.jp/17/12/27/170000
ETLは過去のものか - Apache Kafkaがデータ処理の未来なのか?      2018-02-25 21:20:19  詳細
いいね | 作者 Daniel Bryant Daniel Bryant フォローする 452 人のフォロワー , 翻訳者 h_yoshida h_yoshida フォローする 1 人のフォロワー 投稿日 2018年2月22日. 推定読書時間: 8 分 | 共有 |  後で読む マイリーディングリスト 原文(投稿日:2018/01/29)へのリンク QCon San Francisco 2016で...
https://www.infoq.com/jp/articles/batch-etl-streams-kafka
FPGAによる大規模データ処理の高速化      2018-02-24 17:20:26  詳細
FPGAによる大規模データ処理の高速化 1. © Hitachi, Ltd. 2018. All rights reserved. 株式会社 日立製作所 研究開発グループ デジタルテクノロジーイノベーションセンタ 藤本 和久 2018/2/17 FPGAによる大規模データ処理の高速化 2. © Hitachi, Ltd. 2018. All rights reserved. 本日の内容 1. ⼤規...
https://www.slideshare.net/kazunori279/fpga-88683340
Asakusa 0.10.0 - 急がば回れ、選ぶなら近道      2018-01-08 15:20:14  詳細
Asakusa 0.10.0について あけましておめでとうございます。今年もよろしくお願いします。 のっけからアレですが、これはAsakuas Advent Calendar 2017のエントリーなわけ(個人的には12/31までがクリスマスとかそんな感じの年末催事なのでそのつもり:2017/12/30に追記)(って書いてたら、年が明けたけど、個人的にはあと3ヶ月は2017年の感じなので:2018/...
http://d.hatena.ne.jp/okachimachiorz/20180105
Hadoopベースの分散データベース「Apache HBase 1.4」リリース | OSDN Magazine      2018-01-04 18:20:28  詳細
HadoopのHDFSを使った分散データベース「Apache HBase」プロジェクトは12月19日、最新安定版「Apache HBase 1.4」を公開した。 Apache HBaseはGoogleの「BigTable」コンセプトを基にした分散型ノンリレーショナルデータベース。Javaで実装されており、Hadoopの分散ファイルシステムHDFSをベースとすることから「Hadoopデータベース」と...
https://mag.osdn.jp/17/12/22/180000
Hadoop, Sparkその他分散処理フレームワークの2018年を占う:新春特別企画|gihyo.jp … 技術評論社      2018-01-04 18:20:27  詳細
あけましておめでとうございます。 例年, Apache HadoopやApache Sparkを中心に並列分散処理ミドルウェアの動向や展望についてご紹介しています。 今年は NTTデータに所属する 岩崎正剛 (Hadoopコミッタ)⁠ , 猿田浩輔 (Sparkコミッタ)⁠ , 鯵坂明 (Hadoopコミッタ/PMC) の3名でディスカッションした内容を元にお伝えします。 Hadoop 3. 0リ...
http://gihyo.jp/dev/column/newyear/2018/hadoop-spark
HDFSの現状と今後 (その1) - Qiita      2017-12-24 23:20:22  詳細
まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Ro...
https://qiita.com/ajis_ka/items/d132c040f98836f2f3de
「Apache Hadoop 3.0」リリース、Java 8が必須に | OSDN Magazine      2017-12-16 00:20:17  詳細
非営利団体のApache Software Foundation(ASF)は12月14日、分散処理フレームワーク「Apache Hadoop 3.0.0」を公開した。本バージョンではJava 7のサポートがなくなり、Java 8の利用が必須となっている。 Hadoop 3.0.0は2013年に正式版が公開された2系に続くメジャーリリースとなる。効率、拡張性、信頼性の強化にフォーカスして開発しており...
https://mag.osdn.jp/17/12/15/163000
Apache Hadoop 3.0.0 リリース | Tech Blog      2017-12-15 14:20:18  詳細
本日 Apache Hadoop v3.0.0 が GA になりました! https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ハイライトは下記の通り(上記サイトから抜粋して翻訳)本日 Apache Hadoop v3.0.0 が GA になりました! https://blogs.a...
http://linux.wwing.net/WordPress/?p=3264
The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability : The Apache Software Foundation Blog      2017-12-15 07:20:18  詳細
The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability Ubiquitous Open Source enterprise framework maintains decade-long leading role in $100B annual Big Data market Fore...
https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26
Architecting a Next Generation Data Platform – Strata Singapore 2017      2017-12-06 14:20:25  詳細
Architecting a Next Generation Data Platform – Strata Singapore 2017 1. Hadoop Application Architectures: Architecting a Next Generation Data Platform Strata Data Conference, Singapore 2017 Ted Malask...
https://www.slideshare.net/jseidman/architecting-a-next-generation-data-platform-strata-singapore-2017
Distributed computing (Apache Hadoop, Spark, Kafka, ...) Advent Calendar 2017 - Qiita      2017-11-26 23:20:16  詳細
大規模データの分散処理を実現するミドルウェアに関する技術情報ならなんでもどうぞ 例 Apache Hadoop Apache Spark Apache Kafka Apache Hive Apache HBase Apache Impala Apache Tez Apache Drill Apache Flink Apache Storm Apache Software Foundationのプロ...
https://qiita.com/advent-calendar/2017/distributed-computing
CentOS7 で Apache Hadoop の疑似分散モードを使ってみる - CUBE SUGAR CONTAINER      2017-11-11 21:20:14  詳細
2017 - 05 - 15 CentOS7 で Apache Hadoop の疑似分散モードを使ってみる CentOS7 Apache Hadoop Apache Hadoop はビッグデータ処理基盤を構築するための超有名なオープンソースソフトウェア。 Google の発表した論文を元にして MapReduce アルゴリズムと Hadoop Distributed File System (HD...
http://blog.amedama.jp/entry/2017/05/15/230009
認証/認可が実現する安全で高速分析可能な分析処理基盤      2017-11-07 22:20:09  詳細
認証/認可が実現する安全で高速分析可能な分析処理基盤 1. 認証/認可が実現する 安全で高速分析可能な 分析処理基盤 株式会社ドワンゴ 第二サービス開発本部 木浦 正博 2. 自己紹介 • 木浦正博, Masahiro Kiura • 株式会社ドワンゴ/第二サービス開発本部 • ソフトウェアエンジニア • 2015年01月入社 • I ❤️ • 分散システム(Hadoop/Grid computi...
https://www.slideshare.net/aircastle/ss-81691174
OSSやクラウド(AWS、GCP)を使ったビッグデータ分析、基本的な流れをつかもう - TechTargetジャパン クラウド      2017-11-06 21:20:36  詳細
関連キーワード Amazon Web Services | NoSQL | OSS | Microsoft Azure | Apache | BI(ビジネスインテリジェンス) | Hadoop | オープンソース | クラウドコンピューティング | クラウドサービス | データ | データ分析 ビッグデータ分析のデータパイプライン《クリックで拡大》 2017年10月に都内で開催されたデータ活用関連...
http://techtarget.itmedia.co.jp/tt/news/1710/31/news04.html
楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた - 科学と非科学の迷宮      2017-11-02 13:20:09  詳細
2017 - 10 - 28 楽天テクノロジーカンファレンス2017でApache Kuduについて発表してきた 楽天テクノロジーカンファレンス に登壇するという貴重な機会をいただいたので、 Apache Kudu について発表してきました。 Apache Kudu - Updatable Analytical Storage #rakutentech from Cloudera Japan 主催...
http://shiumachi.hatenablog.com/entry/2017/10/28/193810
Windows上にApache Spark環境を作ってみた - Qiita      2017-10-21 20:20:06  詳細
はじめに Apache Spark勉強用に、Windows上にSpark環境作ってアプリケーション(とりあえずScala)を作成/コンパイル/実行する、という所までやってみます。 色々眺めていると開発環境としてはIntelliJ, Eclipseあたりが主流なようです。あとはJupyter Notebook? 合わせてビルドツールとしてsbt, mavenなどが使われたりするようです。が、素人には...
https://qiita.com/tomotagwork/items/1431f692387242f4a636