HPE、MapRの資産買収--AIやML、アナリティクスのポートフォリオ拡充へ - ZDNet Japan      2019-08-19 13:20:18  詳細
Hewlett Packard Enterprise(HPE)は、MapRの資産を買収したと発表した。同社の技術、知的財産、アナリティクスや人工知能(AI)、機械学習(ML)用ツールなどが含まれる。 HPEは、MapRが現在展開しているサービスや進行中の刷新を支援すると発表した。また、MapRのパートナーエコシステムも引き続き支援するという。 ...
https://japan.zdnet.com/article/35140928/
MapRのビジネス資産をHPEが買収すると発表。企業としてのMapRは終了か - Publickey      2019-08-10 00:20:23  詳細
Hewlett Packerd Enterprise(HPE)は、主要なHadoopディストリビューションベンダの1つであったMapR Technologiesの持つ技術や知財などのビジネス資産を買収すると発表しました(HPEの発表、MapRの発表)。 MapR is now part of @HPE! Exciting things ahead! Find out more in this new blog post: "HPE Welcomes MapR...
https://www.publickey1.jp/blog/19/maprhpemapr.html
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japa…      2019-08-09 16:20:25  詳細
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019) 1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Noritaka Sekiyama Senior Cloud Support Engineer, Amazon Web Services Japan 2019.03.14 Hadoop/Spark で Amazon S3 を徹底的に使いこな...
https://www.slideshare.net/ssuserca76a5/hcj2019-hadoop-sparks3
新しいグラフ処理ライブラリ「Spark Graph」とは何か? Apach Spark 2.4 & 3.0の新機能を解説 Part2 - ログミーTech      2019-07-11 23:20:19  詳細
新しいグラフ処理ライブラリ「Spark Graph」とは何か? Apach Spark 2.4 & 3.0の新機能を解説 Part2 Spark 2.4 & 3.0 - What's next? - #2/2 2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリング...
https://logmi.jp/tech/articles/321516
OpenCensus/OpenTelemetry meetup vol.2 - Daisuke Kobayashi - Medium      2019-07-01 15:20:15  詳細
これは元々Googleが主導していたOpenCensusに関するミートアップとして始まったのですが、第一回開催前にOpenTracingプロジェクトとのマージが発表されたため、現在ではOpenCensusとOpenTracing、そしてマージ後のプロジェクト名であるOpenTelemetryに関するミートアップとなっています。プロジェクトの進捗については@k...
https://medium.com/@d1ce/opencensus-opentelemetry-meetup-jp-2-d5e7daf0dc84
Partition Management in Hadoop - Cloudera Engineering Blog      2019-06-10 00:20:12  詳細
Guest blog post written by Adir Mashiach In this post I’ll talk about the problem of Hive tables with a lot of small partitions and files and describe my solution in details. A little background In my organization,  we keep a lot of our data in HDFS. Most of it is the raw data but a significant a...
https://blog.cloudera.com/blog/2019/05/partition-management-in-hadoop/
DBEvents: A Standardized Framework for Efficiently Ingesting Data into Uber's Apache Hadoop Data Lake | Uber Engineering Blog      2019-05-26 21:20:09  詳細
Keeping the Uber platform reliable and real-time across our global markets is a 24/7 business. People may be going to sleep in San Francisco, but in Paris they’re getting ready for work, requesting rides from Uber driver-partners. At that same … The post DBEvents: A Standardized Framework for Eff...
https://eng.uber.com/dbevents-ingestion-framework/
Java11へのマイグレーションガイド ~Apache Hadoopの事例~      2019-05-22 10:20:11  詳細
2. 多数のlibraryが相互依存している状態なので、バージョンのデッドロックみたいなことがよく起こる。Hadoopを利用している、言い換えると、Hadoopに依存しているライブラリは世の中に多数あるが、それらのライブラリの開発者も、このjar hellと呼ばれる状況に困っています。 3. Hadoopはmulti packageのプロダクトなの...
https://www.slideshare.net/techblogyahoo/java11-apache-hadoop-146834504
Introducing LINE Games analytics environment - LINE ENGINEERING      2019-05-14 12:20:10  詳細
Myunghoon Yi | 2019.05.13 I am responsible for collecting, processing and storing data at GROWTHY Platform Team. Big data and data analysis have long been popular key words in the IT world. Nowadays, they are no longer a choice but a necessity. Everyone is piling up and digging up data to find a ...
https://engineering.linecorp.com/en/blog/line-game-data-analysis/
Hadoopのドキュメントを読む - Qiita      2019-04-30 18:20:15  詳細
要約 コミュニティ版 Hadoopのドキュメントを読むためのノウハウを紹介する なぜコミュニティか? 本家で起こるバグは、別のDistributionでも(大抵は)起こる。だから本家もウォッチしておきたい (些細な)例: ドキュメントのトップページにある謎のタイポ "Äôs" 本家のサイト: http://hadoop.apache.org/docs/r2.2.0/ CDH5...
https://qiita.com/ajis_ka_old/items/4d0373c68c2906c2bf3a
分散型データストアApache Kuduの特徴とユースケース | Think IT(シンクイット)      2019-04-24 19:20:15  詳細
はじめに ネットワークに接続されたデバイスの普及により、さまざまな機器が大量のデータを生成するIoT(Internet of Things)が進展しています。また、AI・機械学習技術の発展により、この大量のデータを活用したデータ分析が注目を集めています。 このような背景から、情報システムが収集・蓄積すべきデータ量は急激に...
https://thinkit.co.jp/article/15893
Hadoop / Spark Conference Japan 2019(3月14日、東京)講演・LTのプログラムと申込み受付 | 日本Hadoopユーザー会      2019-04-20 00:20:12  詳細
日本Hadoopユーザー会主催イベント『Hadoop / Spark Conference Japan 2019 』 を3月14日に東京・品川区内で開催します。 本日2月21日より、申込み受付を開始いたしました。参加費は無料です。 イベント申込みWebサイト: https://hcj2019.eventbrite.com/ 今回は、Apache Hadoopの主要開発者であるArpit Agarwal氏(Clou...
http://hadoop.apache.jp/hcj2019-program/
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / S…      2019-03-22 20:20:22  詳細
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019 1. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 2019年03月14日 井島 洸二 / ヤフー株式会社 Hadoop / Spark Conference Japan 2...
https://www.slideshare.net/techblogyahoo/hadoop-spark-conference-japan-2019-yosegi-135810726
hscj2019_ishizaki_public      2019-03-22 20:20:20  詳細
hscj2019_ishizaki_public 1. 石崎 一明 日本アイ・ビー・エム(株)東京基礎研究所 @kiszk DataFrameとDatasetの内部をのぞいてみる 1 2. About Me – Kazuaki Ishizaki ▪ IBM Research – Tokyoで研究員をしています https://ibm.biz/ishizaki – コンパイラ最適化、言語処理系実装、並列処理、が専門 ▪ 1996年より、IBM ...
https://www.slideshare.net/ishizaki/hscj2019ishizakipublic
An Insider’s Guide to Maximizing Spark SQL Performance      2019-03-22 20:20:19  詳細
An Insider’s Guide to Maximizing Spark SQL Performance 1. An Insider’s Guide to Maximizing Spark SQL Performance Xiao Li @ gatorsmile Japanese Hadoop/Spark Conf @ Tokyo | Mar 2019 1 2. About Me • Engineering Manager at Databricks • Apache Spark Committer and PMC Member • Previously, IBM Master In...
https://www.slideshare.net/ueshin/an-insiders-guide-to-maximizing-spark-sql-performance
20190314 PGStrom Arrow_Fdw      2019-03-22 20:20:18  詳細
20190314 PGStrom Arrow_Fdw 1. Arrow_Fdw PostgreSQLで大量のログデータを処理するための ハードウェア最適化アプローチ HeteroDB,Inc Chief Architect & CEO KaiGai Kohei <kaigai@heterodb.com> 2. 会社&自己紹介(1/2) ▌Who am I?  名前: 海外 浩平(かいがい こうへい)  所属: HeteroDB,Inc  バックグラウ...
https://www.slideshare.net/kaigai/20190314-pgstrom-arrowfdw
Hadoopは終わらない ―3年ぶり開催「Hadoop / Spark Conference Japan 2019」で日本人開発者が語ったこと:レポート|gihyo.jp … 技術評論社      2019-03-22 13:20:17  詳細
「Hadoopは終わった」のではなく,並列分散処理基盤として技術的に新しいフェーズに入った状況にある,その現状を正しく伝えたい - 本稿では基調講演に登壇した二人の日本人開発者の内容をもとに,Hadoopがいま直面している状況と,新たに向かおうとしているゴールについて俯瞰してみたいと思います。 クラウドサービス...
https://gihyo.jp/news/report/2019/03/1801
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day - Speaker Deck      2019-03-15 10:20:17  詳細
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
https://speakerdeck.com/nakazax/how-to-throw-away-100-hadoop-clusters-a-day