Partition Management in Hadoop - Cloudera Blog      2019-10-10 15:20:24  詳細
Guest blog post written by Adir Mashiach In this post I’ll talk about the problem of Hive tables with a lot of small partitions and files and describe my solution in details. A little background In my organization,  we keep a lot of our data in HDFS. Most of it is the raw data but a significant a...
https://blog.cloudera.com/partition-management-in-hadoop/
Hadoop環境のクラウド移行 - Technology of DeNA      2019-09-20 07:20:33  詳細
IT基盤部の nodoka です。 私の業務はWebサービスの運用が中心でしたが、数年前からhadoopを中心とした分散基盤環境のインフラも見るようになりました。 当初は巨大なhadoop環境の管理を体系化して引き継ぐことと、運用における属人性を排除することが喫緊の課題でした。 それが落ち着くと、ご多分に漏れずクラウド化を...
https://engineer.dena.jp/2019/09/hadoop2cloud.html
Hadoop is Dead. Long live Hadoop. - Arun C Murthy - Medium      2019-09-13 09:20:31  詳細
There has been a resurgence of the “Hadoop is dead” narrative, and it seems like every so often this pops up in the form of a blog post or contributed article. For several years now, Cloudera has stopped marketing itself as a Hadoop company, but instead as an enterprise data company. And today, C...
https://medium.com/@acmurthy/hadoop-is-dead-long-live-hadoop-f22069b264ac
Hadoop is Dead. Long live Hadoop の所感 | Tech Blog      2019-09-13 09:20:29  詳細
数年前から「Hadoopは終わった」と言われることがあります。 厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフトウェアなのでしょうか? @shiumachiの「Hadoopの時代は終わった」を正しく理解するの記事は、Hadoopを...
https://linux.wwing.net/WordPress/2019/09/11/hadoop-is-dead-long-live-hadoop/
HPE、MapRの資産買収--AIやML、アナリティクスのポートフォリオ拡充へ - ZDNet Japan      2019-08-19 13:20:18  詳細
Hewlett Packard Enterprise(HPE)は、MapRの資産を買収したと発表した。同社の技術、知的財産、アナリティクスや人工知能(AI)、機械学習(ML)用ツールなどが含まれる。 HPEは、MapRが現在展開しているサービスや進行中の刷新を支援すると発表した。また、MapRのパートナーエコシステムも引き続き支援するという。 ...
https://japan.zdnet.com/article/35140928/
MapRのビジネス資産をHPEが買収すると発表。企業としてのMapRは終了か - Publickey      2019-08-10 00:20:23  詳細
Hewlett Packerd Enterprise(HPE)は、主要なHadoopディストリビューションベンダの1つであったMapR Technologiesの持つ技術や知財などのビジネス資産を買収すると発表しました(HPEの発表、MapRの発表)。 MapR is now part of @HPE! Exciting things ahead! Find out more in this new blog post: "HPE Welcomes MapR...
https://www.publickey1.jp/blog/19/maprhpemapr.html
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japa…      2019-08-09 16:20:25  詳細
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019) 1. © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Noritaka Sekiyama Senior Cloud Support Engineer, Amazon Web Services Japan 2019.03.14 Hadoop/Spark で Amazon S3 を徹底的に使いこな...
https://www.slideshare.net/ssuserca76a5/hcj2019-hadoop-sparks3
新しいグラフ処理ライブラリ「Spark Graph」とは何か? Apach Spark 2.4 & 3.0の新機能を解説 Part2 - ログミーTech      2019-07-11 23:20:19  詳細
新しいグラフ処理ライブラリ「Spark Graph」とは何か? Apach Spark 2.4 & 3.0の新機能を解説 Part2 Spark 2.4 & 3.0 - What's next? - #2/2 2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリング...
https://logmi.jp/tech/articles/321516
OpenCensus/OpenTelemetry meetup vol.2 - Daisuke Kobayashi - Medium      2019-07-01 15:20:15  詳細
これは元々Googleが主導していたOpenCensusに関するミートアップとして始まったのですが、第一回開催前にOpenTracingプロジェクトとのマージが発表されたため、現在ではOpenCensusとOpenTracing、そしてマージ後のプロジェクト名であるOpenTelemetryに関するミートアップとなっています。プロジェクトの進捗については@k...
https://medium.com/@d1ce/opencensus-opentelemetry-meetup-jp-2-d5e7daf0dc84
Partition Management in Hadoop - Cloudera Engineering Blog      2019-06-10 00:20:12  詳細
Guest blog post written by Adir Mashiach In this post I’ll talk about the problem of Hive tables with a lot of small partitions and files and describe my solution in details. A little background In my organization,  we keep a lot of our data in HDFS. Most of it is the raw data but a significant a...
https://blog.cloudera.com/blog/2019/05/partition-management-in-hadoop/
DBEvents: A Standardized Framework for Efficiently Ingesting Data into Uber's Apache Hadoop Data Lake | Uber Engineering Blog      2019-05-26 21:20:09  詳細
Keeping the Uber platform reliable and real-time across our global markets is a 24/7 business. People may be going to sleep in San Francisco, but in Paris they’re getting ready for work, requesting rides from Uber driver-partners. At that same … The post DBEvents: A Standardized Framework for Eff...
https://eng.uber.com/dbevents-ingestion-framework/
Java11へのマイグレーションガイド ~Apache Hadoopの事例~      2019-05-22 10:20:11  詳細
2. 多数のlibraryが相互依存している状態なので、バージョンのデッドロックみたいなことがよく起こる。Hadoopを利用している、言い換えると、Hadoopに依存しているライブラリは世の中に多数あるが、それらのライブラリの開発者も、このjar hellと呼ばれる状況に困っています。 3. Hadoopはmulti packageのプロダクトなの...
https://www.slideshare.net/techblogyahoo/java11-apache-hadoop-146834504
Introducing LINE Games analytics environment - LINE ENGINEERING      2019-05-14 12:20:10  詳細
Myunghoon Yi | 2019.05.13 I am responsible for collecting, processing and storing data at GROWTHY Platform Team. Big data and data analysis have long been popular key words in the IT world. Nowadays, they are no longer a choice but a necessity. Everyone is piling up and digging up data to find a ...
https://engineering.linecorp.com/en/blog/line-game-data-analysis/
Hadoopのドキュメントを読む - Qiita      2019-04-30 18:20:15  詳細
要約 コミュニティ版 Hadoopのドキュメントを読むためのノウハウを紹介する なぜコミュニティか? 本家で起こるバグは、別のDistributionでも(大抵は)起こる。だから本家もウォッチしておきたい (些細な)例: ドキュメントのトップページにある謎のタイポ "Äôs" 本家のサイト: http://hadoop.apache.org/docs/r2.2.0/ CDH5...
https://qiita.com/ajis_ka_old/items/4d0373c68c2906c2bf3a
分散型データストアApache Kuduの特徴とユースケース | Think IT(シンクイット)      2019-04-24 19:20:15  詳細
はじめに ネットワークに接続されたデバイスの普及により、さまざまな機器が大量のデータを生成するIoT(Internet of Things)が進展しています。また、AI・機械学習技術の発展により、この大量のデータを活用したデータ分析が注目を集めています。 このような背景から、情報システムが収集・蓄積すべきデータ量は急激に...
https://thinkit.co.jp/article/15893
Hadoop / Spark Conference Japan 2019(3月14日、東京)講演・LTのプログラムと申込み受付 | 日本Hadoopユーザー会      2019-04-20 00:20:12  詳細
日本Hadoopユーザー会主催イベント『Hadoop / Spark Conference Japan 2019 』 を3月14日に東京・品川区内で開催します。 本日2月21日より、申込み受付を開始いたしました。参加費は無料です。 イベント申込みWebサイト: https://hcj2019.eventbrite.com/ 今回は、Apache Hadoopの主要開発者であるArpit Agarwal氏(Clou...
http://hadoop.apache.jp/hcj2019-program/
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / S…      2019-03-22 20:20:22  詳細
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019 1. Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 2019年03月14日 井島 洸二 / ヤフー株式会社 Hadoop / Spark Conference Japan 2...
https://www.slideshare.net/techblogyahoo/hadoop-spark-conference-japan-2019-yosegi-135810726
hscj2019_ishizaki_public      2019-03-22 20:20:20  詳細
hscj2019_ishizaki_public 1. 石崎 一明 日本アイ・ビー・エム(株)東京基礎研究所 @kiszk DataFrameとDatasetの内部をのぞいてみる 1 2. About Me – Kazuaki Ishizaki ▪ IBM Research – Tokyoで研究員をしています https://ibm.biz/ishizaki – コンパイラ最適化、言語処理系実装、並列処理、が専門 ▪ 1996年より、IBM ...
https://www.slideshare.net/ishizaki/hscj2019ishizakipublic