<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
		xmlns:xhtml="http://www.w3.org/1999/xhtml"
>

<channel>
	<title>CIOを目指しつつの8makiのアレ &#187; 分散</title>
	<atom:link href="http://blog.8maki.jp/tag/%e5%88%86%e6%95%a3/feed" rel="self" type="application/rss+xml" />
	<link>http://blog.8maki.jp</link>
	<description>俺と周りの変態リタラシーを埋める</description>
	<lastBuildDate>Sat, 28 Jan 2012 04:05:04 +0000</lastBuildDate>
	<generator>http://wordpress.org/?v=2.8.4</generator>
	<language>ja</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
			<xhtml:link rel="alternate" media="handheld" type="text/html" href="http://blog.8maki.jp/tag/%e5%88%86%e6%95%a3/feed" />
		<item>
		<title>大規模分散処理を身近に、”Amazon Elastic MapReduce”のビジネス的インパクトは？</title>
		<link>http://blog.8maki.jp/2009/04/amazon-elastic-mapreduce-busines.html</link>
		<comments>http://blog.8maki.jp/2009/04/amazon-elastic-mapreduce-busines.html#comments</comments>
		<pubDate>Thu, 02 Apr 2009 16:09:18 +0000</pubDate>
		<dc:creator>8maki</dc:creator>
				<category><![CDATA[IT]]></category>
		<category><![CDATA[proposal]]></category>
		<category><![CDATA[survey]]></category>
		<category><![CDATA[テクノロジー]]></category>
		<category><![CDATA[ビジネス]]></category>
		<category><![CDATA[Hadoop]]></category>
		<category><![CDATA[MapReduce]]></category>
		<category><![CDATA[分散]]></category>

		<guid isPermaLink="false">http://blog.8maki.jp/?p=342</guid>
		<description><![CDATA[
			
				
			
		
　先ほどAmazon Web Servicesから新しいサービスがBetaリリースされていましたね。
　その名も「Amazon Elastic MapReduce」
 
MapReduceというのは、Googleの検索技術を支える分散処理アーキテクチャで、ようは「処理を細かいタスクに分けて、めちゃくちゃたくさんのPCに独立して処理させることで、スパコン並の能力を発揮させられる構造」という感じでしょう。
Amazon Elastic MapReduceのDemoはこちらから見れます。 
（Demoでは、ある文章の単語出現数を計算しています。） 

MapReduceを実装しているフレームワークで一番有名なのが、オープンソースのHadoopです。
商用化など、Tech界隈で話題のフレームワークなのですが、そもそも大規模分散処理用のインフラ技術なので人目につきにくく、ビジネス界隈では見慣れない名前ですよね。
言ってしまえば、「大規模分散処理が身近に！」ということなのですが、ビジネス的にどれくらい身近になるのか未知。
そこで、ちょっと計算してみました。（ものすごい大雑把な計算ですf^^;）
&#8212;&#8212;&#8212;&#8212; 計算 &#8212;&#8212;&#8212;&#8211;
仮に、セットアップ・維持が３人日、処理が１台のサーバーで7日かかるシステムがあったとします。
するとそれにかかるコストは、だいたいこんな感じでしょうか。
　　（セットアップおよび維持中）の人件費＋10日分のサーバー費用(AmazonEC2.small：1台とS3：1台）
　　＝3人日×4万円（人月80万円）＋（月8000円÷30×11日＋1000円）
　　≒12.7万円 
それが、このAmazon Elastic MapReduceを使うと、だいたいセットアップ・維持に1人日、サーバーを４台使って２日くらいになると思います。すると、
　　１人日×４万円＋８０００円÷30×2日×4台+1000円+MapReduce使用料：1000円くらい？
　　≒4.５万円
コストがおよそ1/3くらいになりますね。
もちろん前者の例ではAmazon EC2を使って、サーバー代をかなり浮かせているため、実質は２０万円以上かかると思います。
&#8212;&#8212;&#8212;&#8212; 計算 &#8212;&#8212;&#8212;&#8211;
小規模な処理だとコスト削減はこれくらいですが、サーバーを数百代、数千台使う処理だと雲泥の差に なるでしょう。
かつ、これだけ簡単に使えるようになると、多くの業者がこのサービスを使ったソリューションを提供することが考えられます。
昔なら１００万円以上したECサイトの開設が、今や１０万円以下で作れるようになり、販売のビジネスチャンスが大きく広がった、くらいのインパクトにはなりえそうですね。
もちろん重要なのは、この高性能演算システムを安価に使えて何をするか、なのですが。
今は下記くらいしか用法が思いつきません。。。

大規模なクローリングとインデックス化が必要な検索エンジン
機械学習によるレコメンドエンジン
データマイニング
ログファイルの解析
科学的なシミュレーション
生物学的な実験

まだまだ検索・レコメンドエンジンやアカデミックな領域を出ない分野ではありますが、逆にいえばものすごいチャンスでもあるので、何か面白いプロダクト・サービスを作る会社が出てくるのに期待ですね。
もちろん弊社でもバリバリ狙っていきますがｗ
なお、MapReduceの技術的説明は、id:nayoyaさんのブログが詳しいです。
※追記　Techcrunchでも紹介されていました。
]]></description>
			<content:encoded><![CDATA[<div class="tweetmeme_button" style="float: right; margin-left: 10px;">
			<a href="http://api.tweetmeme.com/share?url=http%3A%2F%2Fblog.8maki.jp%2F2009%2F04%2Famazon-elastic-mapreduce-busines.html"><br />
				<img src="http://api.tweetmeme.com/imagebutton.gif?url=http%3A%2F%2Fblog.8maki.jp%2F2009%2F04%2Famazon-elastic-mapreduce-busines.html&amp;style=normal" height="61" width="50" /><br />
			</a>
		</div>
<p><img class="size-full wp-image-345 alignleft" title="logo_aws" src="http://blog.8maki.jp/wp-content/uploads/2009/04/logo_aws.gif" alt="logo_aws" width="164" height="60" />　先ほどAmazon Web Servicesから新しいサービスがBetaリリースされていましたね。</p>
<p>　その名も「<a href="http://aws.amazon.com/elasticmapreduce/" target="_blank">Amazon Elastic MapReduce</a>」<br />
 </p>
<p>MapReduceというのは、Googleの検索技術を支える分散処理アーキテクチャで、ようは「<strong>処理を細かいタスクに分けて、めちゃくちゃたくさんのPCに独立して処理させることで、スパコン並の能力を発揮させられる構造</strong>」という感じでしょう。<br />
Amazon Elastic MapReduceのDemoは<a href="http://s3.amazonaws.com/awsVideos/AmazonElasticMapReduce/AmazonElasticMapReduce.html" target="_blank">こちら</a>から見れます。 <br />
（Demoでは、ある文章の単語出現数を計算しています。） </p>
<p style="text-align: center;"><a href="http://s3.amazonaws.com/awsVideos/AmazonElasticMapReduce/AmazonElasticMapReduce.html"><img class="size-full wp-image-346 aligncenter" title="mapreduce" src="http://blog.8maki.jp/wp-content/uploads/2009/04/mapreduce.png" alt="mapreduce" width="400" height="295" /></a></p>
<p>MapReduceを実装しているフレームワークで一番有名なのが、オープンソースのHadoopです。<br />
<a href="http://jp.techcrunch.com/archives/20090316cloudera-raises-5-million-series-a-round-for-hadoop-commercialization/" target="_blank">商用化</a>など、Tech界隈で話題のフレームワークなのですが、そもそも大規模分散処理用のインフラ技術なので人目につきにくく、ビジネス界隈では見慣れない名前ですよね。</p>
<p>言ってしまえば、「<strong>大規模分散処理が身近に！</strong>」ということなのですが、ビジネス的にどれくらい身近になるのか未知。<br />
そこで、ちょっと計算してみました。（ものすごい大雑把な計算ですf^^;）</p>
<p>&#8212;&#8212;&#8212;&#8212; 計算 &#8212;&#8212;&#8212;&#8211;</p>
<p>仮に、セットアップ・維持が３人日、処理が１台のサーバーで7日かかるシステムがあったとします。</p>
<p>するとそれにかかるコストは、だいたいこんな感じでしょうか。</p>
<p>　　（セットアップおよび維持中）の人件費＋10日分のサーバー費用(AmazonEC2.small：1台とS3：1台）<br />
　　＝3人日×4万円（人月80万円）＋（月8000円÷30×11日＋1000円）<br />
　　≒12.7万円 </p>
<p>それが、このAmazon Elastic MapReduceを使うと、だいたいセットアップ・維持に1人日、サーバーを４台使って２日くらいになると思います。すると、</p>
<p>　　１人日×４万円＋８０００円÷30×2日×4台+1000円+MapReduce使用料：1000円くらい？<br />
　　≒4.５万円</p>
<p>コストがおよそ1/3くらいになりますね。<br />
もちろん前者の例ではAmazon EC2を使って、サーバー代をかなり浮かせているため、実質は２０万円以上かかると思います。</p>
<p>&#8212;&#8212;&#8212;&#8212; 計算 &#8212;&#8212;&#8212;&#8211;</p>
<p>小規模な処理だとコスト削減はこれくらいですが、サーバーを数百代、数千台使う処理だと雲泥の差に なるでしょう。</p>
<p>かつ、これだけ簡単に使えるようになると、多くの業者がこのサービスを使ったソリューションを提供することが考えられます。<br />
昔なら１００万円以上したECサイトの開設が、今や１０万円以下で作れるようになり、販売のビジネスチャンスが大きく広がった、くらいのインパクトにはなりえそうですね。</p>
<p>もちろん重要なのは、この高性能演算システムを安価に使えて何をするか、なのですが。<br />
今は下記くらいしか用法が思いつきません。。。</p>
<ul>
<li>大規模なクローリングとインデックス化が必要な検索エンジン</li>
<li>機械学習によるレコメンドエンジン</li>
<li>データマイニング</li>
<li>ログファイルの解析</li>
<li>科学的なシミュレーション</li>
<li>生物学的な実験</li>
</ul>
<p>まだまだ検索・レコメンドエンジンやアカデミックな領域を出ない分野ではありますが、逆にいえばものすごいチャンスでもあるので、何か面白いプロダクト・サービスを作る会社が出てくるのに期待ですね。</p>
<p>もちろん弊社でもバリバリ狙っていきますがｗ</p>
<p>なお、MapReduceの技術的説明は、<a href="http://d.hatena.ne.jp/naoya/20080511/1210506301" target="_blank">id:nayoyaさんのブログ</a>が詳しいです。</p>
<p>※追記　<a href="http://jp.techcrunch.com/archives/20090402with-hadoop-amazon-adds-a-web-scale-file-system-to-its-cloud-computer/" target="_blank">Techcrunch</a>でも紹介されていました。</p>
]]></content:encoded>
			<wfw:commentRss>http://blog.8maki.jp/2009/04/amazon-elastic-mapreduce-busines.html/feed</wfw:commentRss>
		<slash:comments>1</slash:comments>
		<xhtml:link rel="alternate" media="handheld" type="text/html" href="http://blog.8maki.jp/2009/04/amazon-elastic-mapreduce-busines.html" />
	</item>
	</channel>
</rss>

