I-List: Create Your Own Lists of Links
I-List is a very helpful links share platform to share your collected links. It provides
收穫滿滿的Hadoop Taiwan 2013
此次參加2013 Hadoop Taiwan Conference，收穫很多。(以下是手動隨便寫寫，請勿拘泥writing format) 業界方面的進展比學界又更加跨出一大步，也代表著我們之後如果要發表雲端相關運算的論文或是發展技術， 要特別小心注意這類工具。 由於Big Data時代的來臨，現在的雲端運算處理偏重於「即時」運算，而非「批次」運算。 我們目前所學的hadoop map/reduce只能算是非常基本而已。 對於即時運算的需求恐怕還不太夠(Hive/Pig 也不例外)。 Google先看到這個嚴重情形，繼2009年以來，陸續發表Google Caffeine
Differences in each hadoop version
Hadoop 2.x is developed from hadoop-1.x, with the significant features over hadoop-1.x: HDFS HA for
Google表單自動寄信給填表人
2013/09/15 updated: 由於sheet的API呼叫跟Form的呼叫API不同，這邊加入Google表單的範例。2015/02/27 updated: Google Docs的API改版了，筆者已經發布新版的寫法，請移駕至此。現在網路上教的Google Docs問卷，都只有填表格功能，難道沒有讓使用者填寫完資料後，寄一份資料到使用者信箱的功能嗎？因為我們有時候需要製作收據系統之類的…。 答案是有的！我們只要動幾根手指頭，依照下列步驟，就可以輕易開發出這個功能喔！請依照以下步驟一步一步跟著我做即可。請注意，如果是直接用Google表單的話，請注意第三步驟有些不同。 開發步驟Step 1. 先開啟Google試算表。 Step 2. 假設我的表單只有兩個欄位：姓名與Mail。按上方工具列，選擇工具→表單→編輯表格，先建立表單內容，然後按下存檔。 Step
CDN如何加速網站讀取速度？
在雲端運算(氾濫)的時代，所有服務都講求加速再加速，傳統的單一伺服器(Server)服務多個用戶端(Client)的方法，在面臨行動網路用戶迅速增多，而造成大量資源索取時，無論是資料的傳輸、服務的回應時間，反而變得「緩不濟急」。 因此，CDN(Content Delivery Network，內容傳遞網路)的技術興起，正是運用雲端運算分散式計算的概念，加速資料的存取與降低伺服器端的負載。 傳統網路服務模式與CDN服務模式(取自Wiki) 我們傳統的網路服務模式如上圖左，所有的用戶端都連線到伺服器上索取資源。但是，當用戶數量成長到百萬數量級時，伺服器的負擔便會開始變得重，回應時間慢，開始發生取不到資源的狀況。而這個現象若發生在向伺服主機業者租賃虛擬主機或是雲端主機的服務提供商(Service Provider, 這邊簡稱SP) 而言，可不是一個好兆頭。因為這些主機商會跟SP依照頻寬、IO數量與CPU運算量計價，代表著錢都還沒進來就開始付出昂貴的費用了，更不用說因為網路服務不穩、回應時間太慢造成客戶流失的慘劇。 因此，CDN的出現變成了這些服務提供商的救星。CDN網路主要是靠著分散在各地的(雲端)主機，就近提供這些服務提供商的用戶資源。 它有著巨量的頻寬與速度，只要服務提供商將主機網址(例如，http://www.example.com) 寄放給CDN，CDN業者的主機便會先到http://www.example.com 抓取靜態的資料(主要是圖檔、影片、一些雜七雜八肥大的線上存取函式庫等等)，然後將這些靜態資料派送給這一大群CDN網路內的主機。 因此，過沒多久，所有的CDN主機都有同樣的資料複本(如上圖右)，那麼使用者在跟這個SP提供的服務做連線時，在索取圖像、影片等資料時，會「就近」選擇最近的CDN。例如，台灣的使用者，連上某個美國的服務時，會先到新加坡的CDN主機進行存取，由於網路封包路由比較近，速度上會快很多。 這項技術已經被很多雲端服務業者採用，例如FB就是一個例子，它很多照片都是委託給akamaihd.net這個CDN來幫忙做圖床複本，所以大家在載入時便會快很多(但是安全性就…)。
[Hadoop] Hadoop 安裝與國網中心Hadoop實作
在中部某科大上課，教到Hadoop，就把一些教材更正的釋出。Hadoop單機安裝這份跟國網中心提供的單機安裝教學有些不同，差異性在於Hadoop 0.22.x啟動方法跟如何安裝JDK 1.7。請點此觀看在國家高速網路中心Hadoop下實作教到如何在國家高速網路中心上使用Hadoop叢集，順便把這一份教材釋出。 請點此觀看
[Chrome] The Useful Materials of Chrome Storage
Congratulations! The number of users for my developed Chrome extension:Yahoo Dictionary (The Chinese name is
【Chrome】Chrome Extension與App開發
In short, Chrome extension(or app.) application is composed of different html, javascript, and css files.
Some interesting articles
http://www.bnext.com.tw/article/view/cid/0/id/18789 http://www.netadmin.com.tw/article_content.aspx?sn=1106160006 http://www.zdnet.com/blog/virtualization/what-is-a-trusted-cloud/978 http://www.trustedcomputinggroup.org/files/resource_files/1F4DEE3D-1A4B-B294-D0AD0742BA449E07/Cloud%20Computing%20and%20Security%20Whitepaper_July29.2010.pdf http://www.safenet-inc.com/products/data-protection/data-encryption-control/datasecure/
簡介：雲端環境Log蒐集軟體 ─ Chukwa
簡介 MapReduce支援Log processing。但不幸的是，由於Hadoop是一個叢集式系統， 跨多台機器的大量Log processing讓原本Hadoop的效率變慢，而且HDFS也不能支援 一致性儲存這些Log，只能在各自的子系統中自行維護Log。 Chukwa專案發起的主要目標是對於分散式資料蒐集以及快速的資料處理問題，能夠 提供一個彈性且強力的平台 Chukwa主要分為四個組件： Agents：在各自機器上作資料的發送。 Collectors ：從agent上接收資料並存入儲存體如HDFS、HBase等。 MapReduce jobs ：利用MapReduce傳遞並將資料作歸檔