I-List is a very helpful links share platform to share your collected links. It provides an user friendly interface to you for sharing some kind of links. I’ve found that there are two collections which is very helpful for some people whose subjects are for studying and implementation in statistics, accounting and computer science. 1. […]
Category: cloud computing
收穫滿滿的Hadoop Taiwan 2013
此次參加2013 Hadoop Taiwan Conference，收穫很多。(以下是手動隨便寫寫，請勿拘泥writing format) 業界方面的進展比學界又更加跨出一大步，也代表著我們之後如果要發表雲端相關運算的論文或是發展技術， 要特別小心注意這類工具。 由於Big Data時代的來臨，現在的雲端運算處理偏重於「即時」運算，而非「批次」運算。 我們目前所學的hadoop map/reduce只能算是非常基本而已。 對於即時運算的需求恐怕還不太夠(Hive/Pig 也不例外)。 Google先看到這個嚴重情形，繼2009年以來，陸續發表Google Caffeine (for indexing), 可繪製大量網路資訊彼此對應關係的圖表資料庫「Pregel」， 2010年7月發表Google Dremel (for real-time analysis)，號稱可完全打敗Hadoop在即時運算處理上的不足。 Google在報告中明確指出，「過去MapReduce需要分多次查詢的資料，Dremel可同時處理，並大幅縮短運算時間」， 因此是為了real-time query而設計的。 此次參加Hadoop Taiwan，聽人家介紹才知道原來有這個強力的project可用。因此，Apache也仿照這個概念， 提出Drill platform. 為了real-time處理夠快，也會導入Message Queue System，例如： Apache Kafaka: The message queue system for increasing the I/O performance but not provide transmission assurance. Storm: The real-time message queuing system; […]
Differences in each hadoop version
Hadoop 2.x is developed from hadoop-1.x, with the significant features over hadoop-1.x: HDFS HA for NameNode (manual failover) NextGen MapReduce (YARN) HDFS Federation Performance Wire-compatibility for both HDFS and YARN/MapReduce (using protobufs) Hadoop 0.23.x is a trunk which contains: HDFS Federation NextGen MapReduce (YARN) Hadoop 1.x is developed from hadoop 0.20-security code support for: security […]
Google表單自動寄信給填表人
2013/09/15 updated: 由於sheet的API呼叫跟Form的呼叫API不同，這邊加入Google表單的範例。2015/02/27 updated: Google Docs的API改版了，筆者已經發布新版的寫法，請移駕至此。現在網路上教的Google Docs問卷，都只有填表格功能，難道沒有讓使用者填寫完資料後，寄一份資料到使用者信箱的功能嗎？因為我們有時候需要製作收據系統之類的…。 答案是有的！我們只要動幾根手指頭，依照下列步驟，就可以輕易開發出這個功能喔！請依照以下步驟一步一步跟著我做即可。請注意，如果是直接用Google表單的話，請注意第三步驟有些不同。 開發步驟Step 1. 先開啟Google試算表。 Step 2. 假設我的表單只有兩個欄位：姓名與Mail。按上方工具列，選擇工具→表單→編輯表格，先建立表單內容，然後按下存檔。 Step 3. 回到Google表格編輯頁，這次請選擇工具→指令碼編輯器，出現程式碼視窗後，輸入下列程式碼，如圖 2 (標題與內容請自行修改)，這邊有Google試算表跟表單兩種不同API實現方式，請注意一開始是使用Google表單還是試算表製作： (Google試算表版本) (Google表單版本) Step 4. 接著在工具列上面，選擇”觸發器”→現有指令碼的觸發程序 Step 5. 由於現在都沒有加入任何觸發器，因此我們可加入一個新的。 (1) 請點選”Add a new trigger”連結 (2) 設定執行的函式為sendMails，Events 來源為From spreadsheet，動作為On form submit，然後儲存關閉。 這樣子就大功告成了！ 實際測試 Step 1. 先進入即時表格，輸入內容，按下送出。 Step 2. 系統會提醒你回應訊息。(回應訊息可在編輯表單時，右上方功能列的更多動作→編輯確認訊息 自訂) Step 3. 請到您的信箱確認！沒錯，訊息已經收到囉。 註：沒想到這篇Post完沒多久，才發現已經有人寫好App可以安裝了。 http://disp.cc/b/3-2oPJ […]
CDN如何加速網站讀取速度？
在雲端運算(氾濫)的時代，所有服務都講求加速再加速，傳統的單一伺服器(Server)服務多個用戶端(Client)的方法，在面臨行動網路用戶迅速增多，而造成大量資源索取時，無論是資料的傳輸、服務的回應時間，反而變得「緩不濟急」。 因此，CDN(Content Delivery Network，內容傳遞網路)的技術興起，正是運用雲端運算分散式計算的概念，加速資料的存取與降低伺服器端的負載。 傳統網路服務模式與CDN服務模式(取自Wiki) 我們傳統的網路服務模式如上圖左，所有的用戶端都連線到伺服器上索取資源。但是，當用戶數量成長到百萬數量級時，伺服器的負擔便會開始變得重，回應時間慢，開始發生取不到資源的狀況。而這個現象若發生在向伺服主機業者租賃虛擬主機或是雲端主機的服務提供商(Service Provider, 這邊簡稱SP) 而言，可不是一個好兆頭。因為這些主機商會跟SP依照頻寬、IO數量與CPU運算量計價，代表著錢都還沒進來就開始付出昂貴的費用了，更不用說因為網路服務不穩、回應時間太慢造成客戶流失的慘劇。 因此，CDN的出現變成了這些服務提供商的救星。CDN網路主要是靠著分散在各地的(雲端)主機，就近提供這些服務提供商的用戶資源。 它有著巨量的頻寬與速度，只要服務提供商將主機網址(例如，http://www.example.com) 寄放給CDN，CDN業者的主機便會先到http://www.example.com 抓取靜態的資料(主要是圖檔、影片、一些雜七雜八肥大的線上存取函式庫等等)，然後將這些靜態資料派送給這一大群CDN網路內的主機。 因此，過沒多久，所有的CDN主機都有同樣的資料複本(如上圖右)，那麼使用者在跟這個SP提供的服務做連線時，在索取圖像、影片等資料時，會「就近」選擇最近的CDN。例如，台灣的使用者，連上某個美國的服務時，會先到新加坡的CDN主機進行存取，由於網路封包路由比較近，速度上會快很多。 這項技術已經被很多雲端服務業者採用，例如FB就是一個例子，它很多照片都是委託給akamaihd.net這個CDN來幫忙做圖床複本，所以大家在載入時便會快很多(但是安全性就…)。 有些小聰明的使用者，或許會問以下問題。 使用者的網路存取是怎麼自動連線CDN的？ 有些興趣的使用者會在網路上Google一下做法，但是要有點DNS的知識才看得懂這在做啥？我就我知道的，從實務面來簡單講述一下基本流程： 身為服務提供者(SP)，為了降低頻寬，拿它的服務網址(例如，http://www.example.com) 去跟CDN業者申請一個帳號。 CDN業者給他一個CDN對應domain，假設是cdnexample.cloudcdn.net 好了。 CDN業者使用CDN主機去抓取http://www.example.com 的資料(通常是抓取圖片、影片等) 業者到自己的註冊網域服務提供者，加入一個CNAME(網域別名)，假設是media.example.com ，對應到cdnexample.cloudcdn.net。這樣子大家連到media.example.com時，便會到cdnexample.cloudcdn.net。 由於CDN業者僅只有抓取靜態資源(如圖片、影片)等，正式的動態產生頁面還是要SP的主機來做。因此，在程式的寫法上，如果是圖片、影片的資源提供，會寫成<img srcf=”media.example.com/01.png” />。如此一來，大家在讀取圖片或是影片時，會藉由media.example.com連到最近的CDN(cdnexample.cloudcdn.net) 取得資源。這樣子存取速度變會大幅提升，真正提供服務的主機其負擔便會降低不少。 再狠一點的話，就是把動態的網頁在生成時，全部做成HTML，這樣子服務的主機只要對CDN提供服務，不用對使用者用戶端提供服務。 這樣子，CDN整體概念可以描述成下面這張圖來理解： 參考資料 Wikipedia:CDN Amazon CloudFront:CDN DNS資源記錄介紹
[Hadoop] Hadoop 安裝與國網中心Hadoop實作
在中部某科大上課，教到Hadoop，就把一些教材更正的釋出。Hadoop單機安裝這份跟國網中心提供的單機安裝教學有些不同，差異性在於Hadoop 0.22.x啟動方法跟如何安裝JDK 1.7。請點此觀看在國家高速網路中心Hadoop下實作教到如何在國家高速網路中心上使用Hadoop叢集，順便把這一份教材釋出。 請點此觀看
[Chrome] The Useful Materials of Chrome Storage
Congratulations! The number of users for my developed Chrome extension:Yahoo Dictionary (The Chinese name is “Yahoo字典查詢器“) has been over 540 users. The next version 0.3 will have some important features: Store the searched word to construct user’s learning records. Customize user preferences. In order to develop these significant features, the main question is that […]
【Chrome】Chrome Extension與App開發
In short, Chrome extension(or app.) application is composed of different html, javascript, and css files. It is very simple to develop. Basically, you can consider it as a normal client-server implementation.To record some materials that I can develop my Chrome extension/app in the future, I note those as the following.English materials: Building a simple Google […]
Some interesting articles
http://www.bnext.com.tw/article/view/cid/0/id/18789 http://www.netadmin.com.tw/article_content.aspx?sn=1106160006 http://www.zdnet.com/blog/virtualization/what-is-a-trusted-cloud/978 http://www.trustedcomputinggroup.org/files/resource_files/1F4DEE3D-1A4B-B294-D0AD0742BA449E07/Cloud%20Computing%20and%20Security%20Whitepaper_July29.2010.pdf http://www.safenet-inc.com/products/data-protection/data-encryption-control/datasecure/
簡介：雲端環境Log蒐集軟體 ─ Chukwa
簡介 MapReduce支援Log processing。但不幸的是，由於Hadoop是一個叢集式系統， 跨多台機器的大量Log processing讓原本Hadoop的效率變慢，而且HDFS也不能支援 一致性儲存這些Log，只能在各自的子系統中自行維護Log。 Chukwa專案發起的主要目標是對於分散式資料蒐集以及快速的資料處理問題，能夠 提供一個彈性且強力的平台 Chukwa主要分為四個組件： Agents：在各自機器上作資料的發送。 Collectors ：從agent上接收資料並存入儲存體如HDFS、HBase等。 MapReduce jobs ：利用MapReduce傳遞並將資料作歸檔 (archive) 。 HICC：Hadoop Infrastructure Care Center，利用web介面展示資料。 更多請參考Chukwa官方網站