Monthly Archives: September 2013

收穫滿滿的Hadoop Taiwan 2013

此次參加2013 Hadoop Taiwan Conference,收穫很多。(以下是手動隨便寫寫,請勿拘泥writing format) 業界方面的進展比學界又更加跨出一大步,也代表著我們之後如果要發表雲端相關運算的論文或是發展技術, 要特別小心注意這類工具。 由於Big Data時代的來臨,現在的雲端運算處理偏重於「即時」運算,而非「批次」運算。 我們目前所學的hadoop map/reduce只能算是非常基本而已。 對於即時運算的需求恐怕還不太夠(Hive/Pig 也不例外)。 Google先看到這個嚴重情形,繼2009年以來,陸續發表Google Caffeine (for indexing), 可繪製大量網路資訊彼此對應關係的圖表資料庫「Pregel」, 2010年7月發表Google Dremel (for real-time analysis),號稱可完全打敗Hadoop在即時運算處理上的不足。 Google在報告中明確指出,「過去MapReduce需要分多次查詢的資料,Dremel可同時處理,並大幅縮短運算時間」, 因此是為了real-time query而設計的。 此次參加Hadoop Taiwan,聽人家介紹才知道原來有這個強力的project可用。因此,Apache也仿照這個概念, 提出Drill platform. 為了real-time處理夠快,也會導入Message Queue System,例如: Apache Kafaka: The message queue system for … Continue reading

Posted in Big Data, cloud computing, hadoop, 程式設計, 資工, 資訊安全, 軟體(Software) | Leave a comment

Differences in each hadoop version

Hadoop 2.x is developed from hadoop-1.x, with the significant features over hadoop-1.x: HDFS HA for NameNode (manual failover) NextGen MapReduce (YARN) HDFS Federation Performance Wire-compatibility for both HDFS and YARN/MapReduce (using protobufs) Hadoop 0.23.x is a trunk which contains: HDFS … Continue reading

Posted in cloud computing, hadoop, 程式設計, 雲端運算 | 18 Comments

輸入法不見的解決方法

1. 進入控制台 → 變更顯示語言 → 變更鍵盤 中的語言列標籤,將語言列從隱藏勾選成固定在工作列; 2. 接著請參照以下圖解說明 (1) 在「開始搜尋」的輸入框中輸入”regedit”並執行 (2) 找到 HKEY_CURRENT_USERSoftwareMicrosoftWindowsCurrentVersionRun (3) 右邊的欄位應該要有ctfmon字串值,若沒有請自行建立。按下右鍵→新增→字串值 (4) 輸入名稱為”ctfmon”後,按下ENTER確認。 (5) 修改ctfmon,輸入C:Windowssystem32ctfmon.exe後,確認關閉。 (6) 請重新開機試試看。應該就成功了。 參考資料 Win7開機後輸入法不見了

Posted in Windows | Leave a comment

Google表單自動寄信給填表人

2013/09/15 updated: 由於sheet的API呼叫跟Form的呼叫API不同,這邊加入Google表單的範例。2015/02/27 updated: Google Docs的API改版了,筆者已經發布新版的寫法,請移駕至此。現在網路上教的Google Docs問卷,都只有填表格功能,難道沒有讓使用者填寫完資料後,寄一份資料到使用者信箱的功能嗎?因為我們有時候需要製作收據系統之類的…。 答案是有的!我們只要動幾根手指頭,依照下列步驟,就可以輕易開發出這個功能喔!請依照以下步驟一步一步跟著我做即可。請注意,如果是直接用Google表單的話,請注意第三步驟有些不同。 開發步驟Step 1. 先開啟Google試算表。 Step 2. 假設我的表單只有兩個欄位:姓名與Mail。按上方工具列,選擇工具→表單→編輯表格,先建立表單內容,然後按下存檔。 Step 3. 回到Google表格編輯頁,這次請選擇工具→指令碼編輯器,出現程式碼視窗後,輸入下列程式碼,如圖 2 (標題與內容請自行修改),這邊有Google試算表跟表單兩種不同API實現方式,請注意一開始是使用Google表單還是試算表製作: (Google試算表版本) (Google表單版本) Step 4. 接著在工具列上面,選擇”觸發器”→現有指令碼的觸發程序 Step 5. 由於現在都沒有加入任何觸發器,因此我們可加入一個新的。 (1) 請點選”Add a new trigger”連結 (2) 設定執行的函式為sendMails,Events 來源為From spreadsheet,動作為On form submit,然後儲存關閉。 這樣子就大功告成了! 實際測試 … Continue reading

Posted in cloud computing, 程式設計, 網路, 網頁撰寫 | 61 Comments

小米 vs. HTC: 從市場、資安與專利議題分析

最近一直在想小米機(MIUI) 跟宏達電(HTC) 為什麼比起來給使用者的感受度(無論價格、行銷力道與研發速度),就硬是差了這麼多呢?筆者就以下觀點做些微分析:一、 市場小米科技主要市場都在中國,就算不用走出國際,靠本國廣大的市場消費力就可以直接吃下大部分的市場了。因此,它只要把費用多多挹注在行銷力道上,搞飢餓行銷。 而HTC的市場除了中國亞洲地區外,還有歐美國家,因此需要分散研發能量,因應國情做出不同的客製化,且通路來源主要都來自電信商,成本自然提高。 二、資安由於小米機的主要市場來自中國,在中國只要乖乖配合政府就沒事了。所以很多(剽竊)服務都可以胡搞瞎搞,只要消費者接受就可以了(這也是我極力反對此類機種的原因)。但是能不能順利輸出到歐美國家,在個人資料蒐集與保護上,恐怕有重重疑慮。 但是反觀HTC,市場是在全世界,每個機種出貨都要符合當地政府的資訊安全法規,在軟體研發與硬體選擇上都要特別費一番工夫,是故研發成本也拉高許多。 三、專利在中國,小米機幾乎可以不用考慮專利佈局的問題,只要市場吃得下去就OK。但是HTC一開始的研發方向就是瞄準全球市場,專利佈局也要能夠撐得過歐美國家當局檢驗,否則一出貨就卡在海關過不了,研發經費整個泡湯。

Posted in 3C產品, 資訊安全 | Leave a comment