SAX Create XPath XPath4Sax SPEX: XPath Evaluation against XML Streams Apache MRQL: MRQL is a query processing and optimization system for large-scale, distributed data analysis, built on top of Apache Hadoop, Hama, and Spark.
收穫滿滿的Hadoop Taiwan 2013
此次參加2013 Hadoop Taiwan Conference，收穫很多。(以下是手動隨便寫寫，請勿拘泥writing format) 業界方面的進展比學界又更加跨出一大步，也代表著我們之後如果要發表雲端相關運算的論文或是發展技術， 要特別小心注意這類工具。 由於Big Data時代的來臨，現在的雲端運算處理偏重於「即時」運算，而非「批次」運算。 我們目前所學的hadoop map/reduce只能算是非常基本而已。 對於即時運算的需求恐怕還不太夠(Hive/Pig 也不例外)。 Google先看到這個嚴重情形，繼2009年以來，陸續發表Google Caffeine (for indexing), 可繪製大量網路資訊彼此對應關係的圖表資料庫「Pregel」， 2010年7月發表Google Dremel (for real-time analysis)，號稱可完全打敗Hadoop在即時運算處理上的不足。 Google在報告中明確指出，「過去MapReduce需要分多次查詢的資料，Dremel可同時處理，並大幅縮短運算時間」， 因此是為了real-time query而設計的。 此次參加Hadoop Taiwan，聽人家介紹才知道原來有這個強力的project可用。因此，Apache也仿照這個概念， 提出Drill platform. 為了real-time處理夠快，也會導入Message Queue System，例如： Apache Kafaka: The message queue system for increasing the I/O performance but not provide transmission assurance. Storm: The real-time message queuing system; […]
Differences in each hadoop version
Hadoop 2.x is developed from hadoop-1.x, with the significant features over hadoop-1.x: HDFS HA for NameNode (manual failover) NextGen MapReduce (YARN) HDFS Federation Performance Wire-compatibility for both HDFS and YARN/MapReduce (using protobufs) Hadoop 0.23.x is a trunk which contains: HDFS Federation NextGen MapReduce (YARN) Hadoop 1.x is developed from hadoop 0.20-security code support for: security […]
輸入法不見的解決方法
1. 進入控制台 → 變更顯示語言 → 變更鍵盤 中的語言列標籤，將語言列從隱藏勾選成固定在工作列； 2. 接著請參照以下圖解說明 (1) 在「開始搜尋」的輸入框中輸入”regedit”並執行 (2) 找到 HKEY_CURRENT_USERSoftwareMicrosoftWindowsCurrentVersionRun (3) 右邊的欄位應該要有ctfmon字串值，若沒有請自行建立。按下右鍵→新增→字串值 (4) 輸入名稱為”ctfmon”後，按下ENTER確認。 (5) 修改ctfmon，輸入C:Windowssystem32ctfmon.exe後，確認關閉。 (6) 請重新開機試試看。應該就成功了。 參考資料 Win7開機後輸入法不見了
Google表單自動寄信給填表人
2013/09/15 updated: 由於sheet的API呼叫跟Form的呼叫API不同，這邊加入Google表單的範例。2015/02/27 updated: Google Docs的API改版了，筆者已經發布新版的寫法，請移駕至此。現在網路上教的Google Docs問卷，都只有填表格功能，難道沒有讓使用者填寫完資料後，寄一份資料到使用者信箱的功能嗎？因為我們有時候需要製作收據系統之類的…。 答案是有的！我們只要動幾根手指頭，依照下列步驟，就可以輕易開發出這個功能喔！請依照以下步驟一步一步跟著我做即可。請注意，如果是直接用Google表單的話，請注意第三步驟有些不同。 開發步驟Step 1. 先開啟Google試算表。 Step 2. 假設我的表單只有兩個欄位：姓名與Mail。按上方工具列，選擇工具→表單→編輯表格，先建立表單內容，然後按下存檔。 Step 3. 回到Google表格編輯頁，這次請選擇工具→指令碼編輯器，出現程式碼視窗後，輸入下列程式碼，如圖 2 (標題與內容請自行修改)，這邊有Google試算表跟表單兩種不同API實現方式，請注意一開始是使用Google表單還是試算表製作： (Google試算表版本) (Google表單版本) Step 4. 接著在工具列上面，選擇”觸發器”→現有指令碼的觸發程序 Step 5. 由於現在都沒有加入任何觸發器，因此我們可加入一個新的。 (1) 請點選”Add a new trigger”連結 (2) 設定執行的函式為sendMails，Events 來源為From spreadsheet，動作為On form submit，然後儲存關閉。 這樣子就大功告成了！ 實際測試 Step 1. 先進入即時表格，輸入內容，按下送出。 Step 2. 系統會提醒你回應訊息。(回應訊息可在編輯表單時，右上方功能列的更多動作→編輯確認訊息 自訂) Step 3. 請到您的信箱確認！沒錯，訊息已經收到囉。 註：沒想到這篇Post完沒多久，才發現已經有人寫好App可以安裝了。 http://disp.cc/b/3-2oPJ […]
小米 vs. HTC: 從市場、資安與專利議題分析
最近一直在想小米機(MIUI) 跟宏達電(HTC) 為什麼比起來給使用者的感受度(無論價格、行銷力道與研發速度)，就硬是差了這麼多呢？筆者就以下觀點做些微分析：一、 市場小米科技主要市場都在中國，就算不用走出國際，靠本國廣大的市場消費力就可以直接吃下大部分的市場了。因此，它只要把費用多多挹注在行銷力道上，搞飢餓行銷。 而HTC的市場除了中國亞洲地區外，還有歐美國家，因此需要分散研發能量，因應國情做出不同的客製化，且通路來源主要都來自電信商，成本自然提高。 二、資安由於小米機的主要市場來自中國，在中國只要乖乖配合政府就沒事了。所以很多(剽竊)服務都可以胡搞瞎搞，只要消費者接受就可以了(這也是我極力反對此類機種的原因)。但是能不能順利輸出到歐美國家，在個人資料蒐集與保護上，恐怕有重重疑慮。 但是反觀HTC，市場是在全世界，每個機種出貨都要符合當地政府的資訊安全法規，在軟體研發與硬體選擇上都要特別費一番工夫，是故研發成本也拉高許多。 三、專利在中國，小米機幾乎可以不用考慮專利佈局的問題，只要市場吃得下去就OK。但是HTC一開始的研發方向就是瞄準全球市場，專利佈局也要能夠撐得過歐美國家當局檢驗，否則一出貨就卡在海關過不了，研發經費整個泡湯。
[SQLServer] SQL Plan, Clustered/Nonclustered Index, and FileGroups
資料庫…，不只是資料庫。 推薦網路資源閱讀清單順序： [SQL SERVER][Memo]淺談SQL Server如何處理查詢陳述句 SQL Server Index介紹 [SQL SERVER][Memo]Clustered VS NonClustered Indexes [SQL SERVER][Memo]再談 Clustered Index [SQL SERVER][Memo]再談 NonClustered Index How do you create a non clustered index on filegroups? SQL Server: FileGroups? SQL SERVER – Create Multiple Filegroup For Single Database 推薦書單： Microsoft SQL Server 2008 設計實務
[SQL Server] SQL DB移植時，無法授權使用者
各位在使用SQL Server做資料庫轉移還原時，有時候可能會發現原本授權的帳號無法登入使用資料庫(假設原本資料庫上的使用者為admin，而新移植的資料庫使用者也叫做admin，但是移植過去後，無論怎麼授權admin給這個資料庫，都會出現無法授權的情況)。這是因為資料庫的使用者SID不一致所導致的。 此時，只要到這個資料庫，執行兩個步驟： 1. 執行指令：EXEC sp_change_users_login ‘report’; 找出有哪些孤兒使用者(orphaned users)？ 2. 執行指令： EXEC sp_change_users_login ‘Auto_Fix’, ‘找到的使用者名稱’; 如此一來就搞定了。 參考資料 SQL 資料庫還原到到另一台後無法登入要怎麼解決 Using sp_change_users_login to fix SQL Server orphaned users
[Windows] Port 80被佔用導致Apache無法啟動
我們在Windows上使用AppServ架設網頁服務時，有時候會發現Port 80被佔用，導致無法啟動的狀況。 面對這樣子的窘境，可以參照以下步驟來執行： 開啟命令提示字元視窗，輸入以下指令：netstat –ano ，找出佔用Port 80的程式PID 開啟「工作管理員」，到「處理程序」標籤，按上方的「檢視」→「選擇欄位」，把PID選項勾選起來。 看看是哪一個Service佔用了80 Port? 就處理處理一下吧。 一般而言，最常發生Skype佔用80 Port的狀況，若發生此狀況，請參考這邊的解決辦法。 倘若發現PID = 4，且來源是NT Kernel佔用的話，請別急著把它砍掉。 請下達以下指令： net stop http Sc config http start= disabled (注意，這一行請完整複製，大小寫與空格都有差異) 完成後，最好重新開機一下，這樣子問題應該就解決了。 參考資源 Getting Apache to run on port 80 on Windows 7 [問題排除] 80PORT被佔用? 如何查出佔用PORT的方法 Skype 佔用了 port 80
AngularJS: The framework of JS based on MVC
在許多Javascript MVC的framework中，除了ExtJS、Backbone.js、YUI、EmberJS以外，AngularJS 也是目前最被熱烈討論的Javascript MVC framework之一。他除了有Google大神的支持以外，也使用MIT授權協議，逐漸成為商業產品的熱門選擇。 如果各位有興趣的話，可以先看以下Slides介紹，再搭配Will保哥的介紹文服用。 相關連結： AngularJS: Overview 前端工程的極致精品： AngularJS 開發框架介紹 AngularJS中文電子書 (推薦)