AWS提供的EC2價格CSV檔案就有2GB大小、將近300萬筆資料～
這幾天在幫一個重要客戶處理庫存資料更新至AWS伺服器的需求，他們希望能夠在AWS的伺服器上可以看到公司內部的庫存資料，但又要考量到資安問題和處理效能問題，所以請我幫忙看看～
客戶人員原本是使用MySQL Workbench直接操控資料庫，來將庫存資料匯入至AWS主機的資料庫，但由於現在是遠距工作，必須透過VPN，導致匯入時不穩定、幾百筆資料就要耗費幾個小時…
所以客戶人員請我幫忙看看能否找到更好的方式，在經過我努力的測試後，我找到一個我個人認為最佳的解決方案，還幫他們把相關程式和資料交換機制所需要的伺服器都備妥了，在系統下用程式直接匯入庫存的資料，而且保證能兼顧資安的考量！?
其實就算是幾萬筆、幾十萬筆資料，甚至是幾百萬筆資料我都能匯入，因為我開發的「問雲」試算AWS成本軟體就必須經常處理AWS的價格資料，光是AWS的EC2 CSV檔就有2GB、將近三百萬筆記錄!!?
而且「問雲」的資料不是單純匯入就好，必須從CSV檔解析後再做很多處理，若是直接塞入資料庫絕對很快，但在資料庫處理匯整解析的動作時會拖垮整台主機的效能(因為CPU資料全被資料庫佔走了)。
當時我花了很多時間測試才找到最佳的方式進行處理，但即便如此，面對三百萬筆資料、又要進行複雜的匯整解析處理、使用的主機效能也不是超強，所以每次匯入資料時就得花上一整天～
由於這個重要客戶支持我十幾年，加上我剛好自己有這方面的經驗，所以我當然很願意幫忙，更何況他們公司現在所有的AWS主機都是我負責在維運，就算我之前不會、我也會儘全力幫助他們的！
註：之所以不建議他們用API方式串接，主要就是考量資安問題以及他們人員要自行開發、維護API程式和伺服器的問題，使用我建議的方式後，他們的人員只要定期將庫存資料上傳至資料交換伺服器即可！
