使用SCP+PKI來更新庫存資料~

AWS提供的EC2價格CSV檔案就有2GB大小、將近300萬筆資料~

這幾天在幫一個重要客戶處理庫存資料更新至AWS伺服器的需求,他們希望能夠在AWS的伺服器上可以看到公司內部的庫存資料,但又要考量到資安問題和處理效能問題,所以請我幫忙看看~

客戶人員原本是使用MySQL Workbench直接操控資料庫,來將庫存資料匯入至AWS主機的資料庫,但由於現在是遠距工作,必須透過VPN,導致匯入時不穩定、幾百筆資料就要耗費幾個小時…

所以客戶人員請我幫忙看看能否找到更好的方式,在經過我努力的測試後,我找到一個我個人認為最佳的解決方案,還幫他們把相關程式和資料交換機制所需要的伺服器都備妥了,在系統下用程式直接匯入庫存的資料,而且保證能兼顧資安的考量!😁

其實就算是幾萬筆、幾十萬筆資料,甚至是幾百萬筆資料我都能匯入,因為我開發的「問雲」試算AWS成本軟體就必須經常處理AWS的價格資料,光是AWS的EC2 CSV檔就有2GB、將近三百萬筆記錄!!😱

而且「問雲」的資料不是單純匯入就好,必須從CSV檔解析後再做很多處理,若是直接塞入資料庫絕對很快,但在資料庫處理匯整解析的動作時會拖垮整台主機的效能(因為CPU資料全被資料庫佔走了)。

當時我花了很多時間測試才找到最佳的方式進行處理,但即便如此,面對三百萬筆資料、又要進行複雜的匯整解析處理、使用的主機效能也不是超強,所以每次匯入資料時就得花上一整天~

由於這個重要客戶支持我十幾年,加上我剛好自己有這方面的經驗,所以我當然很願意幫忙,更何況他們公司現在所有的AWS主機都是我負責在維運,就算我之前不會、我也會儘全力幫助他們的!

註:之所以不建議他們用API方式串接,主要就是考量資安問題以及他們人員要自行開發、維護API程式和伺服器的問題,使用我建議的方式後,他們的人員只要定期將庫存資料上傳至資料交換伺服器即可!

庫存資料更新架構示意圖~