說明

通過Python,將數據從Mysql挪到Mongo中，然後再從Mongo中讀出處理。

我發現這個東西的名字很難起，所以就隨便取了一個。但是反過來，名字難起的時候一定是有些探索價值的。

總體上，這部分算是實踐All Data In Memory的想法：所有的數據，看起來都像在內存。外部的數據，都統一落在機器的Mongo庫，因為高速固態硬盤和大內存，使得數據看起來是持久存在內存中的。BTW，很快我應該就會搭建分片式Mongo集群,那樣可以支撐更大、更快的數據吞吐。

AIDM有什麼好處？

• 1 保存程序是關鍵，用完的終端（例如jupyter)可以用完就關閉，不必占用運行內存。需要的時候再次運行，速度是很快的。
• 2 可以進行複雜的多的分析。分析不再只保留最新版，或者手工維護幾個版本。而是以MVD的形式存在，支持以算法的方式管理多種空間。隨時可以回溯，分支。

本篇改改以往的風格，說說原理，不上代碼了。

內容

1 獲取數據

1.1 數據庫連接配置（源庫）

在我的元數據庫中存儲了很多數據庫連接，先確定是哪個連接。然後進行連通性測試。

會遺忘的自動查探 Loss Auto Probe

本次是手動查詢的方式確定配置，然後調出。未來，我想可以用LAP來替代手工方式。

• 1 一般錶名已經很獨特