最近架構一個項目，實現行情的接入和分發，需要達到極致的低時延特性，這對於證券系統是非常重要的。接入的行情源是可以配置，既可以是Level-1，也可以是Level-2或其他第三方的源。雖然Level-1行情沒有Level-2快，但是作為系統支持的行情源，我們還是需要優化它，使得從文件讀取，到用戶通過socket收到行情，端到端的時延盡可能的低。本文主要介紹對level-1行情dbf文件讀取的極致優化方案。相信對其他的dbf文件讀取應該也有借鑒意義。
Level-1行情是由行情小站，定時每隔幾秒把dbf文件（上海是show2003.dbf，深圳是sjshq.dbf）更新一遍，用新的行情替換掉舊的。我們的目標就是，在新文件完成更新後，在最短時間內將文件讀取到內存，把每一行轉化為對象，把每個列轉化為對應的數據類型。
我們一共采用了6種優化方式。
內存硬盤可以極大地提高文件的讀寫速度，level-1行情的讀寫是應用內存硬盤的絕好情況：
1，我們可以把行情小站的行情文件地址配置在內存硬盤上。這樣可以加速行情小站寫文件的速度。
2，本系統再從內存硬盤讀取，又可以加快讀取速度。
3，內存硬盤掉電後會丟失文件，這裡我們基本不在乎這個缺點，因為行情文件本來就是臨時的，如果有持久化的需要，大部分內存硬盤也支持持久化的功能。
Windows上有很多虛擬內存硬盤的軟件（本系統部署在windows服務器上，因為行情小站是在windows上的）。性能還是有差別的，我主要基於以下這篇文章《12 RAM Disk Software Benchmarked for Fastest Read and Write Speed》，自己再做了一點點測試，選擇了Bond Disc這個軟件。其地址是http://www.bonddisc.com/，使用挺簡單的，這裡就不詳細介紹了。
測試下來，采用RamDisk讀取並沒有比從普通的硬盤讀取快很多，可能是因為行情dbf文件本身就很小，只有1～2M，並且我們采用NIO形式的文件讀取本身就比較快。但是使用RamDisk還是很有意義的 --
1，由於行情小站直接把dbf文件寫入內存硬盤，可以加速不少。
2，如果在硬盤繁忙時，由於硬盤是串行的，采用內存硬盤在這種情況下可以避免瓶頸，保持穩定的讀取低時延。
由於行情小站會不斷的更新行情dbf文件，我們的系統需要探測到一旦行情文件被更新，就立即讀取。傳統的策略是不斷輪詢行情文件的狀態，如果發現行情文件的最後修改日期（或者再加上文件大小）改變時，就認為文件被更新。但是這種方式既低效，時延又高且不穩定。假設即使把輪詢時間設置為10ms一次（這意味著1秒鐘就要輪詢100次）, 平均時延也要5ms。
我們可以用通知來替代輪詢。這裡我們采用JNotify庫，這個庫的下載地址是：
http://jnotify.sourceforge.net/
JNotify庫支持Windows，Linux和MacOS，允許我們監視一個文件夾，當這個文件夾下的文件被增刪改時，發起回調通知。代碼示例如下：
public void addWatcher(String hangqingFolder, String hangqingFile) throws Exception {
// watch mask, specify events you care about,
// or JNotify.FILE_ANY for all events.
int mask = // JNotify.FILE_CREATED |
// JNotify.FILE_DELETED |
JNotify.FILE_MODIFIED; // 我們只需要注冊修改事件
// JNotify.FILE_RENAMED;
// watch subtree?
boolean watchSubtree = false;
// add actual watch
watchId = JNotify.addWatch(hangqingFolder, mask, watchSubtree, new JNotifyListener() {
public void fileRenamed(int wd, String rootPath, String oldName, String newName) {
// do nothing.
}
public void fileModified(int wd, String rootPath, String name) {
if (!hangqingFile.equalsIgnoreCase(name)) //如果是修改的其他文件，則忽略
return;
readHangqingFile(hangqingFolder + File.separator + hangqingFile);
}
public void fileDeleted(int wd, String rootPath, String name) {
// do nothing
}
public void fileCreated(int wd, String rootPath, String name) {
// do nothing
}
});
}
以上代碼：
1，我們只要監視文件修改，因此只要設置mask = JNotify.FILE_MODIFIED
2，不需要遞歸地監視子目錄，設置watchSubtree = false
3，由於監視的是文件夾，而不是文件，在fileModified方法中，我們要判斷修改的是不是我們關心的文件（即行情文件），如果不是，則忽略。如果是，就調用readHangqingFile開始讀取。
JNotify是基於操作系統API實現的，即使用JNI實現的，因此除了jar文件，還包含.dll文件和.so文件。用eclipse開發時，我們需要指定這些本地庫的目錄，如下圖所示：
部署時，需要將本地庫放在執行根目錄下，或者用-Djava.library.path=/native/library/path 指定本地庫的位置。
采用JNotify，用（基於操作系統的）通知而不是輪詢，可以非常快地發現文件被更新，根據測試時間<1ms (我覺得應該遠小於1ms，但是由於文件修改時間單位是毫秒，沒辦法更精確的測量）。
待續。。。
Binhua Liu原創文章，轉載請注明原地址http://www.cnblogs.com/Binhua-Liu/p/5609396.html
