程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> JAVA編程 >> JAVA綜合教程 >> Java 進程占用 VIRT 虛擬內存超高的問題研究,javavirt

Java 進程占用 VIRT 虛擬內存超高的問題研究,javavirt

編輯:JAVA綜合教程

Java 進程占用 VIRT 虛擬內存超高的問題研究,javavirt


 

1. 現象

最近發現線上機器 java 8 進程的 VIRT 虛擬內存使用達到了 50G+,如下圖所示:

void *mem = mmap(0, 4ul * 1024ul * 1024ul * 1024ul * 1024ul, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS | MAP_NORESERVE, -1, 0);

當使用 mmap 並設置 MAP_NORESERVE 標志時,並不會要求實際的物理內存和swap空間存在。所以上述代碼可以在top中看到使用了 4096g 的 VIRT 虛擬內存,這當然是不可能的,它只是表示使用了 4096GB 的地址空間而已。

4. 為什麼會用這麼多地址空間

那 Java 程序為什麼會使用這麼多的地址空間呢?使用“pmap -x”來查看一下:

00007ff638021000   65404       0       0 -----    [ anon ]
00007ff63c000000     132      36      36 rw---    [ anon ]
00007ff63c021000   65404       0       0 -----    [ anon ]
00007ff640000000     132      28      28 rw---    [ anon ]
00007ff640021000   65404       0       0 -----    [ anon ]
00007ff644000000     132       8       8 rw---    [ anon ]
00007ff644021000   65404       0       0 -----    [ anon ]
00007ff648000000     184     184     184 rw---    [ anon ]
00007ff64802e000   65352       0       0 -----    [ anon ]
00007ff64c000000     132     100     100 rw---    [ anon ]
00007ff64c021000   65404       0       0 -----    [ anon ]
00007ff650000000     132      56      56 rw---    [ anon ]
00007ff650021000   65404       0       0 -----    [ anon ]
00007ff654000000     132      16      16 rw---    [ anon ]
00007ff654021000   65404       0       0 -----    [ anon ]
發現有很多奇怪的64MB的內存映射,查資料發現這是 glibc 在版本 2.10 引入的 arena 新功能導致。CentOS 6/7 的 glibc 大都是 2.12/ 2.17 了,所以都會有這個問題。這個功能對每個線程都分配一個分配一個本地arena來加速多線程的執行。
在 glibc 的 arena.c 中使用的 mmap() 調用就和之前的示例代碼類似:
    p2 = (char *)mmap(aligned_heap_area, HEAP_MAX_SIZE, PROT_NONE,
                          MAP_NORESERVE | MAP_ANONYMOUS | MAP_PRIVATE, -1, 0)
之後,只有很小的一部分地址被映射到了物理內存中:
    mprotect(p2, size, PROT_READ | PROT_WRITE)
因此在一個多線程程序中,會有相當多的 64MB 的 arena 被分配。這個可以用環境變量 MALLOC_ARENA_MAX 來控制。在64位系統中的默認值為 128。

5. Java 的特殊性

Java 程序由於自己維護堆的使用,導致調用 glibc 去管理內存的次數較少。更糟的是 Java 8 開始使用 metaspace 原空間取代永久代,而元空間是存放在操作系統本地內存中,那線程一多,每個線程都要使用一點元空間,每個線程都分配一個 arena,每個都64MB,就會導致巨大的虛擬地址被分配。

6. 結束語

總結一下:

  • VIRT高是因為分配了太多地址空間導致。
  • 一般來說不用太在意VIRT太高,因為你有16EB的空間可以使用。
  • 如果你實在需要控制VIRT的使用,設置環境變量MALLOC_ARENA_MAX,例如hadoop推薦值為4,因為YARN使用VIRT值監控資源使用。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved