精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

JVM調(diào)優(yōu)參數(shù)、方法、工具以及案例總結(jié)

開發(fā) 后端
本文主要用來總結(jié)梳理便于以后翻閱,主要圍繞四個大的方面展開,分別是JVM調(diào)優(yōu)參數(shù)、JVM調(diào)優(yōu)方法(流程)、JVM調(diào)優(yōu)工具、JVM調(diào)優(yōu)案例,調(diào)優(yōu)案例目前正在分析,會在將來補(bǔ)上。

 這種文章挺難寫的,一是JVM參數(shù)巨多,二是內(nèi)容枯燥乏味,但是想理解JVM調(diào)優(yōu)又是沒法避開的環(huán)節(jié),本文主要用來總結(jié)梳理便于以后翻閱,主要圍繞四個大的方面展開,分別是JVM調(diào)優(yōu)參數(shù)、JVM調(diào)優(yōu)方法(流程)、JVM調(diào)優(yōu)工具、JVM調(diào)優(yōu)案例,調(diào)優(yōu)案例目前正在分析,會在將來補(bǔ)上。

垃圾回收有關(guān)參數(shù)

參數(shù)部分,這兒只是做一個總結(jié),更詳細(xì)更新的內(nèi)容請參考Oracle官網(wǎng):JVM的命令行參數(shù)參考

處理器組合參數(shù)

關(guān)于JVM垃圾處理器區(qū)別,參考:JVM調(diào)優(yōu)之垃圾定位、垃圾回收算法、垃圾處理器對比

-XX:+UseSerialGC = Serial New (DefNew) + Serial Old

適用于小型程序。默認(rèn)情況下不會是這種選項,HotSpot會根據(jù)計算及配置和JDK版本自動選擇收集器

-XX:+UseParNewGC = ParNew + SerialOld

這個組合已經(jīng)很少用(在某些版本中已經(jīng)廢棄),詳情參考:Why Remove support for ParNew+SerialOld and DefNew+CMS in the future?

-XX:+UseConc(urrent)MarkSweepGC = ParNew + CMS + Serial Old

-XX:+UseParallelGC = Parallel Scavenge + Parallel Old (1.8默認(rèn)) 【PS + SerialOld】

-XX:+UseParallelOldGC = Parallel Scavenge + Parallel Old

-XX:+UseG1GC = G1

Linux中沒找到默認(rèn)GC的查看方法,而windows中會打印UseParallelGC

  •  java +XX:+PrintCommandLineFlags -version
  •  通過GC的日志來分辨

Linux下1.8版本默認(rèn)的垃圾回收器到底是什么?

  •  1.8.0_181 默認(rèn)(看不出來)Copy MarkCompact
  •  1.8.0_222 默認(rèn) PS + PO

虛擬機(jī)參數(shù)

并行收集器相關(guān)參數(shù)

CMS處理器參數(shù)設(shè)置

JVM輔助信息參數(shù)設(shè)置

JVM GC垃圾回收器參數(shù)設(shè)置

JVM給出了3種選擇:串行收集器、并行收集器、并發(fā)收集器。串行收集器只適用于小數(shù)據(jù)量的情況,所以生產(chǎn)環(huán)境的選擇主要是并行收集器和并發(fā)收集器。默認(rèn)情況下JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在啟動時加入相應(yīng)參數(shù)。JDK5.0以后,JVM會根據(jù)當(dāng)前系統(tǒng)配置進(jìn)行智能判斷。

串行收集器-XX:+UseSerialGC:設(shè)置串行收集器。

并行收集器(吞吐量優(yōu)先)-XX:+UseParallelGC:設(shè)置為并行收集器。此配置僅對年輕代有效。即年輕代使用并行收集,而年老代仍使用串行收集。

-XX:ParallelGCThreads=20:配置并行收集器的線程數(shù),即:同時有多少個線程一起進(jìn)行垃圾回收。此值建議配置與CPU數(shù)目相等。

-XX:+UseParallelOldGC:配置年老代垃圾收集方式為并行收集。JDK6.0開始支持對年老代并行收集。

-XX:MaxGCPauseMillis=100:設(shè)置每次年輕代垃圾回收的最長時間(單位毫秒)。如果無法滿足此時間,JVM會自動調(diào)整年輕代大小,以滿足此時間。

-XX:+UseAdaptiveSizePolicy:設(shè)置此選項后,并行收集器會自動調(diào)整年輕代Eden區(qū)大小和Survivor區(qū)大小的比例,以達(dá)成目標(biāo)系統(tǒng)規(guī)定的最低響應(yīng)時間或者收集頻率等指標(biāo)。此參數(shù)建議在使用并行收集器時,一直打開。并發(fā)收集器(響應(yīng)時間優(yōu)先)

并行收集器

-XX:+UseConcMarkSweepGC:即CMS收集,設(shè)置年老代為并發(fā)收集。CMS收集是JDK1.4后期版本開始引入的新GC算法。它的主要適合場景是對響應(yīng)時間的重要性需求大于對吞吐量的需求,能夠承受垃圾回收線程和應(yīng)用線程共享CPU資源,并且應(yīng)用中存在比較多的長生命周期對象。CMS收集的目標(biāo)是盡量減少應(yīng)用的暫停時間,減少Full GC發(fā)生的幾率,利用和應(yīng)用程序線程并發(fā)的垃圾回收線程來標(biāo)記清除年老代內(nèi)存。

-XX:+UseParNewGC:設(shè)置年輕代為并發(fā)收集。可與CMS收集同時使用。JDK5.0以上,JVM會根據(jù)系統(tǒng)配置自行設(shè)置,所以無需再設(shè)置此參數(shù)。

-XX:CMSFullGCsBeforeCompaction=0:由于并發(fā)收集器不對內(nèi)存空間進(jìn)行壓縮和整理,所以運行一段時間并行收集以后會產(chǎn)生內(nèi)存碎片,內(nèi)存使用效率降低。此參數(shù)設(shè)置運行0次Full GC后對內(nèi)存空間進(jìn)行壓縮和整理,即每次Full GC后立刻開始壓縮和整理內(nèi)存。

-XX:+UseCMSCompactAtFullCollection:打開內(nèi)存空間的壓縮和整理,在Full GC后執(zhí)行。可能會影響性能,但可以消除內(nèi)存碎片。

-XX:+CMSIncrementalMode:設(shè)置為增量收集模式。一般適用于單CPU情況。

-XX:CMSInitiatingOccupancyFraction=70:表示年老代內(nèi)存空間使用到70%時就開始執(zhí)行CMS收集,以確保年老代有足夠的空間接納來自年輕代的對象,避免Full GC的發(fā)生。

其它垃圾回收參數(shù)

-XX:+ScavengeBeforeFullGC:年輕代GC優(yōu)于Full GC執(zhí)行。

-XX:-DisableExplicitGC:不響應(yīng) System.gc() 代碼。

-XX:+UseThreadPriorities:啟用本地線程優(yōu)先級API。即使 java.lang.Thread.setPriority() 生效,不啟用則無效。

-XX:SoftRefLRUPolicyMSPerMB=0:軟引用對象在最后一次被訪問后能存活0毫秒(JVM默認(rèn)為1000毫秒)。

-XX:TargetSurvivorRatio=90:允許90%的Survivor區(qū)被占用(JVM默認(rèn)為50%)。提高對于Survivor區(qū)的使用率。

JVM參數(shù)優(yōu)先級

-Xmn,-XX:NewSize/-XX:MaxNewSize,-XX:NewRatio 3組參數(shù)都可以影響年輕代的大小,混合使用的情況下,優(yōu)先級是什么?

答案如下:

高優(yōu)先級:-XX:NewSize/-XX:MaxNewSize 中優(yōu)先級:-Xmn(默認(rèn)等效 -Xmn=-XX:NewSize=-XX:MaxNewSize=?) 低優(yōu)先級:-XX:NewRatio

推薦使用-Xmn參數(shù),原因是這個參數(shù)簡潔,相當(dāng)于一次設(shè)定 NewSize/MaxNewSIze,而且兩者相等,適用于生產(chǎn)環(huán)境。-Xmn 配合 -Xms/-Xmx,即可將堆內(nèi)存布局完成。

-Xmn參數(shù)是在JDK 1.4 開始支持。

下面用一些小案例加深理解:

HelloGC是java代碼編譯后的一個class文件,代碼: 

  1. public class T01_HelloGC {  
  2.     public static void main(String[] args) {  
  3.         for(int i=0; i<10000; i++) {  
  4.             byte[] b = new byte[1024 * 1024];  
  5.         }  
  6.     }  

    1.  java -XX:+PrintCommandLineFlags HelloGC 

  1. [root@localhost courage]# java -XX:+PrintCommandLineFlags T01_HelloGC  
  2.   -XX:InitialHeapSize=61780800 -XX:MaxHeapSize=988492800 -XX:+PrintCommandLineFlags -XX  
  3.   :+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseParallelGC  

2. 

  1. java -Xmn10M -Xms40M -Xmx60M -XX:+PrintCommandLineFlags -XX:+PrintGC  HelloGC  
  2. PrintGCDetails PrintGCTimeStamps PrintGCCauses 

結(jié)果: 

  1. -XX:InitialHeapSize=41943040 -XX:MaxHeapSize=62914560 -XX:MaxNewSize=10485760 -XX:NewSize=10485760 -XX:+PrintCommandLineFlags -XX:+PrintGC -XX:+UseCompressedClassPointers -XX:+UseCompressedOops  
  2. -XX:+UseParallelGC[GC (Allocation Failure)  7839K->392K(39936K), 0.0015452 secs]  
  3. [GC (Allocation Failure)  7720K->336K(39936K), 0.0005439 secs]  
  4. [GC (Allocation Failure)  7656K->336K(39936K), 0.0005749 secs]  
  5. [GC (Allocation Failure)  7659K->368K(39936K), 0.0005095 secs]  
  6. [GC (Allocation Failure)  7693K->336K(39936K), 0.0004385 secs]  
  7. [GC (Allocation Failure)  7662K->304K(40448K), 0.0028468 secs]  
  8. ...... 

命令解釋:

 java:表示使用java執(zhí)行器執(zhí)行 -Xmn10M :表示設(shè)置年輕代值為10M -Xms40M :表示設(shè)置堆內(nèi)存的最小Heap值為40M -Xmx60M :表示設(shè)置堆內(nèi)存的最大Heap值為60M -XX:+PrintCommandLineFlags:打印顯式隱式參數(shù),就是結(jié)果前三行 -XX:+PrintGC : 打印垃圾回收有關(guān)信息 HelloGC :這是需要執(zhí)行的啟動類 PrintGCDetails :打印GC詳細(xì)信息 PrintGCTimeStamps :打印GC時間戳 PrintGCCauses :打印GC產(chǎn)生的原因

結(jié)果解釋:

    3.  java -XX:+UseConcMarkSweepGC -XX:+PrintCommandLineFlags HelloGC

表示使用CMS垃圾收集器,同時打印參數(shù) 打印結(jié)果: 

  1. -XX:InitialHeapSize=61780800   
  2.   -XX:MaxHeapSize=988492800   
  3.   -XX:MaxNewSize=329252864   
  4.   -XX:MaxTenuringThreshold=6   
  5.   -XX:OldPLABSize=16   
  6.   -XX:+PrintCommandLineFlags   
  7.   -XX:+UseCompressedClassPointers   
  8.   -XX:+UseCompressedOops   
  9.   -XX:+UseConcMarkSweepGC   
  10.   -XX:+UseParNewGC 

    4.  java -XX:+PrintFlagsInitial 默認(rèn)參數(shù)值

    5.   java -XX:+PrintFlagsFinal 最終參數(shù)值

    6.  java -XX:+PrintFlagsFinal | grep xxx 找到對應(yīng)的參數(shù)

    7.  java -XX:+PrintFlagsFinal -version |grep GC

JVM調(diào)優(yōu)流程

JVM調(diào)優(yōu),設(shè)計到三個大的方面,在服務(wù)器出現(xiàn)問題之前要先根據(jù)業(yè)務(wù)場景選擇合適的垃圾處理器,設(shè)置不同的虛擬機(jī)參數(shù),運行中觀察GC日志,分析性能,分析問題定位問題,虛擬機(jī)排錯等內(nèi)容,如果服務(wù)器掛掉了,要及時生成日志文件便于找到問題所在。

調(diào)優(yōu)前的基礎(chǔ)概念

目前的垃圾處理器中,一類是以吞吐量優(yōu)先,一類是以響應(yīng)時間優(yōu)先:

吞吐量=用戶代碼執(zhí)行時間用戶代碼執(zhí)行時間+垃圾回收執(zhí)行時間吞吐量=用戶代碼執(zhí)行時間用戶代碼執(zhí)行時間+垃圾回收執(zhí)行時間

響應(yīng)時間:STW越短,響應(yīng)時間越好

對吞吐量、響應(yīng)時間、QPS、并發(fā)數(shù)相關(guān)概念可以參考:吞吐量(TPS)、QPS、并發(fā)數(shù)、響應(yīng)時間(RT)概念

所謂調(diào)優(yōu),首先確定追求什么,是吞吐量? 還是追求響應(yīng)時間?還是在滿足一定的響應(yīng)時間的情況下,要求達(dá)到多大的吞吐量,等等。一般情況下追求吞吐量的有以下領(lǐng)域:科學(xué)計算、數(shù)據(jù)挖掘等。吞吐量優(yōu)先的垃圾處理器組合一般為:Parallel Scavenge + Parallel Old (PS + PO)。

而追求響應(yīng)時間的業(yè)務(wù)有:網(wǎng)站相關(guān) (JDK 1.8之后 G1,之前可以ParNew + CMS + Serial Old)

什么是調(diào)優(yōu)?

  1.  根據(jù)需求進(jìn)行JVM規(guī)劃和預(yù)調(diào)優(yōu)
  2.  優(yōu)化運行JVM運行環(huán)境(慢,卡頓)
  3.  解決JVM運行過程中出現(xiàn)的各種問題(OOM)

調(diào)優(yōu)之前的規(guī)劃

  •  調(diào)優(yōu),從業(yè)務(wù)場景開始,沒有業(yè)務(wù)場景的調(diào)優(yōu)都是耍流氓
  •  無監(jiān)控(壓力測試,能看到結(jié)果),不調(diào)優(yōu)
  •  步驟:

        1.

        2.  或者每天產(chǎn)生一個日志文件

        1.  響應(yīng)時間、停頓時間 [CMS G1 ZGC] (需要給用戶作響應(yīng))

        2.  吞吐量 = 用戶時間 /( 用戶時間 + GC時間) [PS+PO]

        1.  熟悉業(yè)務(wù)場景(沒有最好的垃圾回收器,只有最合適的垃圾回收器)

        2.  選擇回收器組合

        3.  計算內(nèi)存需求(經(jīng)驗值 1.5G 16G)

        4.  選定CPU(越高越好)

        5.  設(shè)定年代大小、升級年齡

        6.  設(shè)定日志參數(shù)     

  1. -Xloggc:/opt/xxx/logs/xxx-xxx-gc-%t.log   
  2.      -XX:+UseGCLogFileRotation   
  3.      -XX:NumberOfGCLogFiles=5   
  4.      -XX:GCLogFileSize=20M   
  5.      -XX:+PrintGCDetails   
  6.      -XX:+PrintGCDateStamps   
  7.      -XX:+PrintGCCause 

日志參數(shù)解釋說明:

/opt/xxx/logs/xxx-xxx-gc-%t.log 中XXX表示路徑,%t表示時間戳,意思是給日志文件添加一個時間標(biāo)記,如果不添加的話,也就意味著每次虛擬機(jī)啟動都會使用原來的日志名,那么會被重寫。

Rotation中文意思是循環(huán)、輪流,意味著這個GC日志會循環(huán)寫

GCLogFileSize=20M 指定一個日志大小為20M,太大了不利于分析,太小又會產(chǎn)生過多的日志文件

NumberOfGCLogFiles=5 : 指定生成的日志數(shù)目

PrintGCDateStamps :PrintGCDateStamps會打印具體的時間,而PrintGCTimeStamps

主要打印針對JVM啟動的時候的相對時間,相對來說前者更消耗內(nèi)存。

    7.  觀察日志情況 日志有分析工具,可視化分析工具有GCeasy和GCViewer。

CPU高負(fù)荷排查流程

    1.  系統(tǒng)CPU經(jīng)常100%,如何調(diào)優(yōu)?(面試高頻) CPU100%那么一定有線程在占用系統(tǒng)資源,

        a.  找出哪個進(jìn)程cpu高(top)

        b.  該進(jìn)程中的哪個線程cpu高(top -Hp)

        c.  導(dǎo)出該線程的堆棧 (jstack)

        d.  查找哪個方法(棧幀)消耗時間 (jstack)

        e.  工作線程占比高 | 垃圾回收線程占比高

    2.  系統(tǒng)內(nèi)存飆高,如何查找問題?(面試高頻)

        a.  導(dǎo)出堆內(nèi)存 (jmap)

        b.  分析 (jhat jvisualvm mat jprofiler ... )

    3.  如何監(jiān)控JVM

        a.  jstat jvisualvm jprofiler arthas top...

CPU高負(fù)荷排查案例

    1.  測試代碼:   

  1. import java.math.BigDecimal;  
  2.    import java.util.ArrayList;  
  3.    import java.util.Date;  
  4.    import java.util.List;  
  5.    import java.util.concurrent.ScheduledThreadPoolExecutor;  
  6.    import java.util.concurrent.ThreadPoolExecutor;  
  7.    import java.util.concurrent.TimeUnit;  
  8.    /**  
  9.     * 從數(shù)據(jù)庫中讀取信用數(shù)據(jù),套用模型,并把結(jié)果進(jìn)行記錄和傳輸 
  10.     */  
  11.    public class T15_FullGC_Problem01 {  
  12.        private static class CardInfo {  
  13.            BigDecimal price = new BigDecimal(0.0);  
  14.            String name = "張三" 
  15.            int age = 5 
  16.            Date birthdate = new Date();  
  17.            public void m() {}  
  18.        }  
  19.        private static ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(50,  
  20.                new ThreadPoolExecutor.DiscardOldestPolicy());  
  21.        public static void main(String[] args) throws Exception {  
  22.            executor.setMaximumPoolSize(50);  
  23.            for (;;){  
  24.                modelFit();  
  25.                Thread.sleep(100);  
  26.            }  
  27.        }  
  28.        private static void modelFit(){  
  29.            List<CardInfo> taskList = getAllCardInfo();  
  30.            taskList.forEach(info -> {  
  31.                // do something  
  32.                executor.scheduleWithFixedDelay(() -> {  
  33.                    //do sth with info  
  34.                    info.m();  
  35.                }, 2, 3, TimeUnit.SECONDS);  
  36.            });  
  37.        }  
  38.        private static List<CardInfo> getAllCardInfo(){  
  39.            List<CardInfo> taskList = new ArrayList<>();  
  40.            for (int i = 0; i < 100; i++) {  
  41.                CardInfo ci = new CardInfo();  
  42.                taskList.add(ci); 
  43.            }  
  44.            return taskList;  
  45.        }  
  46.    } 

    2.  java -Xms200M -Xmx200M -XX:+PrintGC com.courage.jvm.gc.T15_FullGC_Problem01

    3.  收到CPU報警信息(CPU Memory)

    4.  top命令觀察到問題:內(nèi)存不斷增長 CPU占用率居高不下 

  1. [root@localhost ~]# top  
  2.   top - 22:03:18 up 40 min,  5 users,  load average: 0.09, 0.16, 0.34  
  3.   Tasks: 210 total,   1 running, 209 sleeping,   0 stopped,   0 zombie  
  4.   %Cpu(s):  0.2 us,  3.0 sy,  0.0 ni, 96.8 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st  
  5.   KiB Mem :  3861300 total,  2355260 free,   904588 used,   601452 buff/cache  
  6.   KiB Swap:  4063228 total,  4063228 free,        0 used.  2716336 avail Mem   
  7.      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND              
  8.      3751 root      20   0 3780976  93864  11816 S  42.2  2.4   0:21.00 java  
  9.     1868 mysql     20   0 1907600 357452  14744 S   0.7  9.3   0:17.40 mysqld  
  10.     3816 root      20   0  162124   2352   1580 R   0.3  0.1   0:00.12 top 

    5.  top -Hp 觀察進(jìn)程中的線程,哪個線程CPU和內(nèi)存占比高   

  1. [root@localhost ~]# top -Hp 3751  
  2.    top - 22:03:15 up 40 min,  5 users,  load average: 0.09, 0.16, 0.34  
  3.    Threads:  66 total,   0 running,  66 sleeping,   0 stopped,   0 zombie  
  4.    %Cpu(s):  0.0 us,  2.5 sy,  0.0 ni, 97.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st  
  5.    KiB Mem :  3861300 total,  2354800 free,   905048 used,   601452 buff/cache  
  6.    KiB Swap:  4063228 total,  4063228 free,        0 used.  2715876 avail Mem   
  7.       PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND            
  8.       3801 root      20   0 3780976  93864  11816 S  1.3  2.4   0:00.40 java  
  9.      3766 root      20   0 3780976  93864  11816 S  1.0  2.4   0:00.37 java  
  10.      3768 root      20   0 3780976  93864  11816 S  1.0  2.4   0:00.36 java  
  11.      3770 root      20   0 3780976  93864  11816 S  1.0  2.4   0:00.39 java 

   6.   jps定位具體java進(jìn)程,jstack 定位線程狀況 

  1. [root@localhost ~]# jstack 3751  
  2.   2021-02-07 22:03:03  
  3.   Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.271-b09 mixed mode):  
  4.   "Attach Listener" #59 daemon prio=9 os_prio=0 tid=0x00007f66bc002800 nid=0xf10 waiting on condition [0x0000000000000000]  
  5.      java.lang.Thread.State: RUNNABLE  
  6.   "pool-1-thread-50" #58 prio=5 os_prio=0 tid=0x00007f66fc1de800 nid=0xee7 waiting on condition [0x00007f66e4ecd000]  
  7.      java.lang.Thread.State: WAITING (parking)  
  8.    at sun.misc.Unsafe.park(Native Method)  
  9.    - parking to wait for  <0x00000000ff0083a0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)  
  10.   ...... 

需要注意的是,jstack與top -Hp Port導(dǎo)出的棧端口號存在十六進(jìn)制轉(zhuǎn)換關(guān)系,例如jstack導(dǎo)出的" nid=0xf10 "對應(yīng)"3801"。對于上面打印的信息,重點關(guān)注跟Waiting有關(guān)的,看看在等待什么,例如: 

  1. WAITING BLOCKED eg. waiting on <0x0000000088ca3310> (a java.lang.Object)  

假如有一個進(jìn)程中100個線程,很多線程都在waiting on ,一定要找到是哪個線程持有這把鎖,怎么找?搜索jstack dump的信息,看哪個線程持有這把鎖RUNNABLE。

如果僅僅是看JAVA線程,可以使用jps命令重點關(guān)注: 

  1. [root@localhost ~]# jps  
  2. 4818 Jps  
  3. 4746 T15_FullGC_Problem01 

    7.  為什么阿里規(guī)范里規(guī)定,線程的名稱(尤其是線程池)都要寫有意義的名稱 怎么樣自定義線程池里的線程名稱?(自定義ThreadFactory)

    8.  jinfo pid 進(jìn)程詳細(xì)信息 

  1. [root@localhost ~]# jinfo 6741  
  2. Attaching to process ID 6741, please wait...  
  3. Debugger attached successfully.  
  4. Server compiler detected.  
  5. JVM version is 25.271-b09  
  6. Java System Properties:  
  7. java.runtime.name = Java(TM) SE Runtime Environment  
  8. java.vm.version = 25.271-b09 
  9. sun.boot.library.path = /usr/local/java/jdk1.8.0_271/jre/lib/amd64  
  10. java.vendor.url = http://java.oracle.com/  
  11. java.vm.vendor = Oracle Corporation  
  12. path.separator = :  
  13. file.encoding.pkg = sun.io  
  14. java.vm.name = Java HotSpot(TM) 64-Bit Server VM  
  15. sun.os.patch.level = unknown  
  16. sun.java.launcher = SUN_STANDARD  
  17. user.country = CN  
  18. user.dir = /usr/courage/gc/com/courage  
  19. java.vm.specification.name = Java Virtual Machine Specification  
  20. java.runtime.version = 1.8.0_271-b09 
  21. java.awt.graphicsenv = sun.awt.X11GraphicsEnvironment  
  22. os.arch = amd64  
  23. java.endorsed.dirs = /usr/local/java/jdk1.8.0_271/jre/lib/endorsed  
  24. java.io.tmpdir = /tmp  
  25. line.separator =  
  26. java.vm.specification.vendor = Oracle Corporation  
  27. os.name = Linux  
  28. sun.jnu.encoding = UTF-8  
  29. java.library.path = /usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/  
  30. libjava.specification.name = Java Platform API Specification  
  31. java.class.version = 52.0  
  32. sun.management.compiler = HotSpot 64-Bit Tiered Compilers  
  33. os.version = 3.10.0-1127.el7.x86_64  
  34. user.home = /root  
  35. user.timezone =   
  36. java.awt.printerjob = sun.print.PSPrinterJob  
  37. file.encoding = UTF-8  
  38. java.specification.version = 1.8  
  39. user.name = root  
  40. java.class.path = .  
  41. java.vm.specification.version = 1.8  
  42. sun.arch.data.model = 64  
  43. sun.java.command = T15_FullGC_Problem01  
  44. java.home = /usr/local/java/jdk1.8.0_271/jre  
  45. user.language = zh  
  46. java.specification.vendor = Oracle Corporation  
  47. awt.toolkit = sun.awt.X11.XToolkit  
  48. java.vm.info = mixed mode  
  49. java.version = 1.8.0_271  
  50. java.ext.dirs = /usr/local/java/jdk1.8.0_271/jre/lib/ext:/usr/java/packages/l  
  51. ib/extsun.boot.class.path = /usr/local/java/jdk1.8.0_271/jre/lib/resources.jar:/usr  
  52. /local/java/jdk1.8.0_271/jre/lib/rt.jar:/usr/local/java/jdk1.8.0_271/jre/lib/sunrsasign.jar:/usr/local/java/jdk1.8.0_271/jre/lib/jsse.jar:/usr/local/java/jdk1.8.0_271/jre/lib/jce.jar:/usr/local/java/jdk1.8.0_271/jre/lib/charsets.jar:/usr/local/java/jdk1.8.0_271/jre/lib/jfr.jar:/usr/local/java/jdk1.8.0_271/jre/classesjava.vendor = Oracle Corporation 
  53.  file.separator = /  
  54. java.vendor.url.bug = http://bugreport.sun.com/bugreport/  
  55. sun.io.unicode.encoding = UnicodeLittle  
  56. sun.cpu.endian = little  
  57. sun.cpu.isalist =   
  58. VM Flags:  
  59. Non-default VM flags: -XX:CICompilerCount=3 -XX:InitialHeapSize=209715200 -XX 
  60. :MaxHeapSize=209715200 -XX:MaxNewSize=69730304 -XX:MinHeapDeltaBytes=524288 -XX:NewSize=69730304 -XX:OldSize=139984896 -XX:+PrintGC -XX:+UseCompressedClassPointers -XX:+UseCompressedOops -XX:+UseFastUnorderedTimeStamps -XX:+UseParallelGC Command line:  -Xms200M -Xmx200M -XX:+PrintGC 

    9.  jstat -gc 動態(tài)觀察gc情況 / 閱讀GC日志發(fā)現(xiàn)頻繁GC / arthas觀察 / jconsole/jvisualVM/ Jprofiler(最好用)

jstat gc 4655 500 : 每500毫秒打印端口4655的GC的情況

 

  •  **S0C:**第一個幸存區(qū)的大小
  •  **S1C:**第二個幸存區(qū)的大小
  •  **S0U:**第一個幸存區(qū)的使用大小
  •  **S1U:**第二個幸存區(qū)的使用大小
  •  **EC:**伊甸園區(qū)的大小
  •  **EU:**伊甸園區(qū)的使用大小
  •  **OC:**老年代大小
  •  **OU:**老年代使用大小
  •  **MC:**方法區(qū)大小
  •  **MU:**方法區(qū)使用大小
  •  **CCSC:**壓縮類空間大小
  •  **CCSU:**壓縮類空間使用大小
  •  **YGC:**年輕代垃圾回收次數(shù)
  •  **YGCT:**年輕代垃圾回收消耗時間
  •  **FGC:**老年代垃圾回收次數(shù)
  •  **FGCT:**老年代垃圾回收消耗時間
  •  **GCT:**垃圾回收消耗總時間

如果面試官問你是怎么定位OOM問題的?能否用圖形界面(不能!因為圖形界面會影響服務(wù)器性能) 1:已經(jīng)上線的系統(tǒng)不用圖形界面用什么?(cmdline arthas) 2:圖形界面到底用在什么地方?測試!測試的時候進(jìn)行監(jiān)控!(壓測觀察)

    10.  jmap -histo 6892 | head -10,查找有多少對象產(chǎn)生

 

  1. 這明顯能看出來是1對應(yīng)的類創(chuàng)造的實例instances太多了,反過來追蹤代碼 

   11.   jmap -dump:format=b,file=xxx pid :

線上系統(tǒng),內(nèi)存特別大,jmap執(zhí)行期間會對進(jìn)程產(chǎn)生很大影響,甚至卡頓(電商不適合) 1:設(shè)定了參數(shù)HeapDump,OOM的時候會自動產(chǎn)生堆轉(zhuǎn)儲文件 2:很多服務(wù)器備份(高可用),停掉這臺服務(wù)器對其他服務(wù)器不影響 3:在線定位(一般小點兒公司用不到) 

  1. [root@localhost ~]# jmap -dump:format=b,file=2021_2_8.dump 6892 
  2. Dumping heap to /root/2021_2_8.dump ... 
  3.  Heap dump file created 

dump文件存放位置:

 

   12.   java -Xms20M -Xmx20M -XX:+UseParallelGC -XX:+HeapDumpOnOutOfMemoryError com.courage.jvm.gc.T15_FullGC_Problem01 上面的意思是當(dāng)發(fā)生內(nèi)存溢出時自動生成堆轉(zhuǎn)儲文件,需要注意的是,如果生成了這個文件先不要重啟服務(wù)器,將這個文件保存好之后再重啟。

    13.  使用MAT / jhat /jvisualvm 進(jìn)行dump文件分析 

  1. [root@localhost ~]# jhat -J-Xmx512M 2021_2_8.dump 

報錯:

原因是設(shè)置的堆最大值太小了,將512M設(shè)置成1024M重新啟動即可: 

  1. ```shell  
  2. [root@localhost ~]# jhat -J-Xmx1024M 2021_2_8.dump  
  3. Reading from 2021_2_8.dump...  
  4. Dump file created Mon Feb 08 09:00:56 CST 2021  
  5. Snapshot read, resolving... 
  6. Resolving 4609885 objects...  
  7. Chasing references, expect 921 dots.......................................................... 
  8. .........................................................................................Eliminating duplicate references............................................................. 
  9. ......................................................................................Snapshot resolved. 
  10. Started HTTP server on port 7000  
  11. Server is ready.  
  12. ``` 
  13. 瀏覽器輸入請求http://192.168.182.130:7000 即可查看,拉到最后:找到對應(yīng)鏈接 可以使用OQL查找特定問題對象 

其他可以參考:白灰——軟件測試

    14.  最后找到代碼的問題

JVM調(diào)優(yōu)工具

jconsole遠(yuǎn)程連接

    1.  程序啟動加入?yún)?shù):     

  1. java -Djava.rmi.server.hostname=192.168.182.130   
  2. -Dcom.sun.management.jmxremote   
  3. -Dcom.sun.management.jmxremote.port=11111   
  4. -Dcom.sun.management.jmxremote.authenticate=false  
  5. -Dcom.sun.management.jmxremote.ssl=false XXX 

    2.  如果遭遇 Local host name unknown:XXX的錯誤,修改/etc/hosts文件,把XXX加入進(jìn)去   

  1. 192.168.182.130 basic localhost localhost.localdomain localhost4 localhost4.localdomain4  
  2. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 

    3.  關(guān)閉linux防火墻(實戰(zhàn)中應(yīng)該打開對應(yīng)端口) 

  1. service iptables stop  
  2. chkconfig iptables off #永久關(guān)閉 

    4.  windows上打開 jconsole遠(yuǎn)程連接 192.168.182.130:11111

jvisualvm遠(yuǎn)程連接

這個軟件在JDK8以后版本中移除了,使用的話需要額外下載,并且要在etc/visualvm.conf中修改默認(rèn)的JDK_Home地址。參考:使用jvisualvm的jstatd方式遠(yuǎn)程監(jiān)控Java程序

阿里巴巴Arthas

這個直接看官網(wǎng)就行了,純中文:Arthas 用戶文檔

JVM調(diào)優(yōu)案例

參數(shù)設(shè)置之承受海量訪問的動態(tài)Web應(yīng)用

服務(wù)器配置:8 核 CPU, 8G MEM, JDK 1.6.X

參數(shù)方案:-server -Xmx3550m -Xms3550m -Xmn1256m -Xss128k -XX:SurvivorRatio=6 -XX:MaxPermSize=256m -XX:ParallelGCThreads=8 -XX:MaxTenuringThreshold=0 -XX:+UseConcMarkSweepGC

調(diào)優(yōu)說明:-Xmx 與 -Xms 相同以避免JVM反復(fù)重新申請內(nèi)存。-Xmx 的大小約等于系統(tǒng)內(nèi)存大小的一半,即充分利用系統(tǒng)資源,又給予系統(tǒng)安全運行的空間。-Xmn1256m 設(shè)置年輕代大小為1256MB。此值對系統(tǒng)性能影響較大,Sun官方推薦配置年輕代大小為整個堆的3/8。-Xss128k 設(shè)置較小的線程棧以支持創(chuàng)建更多的線程,支持海量訪問,并提升系統(tǒng)性能。-XX:SurvivorRatio=6 設(shè)置年輕代中Eden區(qū)與Survivor區(qū)的比值。系統(tǒng)默認(rèn)是8,根據(jù)經(jīng)驗設(shè)置為6,則2個Survivor區(qū)與1個Eden區(qū)的比值為2:6,一個Survivor區(qū)占整個年輕代的1/8。-XX:ParallelGCThreads=8 配置并行收集器的線程數(shù),即同時8個線程一起進(jìn)行垃圾回收。此值一般配置為與CPU數(shù)目相等。-XX:MaxTenuringThreshold=0 設(shè)置垃圾最大年齡(在年輕代的存活次數(shù))。如果設(shè)置為0的話,則年輕代對象不經(jīng)過Survivor區(qū)直接進(jìn)入年老代。對于年老代比較多的應(yīng)用,可以提高效率;如果將此值設(shè)置為一個較大值,則年輕代對象會在Survivor區(qū)進(jìn)行多次復(fù)制,這樣可以增加對象再年輕代的存活時間,增加在年輕代即被回收的概率。根據(jù)被海量訪問的動態(tài)Web應(yīng)用之特點,其內(nèi)存要么被緩存起來以減少直接訪問DB,要么被快速回收以支持高并發(fā)海量請求,因此其內(nèi)存對象在年輕代存活多次意義不大,可以直接進(jìn)入年老代,根據(jù)實際應(yīng)用效果,在這里設(shè)置此值為0。-XX:+UseConcMarkSweepGC 設(shè)置年老代為并發(fā)收集。CMS(ConcMarkSweepGC)收集的目標(biāo)是盡量減少應(yīng)用的暫停時間,減少Full GC發(fā)生的幾率,利用和應(yīng)用程序線程并發(fā)的垃圾回收線程來標(biāo)記清除年老代內(nèi)存,適用于應(yīng)用中存在比較多的長生命周期對象的情況。

參數(shù)設(shè)置之內(nèi)部集成構(gòu)建服務(wù)器

高性能數(shù)據(jù)處理的工具應(yīng)用 服務(wù)器配置:1 核 CPU, 4G MEM, JDK 1.6.X 參數(shù)方案:-server -XX:PermSize=196m -XX:MaxPermSize=196m -Xmn320m -Xms768m -Xmx1024m 調(diào)優(yōu)說明:-XX:PermSize=196m -XX:MaxPermSize=196m 根據(jù)集成構(gòu)建的特點,大規(guī)模的系統(tǒng)編譯可能需要加載大量的Java類到內(nèi)存中,所以預(yù)先分配好大量的持久代內(nèi)存是高效和必要的。-Xmn320m 遵循年輕代大小為整個堆的3/8原則。-Xms768m -Xmx1024m 根據(jù)系統(tǒng)大致能夠承受的堆內(nèi)存大小設(shè)置即可。 

 

責(zé)任編輯:龐桂玉 來源: java版web項目
相關(guān)推薦

2012-01-10 14:35:08

JavaJVM

2010-09-25 13:05:07

JVM參數(shù)

2010-09-26 13:48:51

JVM調(diào)優(yōu)

2012-01-10 15:13:56

JavaJVM

2017-10-13 15:16:38

Java服務(wù)GC參數(shù)

2023-11-10 11:23:20

JVM內(nèi)存

2010-03-04 10:56:52

JVM參數(shù)

2017-10-17 14:02:30

jvm調(diào)優(yōu)工具

2012-01-10 14:18:40

JavaJVM

2019-12-20 14:21:26

JVM調(diào)優(yōu)垃圾回收

2012-01-09 16:53:36

JavaJVM

2012-01-09 16:02:19

JavaJVM

2010-09-17 17:02:24

JVM參數(shù)

2017-07-21 08:55:13

TomcatJVM容器

2023-11-11 19:07:23

JVMJava

2023-02-10 09:28:23

優(yōu)化工具

2019-11-01 08:49:07

JVM監(jiān)控性能

2012-01-10 11:19:35

JavaJVM

2012-01-09 17:06:16

JavaJVM

2021-09-06 11:02:17

JVM架構(gòu)調(diào)優(yōu)
點贊
收藏

51CTO技術(shù)棧公眾號

国产精品爽爽爽| 亚洲色图综合久久| 精品少妇人欧美激情在线观看| 国产综合视频在线| 国产情侣久久| 中文字幕日韩av电影| 无码人妻少妇色欲av一区二区| 2019中文字幕在线电影免费 | 91视频99| 亚洲高清毛片一区二区| av免费在线免费| 国产成都精品91一区二区三| 欧美尤物巨大精品爽| 老司机精品免费视频| 老司机aⅴ在线精品导航| 在线免费观看日本欧美| 麻豆一区二区三区在线观看| 国产三级在线看| 国产大陆a不卡| 国产精品三级美女白浆呻吟 | 国产精品theporn| 亚洲欧美在线免费| 精品人妻无码中文字幕18禁| 巨胸喷奶水www久久久免费动漫| 亚洲一区中文日韩| 亚洲欧洲三级| 男人天堂网在线| 国产v综合v亚洲欧| 91精品久久久久久久久久久久久| 国产黄色免费观看| 在线观看一区视频| 欧美成人在线影院| 91大神福利视频| 色综合综合网| 日韩电影中文字幕av| 欧美69精品久久久久久不卡| 日本精品在线一区| 色婷婷综合久久久久中文| 免费av手机在线观看| 亚洲丝袜一区| 亚洲色图制服诱惑| 亚洲毛片aa| 国产福利小视频在线| av网站免费线看精品| 成人在线观看91| 国产成人精品a视频| 激情五月激情综合网| 国产精品一区二区3区| 999视频在线| 欧美亚洲免费| 日本伊人精品一区二区三区介绍| 日韩成人在线免费视频| 国内精品福利| 高清欧美性猛交xxxx| 18岁成人毛片| 亚洲精品在线观看91| 久久精品99无色码中文字幕| 色www亚洲国产阿娇yao| 成人综合专区| 日韩在线资源网| 亚洲色图27p| 欧美电影三区| 欧美精品免费在线| 婷婷在线精品视频| 亚洲大胆av| 91sao在线观看国产| 欧美videossex极品| 爽好多水快深点欧美视频| 国产成人精品一区| 伊人免费在线观看| 国产乱码精品一区二区三区忘忧草| 亚洲专区中文字幕| 六月丁香综合网| 99国产精品国产精品久久| 久久伦理网站| 在线观看av的网站| 亚洲女人小视频在线观看| 日本男女交配视频| 日本不卡1234视频| 欧美日免费三级在线| www.午夜av| 极品束缚调教一区二区网站| 亚洲跨种族黑人xxx| 欧美老熟妇乱大交xxxxx| 久久国产影院| 97精品一区二区视频在线观看| 国产免费av一区| 久久国产精品99精品国产| 99re国产| 国产永久免费高清在线观看视频| 国产精品国产三级国产专播品爱网 | 美女啪啪无遮挡免费久久网站| 九九在线观看视频| 久久在线91| 91人人爽人人爽人人精88v| 东京干手机福利视频| 日本一区二区综合亚洲| 久久久无码中文字幕久...| 91九色porn在线资源| 在线视频国内一区二区| 涩视频在线观看| 国产剧情在线观看一区| 久久999免费视频| 日韩精选在线观看| 国产999精品久久久久久| 欧美一区二区三区四区在线观看地址| 嫩草在线视频| 色综合中文综合网| 美女被爆操网站| 精品国产乱码久久久久久1区2匹| 欧美激情视频一区二区| 中文字幕一区二区三区免费看| 国产mv日韩mv欧美| 欧洲av一区| tube8在线hd| 欧美久久久一区| 欧美色图亚洲激情| 狠狠综合久久av一区二区老牛| 国产精品入口福利| 亚洲av电影一区| 亚洲美女视频一区| 亚洲污视频在线观看| 日韩av三区| 欧美激情精品久久久久久变态| 中文字幕永久在线观看| 91一区二区三区在线观看| 久久精品在线免费视频| 日本久久久久| 国产亚洲美女精品久久久| 91av在线免费视频| 国产91综合一区在线观看| 致1999电视剧免费观看策驰影院| 一区二区视频免费完整版观看| 亚洲第一av网| 国产精品自拍视频一区| 国产精品18久久久久久久网站| 亚洲午夜精品久久久中文影院av | 99欧美视频| 国产精品成人av在线| 深夜视频在线免费| 五月婷婷久久丁香| 国产精品久久久久久亚洲色 | 一区二区三区精彩视频| 久久婷婷综合激情| 日韩免费毛片视频| 亚洲精品456| 日本免费久久高清视频| 欧美捆绑视频| 色哟哟国产精品| 黄色短视频在线观看| 99精品视频免费观看| 国产精品免费一区二区三区四区| 污污网站在线观看| 日韩欧美不卡在线观看视频| 久草视频免费播放| 粉嫩蜜臀av国产精品网站| 欧美在线观看黄| 1204国产成人精品视频| 久久久久久久国产| 无码精品人妻一区二区| 日韩欧美国产骚| 少妇按摩一区二区三区| 丝袜美腿亚洲综合| 天天综合狠狠精品| japansex久久高清精品| 欧美麻豆久久久久久中文| 国产黄色片网站| 亚洲成人动漫在线观看| 蜜臀av一区二区三区有限公司| 欧美一级久久| 一区二区三区四区五区视频| 蜜桃在线一区| 性色av一区二区三区| 黄色视屏网站在线免费观看| 欧美网站大全在线观看| www.av免费| av电影一区二区| 日本熟妇人妻xxxxx| 久久精品av| 亚洲综合自拍一区| 免费成人在线电影| 中文字幕精品www乱入免费视频| 91女人18毛片水多国产| 亚洲高清中文字幕| 日本黄色网址大全| 国产在线视视频有精品| 霍思燕三级露全乳照| 精品免费在线| 超碰国产精品久久国产精品99| 9999精品成人免费毛片在线看| 亚洲欧美日韩久久久久久| 国产麻豆免费观看| 欧美日韩中国免费专区在线看| 人与嘼交av免费| 岛国精品一区二区| jizz欧美激情18| 国内精品嫩模av私拍在线观看| 青青草成人激情在线| 三级欧美日韩| 国产精品久久久91| 成年人在线网站| 久久九九亚洲综合| 欧洲亚洲在线| 欧美xxxx在线观看| 一级片在线免费播放| 亚洲一区二区视频| 老司机精品免费视频| 成人动漫视频在线| 亚洲一二三av| www..com.cn蕾丝视频在线观看免费版 | 亚洲精品久久久一区二区三区| 午夜一级黄色片| 亚洲综合成人在线| 国产喷水在线观看| 久久久久久夜精品精品免费| 宇都宫紫苑在线播放| 丝瓜av网站精品一区二区| 日韩精品一区二区免费| 色综合狠狠操| 日本不卡免费新一二三区| 综合伊人久久| 999热视频| 精品国产乱码久久久久久樱花| 国产精品激情av电影在线观看| 阿v视频在线| 欧美人在线观看| 看黄网站在线观看| 最近2019年中文视频免费在线观看| 性感美女福利视频| 亚洲成色www8888| www.国产.com| 日韩一区二区精品在线观看| 11024精品一区二区三区日韩| 日本韩国欧美国产| 超碰中文字幕在线| 亚洲成人av在线电影| 国产精品白嫩白嫩大学美女| 1区2区3区精品视频| 日韩av片在线| 亚洲国产精品黑人久久久| 色无极影院亚洲| 久久久久久日产精品| 久久精品综合视频| 91在线云播放| 91av在线免费| 97超碰欧美中文字幕| 中文字幕av观看| 久久久久国产一区二区三区四区| 国产福利在线观看视频| 不卡的看片网站| 精品人妻伦一二三区久| www.视频一区| 成人免费看aa片| 国产午夜精品一区二区三区嫩草 | 一区二区免费视频| a级片在线观看免费| 亚洲一区二区三区精品在线| 久久久久免费看| 亚洲成人资源在线| 日韩成人免费在线视频| 国产欧洲在线| 伊人久久大香线蕉av一区二区| 国产女主播在线写真| 中文字幕欧美专区| 成人在线免费看片| 久久久久九九九九| 国产精品xx| 国产精品黄视频| www.91精品| 国产精品久久亚洲| 伊甸园亚洲一区| 这里只有精品66| 欧美特黄一区| 麻豆av免费在线| 国产中文字幕一区| www男人天堂| 久久人人爽人人爽| 日本黄色录像视频| 亚洲妇熟xx妇色黄| 无码人妻精品一区二| 91精品国产综合久久国产大片| 亚洲国产成人一区二区| 亚洲精品一区久久久久久| www.亚洲视频| 色综合男人天堂| free欧美| av观看久久| 亚洲欧美日本伦理| 天堂v在线视频| 99国产精品私拍| 老司机久久精品| 91色|porny| 午夜精品福利在线视频| 欧美日韩国产精品一区二区不卡中文| 国产一级精品毛片| 亚洲а∨天堂久久精品9966| jizz日韩| 91精品国产色综合久久不卡98口| 欧美一级网址| 久久久com| 欧美激情1区| 日本精品www| 成人精品一区二区三区中文字幕| 欧美午夜激情影院| 亚洲成在人线免费| 亚洲天堂网在线视频| 日韩精品中文字幕久久臀| a天堂中文在线官网在线| 国产91精品久久久久| 视频一区中文字幕精品| 先锋在线资源一区二区三区| 9色精品在线| 任你躁av一区二区三区| 国产精品国产三级国产普通话蜜臀| 久久亚洲精品国产| 日韩欧美一级二级| 亚洲s色大片| 欧美在线视频网站| 一区二区三区高清在线观看| 一区二区免费电影| 久久最新视频| 国产又粗又猛又色| 一区二区三区高清| 国产精品扒开腿做爽爽爽男男 | 91黄视频在线| 天天操天天干天天舔| 九色精品免费永久在线| 亚洲伦理一区二区| 一区二区不卡在线| 日本少妇一区二区| 色噜噜日韩精品欧美一区二区| 亚洲成人动漫av| 成人毛片视频免费看| 超薄丝袜一区二区| 四虎精品在线观看| 亚洲开发第一视频在线播放| 日韩国产一区二| 免费污网站在线观看| 欧美性xxxxx| 欧洲亚洲在线| 全亚洲最色的网站在线观看| 亚洲欧美日本伦理| 国产精品亚洲αv天堂无码| 99精品视频中文字幕| 国产奶水涨喷在线播放| 欧美mv和日韩mv的网站| 日本资源在线| 国产伦精品一区二区三区照片91| 韩日成人av| 涩视频在线观看| 精品动漫一区二区三区| 亚州av在线播放| 国产成+人+综合+亚洲欧洲| 九九久久电影| 天天操天天爽天天射| 国产精品区一区二区三区| 一区二区三区免费观看视频| 精品久久久999| 亚洲五码在线| 国产欧美日韩网站| 久久综合99re88久久爱| 国产精品乱码一区二区视频| 综合136福利视频在线| 国产日本亚洲| 美脚丝袜脚交一区二区| 2017欧美狠狠色| 在线观看国产一区二区三区| 久久视频在线免费观看| av日韩精品| 日本精品一区二区三区四区| 国产午夜精品一区二区三区四区| 亚洲中文字幕在线一区| 久久91亚洲精品中文字幕奶水| 久久精品66| 99999精品视频| 国产精品系列在线| 精品人妻伦一二三区久久 | 中文字幕精品av| 玖玖精品一区| www.中文字幕在线| 国产日韩v精品一区二区| 国产999久久久| 91sa在线看| 999精品视频| 国产伦精品一区二区三区精品| 色欧美片视频在线观看在线视频| 日韩毛片久久久| 婷婷久久综合九色综合绿巨人| av大全在线观看| 久久精品亚洲国产| 日本亚洲不卡| 亚洲理论中文字幕| 黄网动漫久久久| 黄色在线免费网站| 久久久久久久久一区二区| 极品少妇一区二区三区精品视频| 国产精久久久久久| 日韩在线免费高清视频| 性欧美xxxx免费岛国不卡电影| 伊人免费视频二|