SRX

Hi,

 

We have two nodes SRX3600 in cluster. The cpu is very high. The process nstraced is at 63% and we don´t know the cause.

 

{noformat}
> show system processes summary
node0:
--------------------------------------------------------------------------
last pid: 52715;  load averages:  1.94,  2.01,  1.99  up 322+11:55:04    13:42:25
156 processes: 6 running, 123 sleeping, 27 waiting

Mem: 243M Active, 29M Inact, 110M Wired, 394M Cache, 110M Buf, 204M Free
Swap: 2046M Total, 2046M Free


  PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
 6192 root           1 131    0  6428K  2412K RUN     45.4H 64.40% nstraced

node1:
--------------------------------------------------------------------------
last pid: 98921;  load averages:  0.01,  0.05,  0.01  up 322+11:59:02    13:19:05
111 processes: 3 running, 81 sleeping, 27 waiting

Mem: 146M Active, 26M Inact, 73M Wired, 258M Cache, 110M Buf, 478M Free
Swap: 2046M Total, 2046M Free


  PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   11 root           1 171   52     0K    16K RUN    7194.9 93.70% idle
{noformat}

{noformat}
> show system processes extensive
node0:
--------------------------------------------------------------------------
last pid: 56916;  load averages:  2.30,  2.08,  2.02  up 322+11:58:49    13:46:10
156 processes: 7 running, 123 sleeping, 26 waiting

Mem: 244M Active, 29M Inact, 109M Wired, 394M Cache, 110M Buf, 204M Free
Swap: 2046M Total, 2046M Free


  PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
 6192 root           1 132    0  6428K  2412K RUN     45.4H 64.65% nstraced
   12 root           1 -40 -159     0K    16K WAIT    59.7H  5.27% swi2: net
 1112 root           1 129    0 33460K 15764K select 377.7H  4.64% chassisd
   25 root           1 -68 -187     0K    16K RUN     26.7H  1.03% irq36: tsec1
   11 root           1 171   52     0K    16K RUN    6270.0  0.00% idle
   13 root           1 -20 -139     0K    16K RUN     77.2H  0.00% swi7: clock
 1027 root           1  76    0     0K    16K         56.2H  0.00% bcmLINK.0
 1129 root           1  97    0  7832K  3352K select 877:56  0.00% rtlogd
   15 root           1 -16    0     0K    16K -      575:24  0.00% yarrow
    9 root           1 171   52     0K    16K RUN    377:36  0.00% pagezero
 1156 root           1  96    0 12720K  6372K select 369:39  0.00% l2ald
 1181 root           1  96    0 23464K 19012K select 369:16  0.00% snmpd
   48 root           1  76    0     0K    16K sleep  366:09  0.00% netdaemon
 1142 root           1  76  -20  8132K  3740K select 299:10  0.00% jsrpd
 1149 root           2  96    0 16856K  5716K select 241:38  0.00% pfed
 1132 root           1   4    0  1724K   376K -      234:00  0.00% nfsd
   24 root           1 -68 -187     0K    16K WAIT   221:53  0.00% irq35: tsec1
 1182 root           1  96    0 13064K  7524K select 188:15  0.00% mib2d
 1109 root           1  96    0  1980K   820K select 161:03  0.00% bslockd
 1128 root           1  96    0 22412K  7588K select 151:10  0.00% idpd
 1155 root           1   4    0 37016K  9864K kqread 115:35  0.00% rpd
    1 root           1   8    0  1384K   736K wait   107:49  0.00% init
 1113 root           1  96    0  5508K  2192K select 100:29  0.00% alarmd
   47 root           1 -16    0     0K    16K sdflus  82:29  0.00% softdepflush
 1133 root           1  96    0  3708K   960K select  78:58  0.00% license-check
   57 root           1 -16    0     0K    16K -       67:30  0.00% schedcpu
  889 root           1  96    0  5192K  2188K select  63:39  0.00% eventd
 1184 root           1  96    0  4820K  2076K select  58:27  0.00% irsd
    3 root           1  -8    0     0K    16K -       56:19  0.00% g_up
    4 root           1  -8    0     0K    16K -       53:36  0.00% g_down
 1143 root           1  96    0  2488K  2336K select  51:35  0.00% ntpd
 1163 root           1   4    0 12560K  5424K kqread  49:12  0.00% l2cpd
 1180 root           1  96    0 31108K  6812K select  46:24  0.00% dcd
   44 root           1  20    0     0K    16K syncer  46:14  0.00% syncer
   50 root           1 -16    0     0K    16K psleep  43:15  0.00% vmkmemdaemon
    2 root           1  -8    0     0K    16K -       40:56  0.00% g_event
 1168 root           1  96    0  8040K  3316K select  38:32  0.00% pkid
 1159 root           1  96    0 15612K  6116K select  38:30  0.00% kmd
   46 root           1  20    0     0K    16K vnlrum  35:35  0.00% vnlru_mem
   38 root           1 -64 -183     0K    16K WAIT    16:21  0.00% irq0: atapci0
 1161 root           1  96    0  7720K  3184K select  15:40  0.00% bfdd
 1157 root           1  96    0  7800K  3640K select  12:52  0.00% rmopd
   42 root           1 -44 -163     0K    16K WAIT    12:36  0.00% swi1: ipfwd
  950 nobody         6 106    0  8028K  4348K ucond   11:06  0.00% httpd
 1162 root           1  96    0  9068K  3484K select  10:06  0.00% lacpd
 1114 root           1  96    0  6672K  1992K select   9:11  0.00% craftd
 1158 root           1  96    0 16064K  4960K select   8:22  0.00% cosd
 1160 root           1  96    0  6048K  2768K select   7:24  0.00% ppmd
 1118 root           1  97    0  3488K  1160K select   4:27  0.00% inetd
   45 root           1  -4    0     0K    16K vlruwt   4:08  0.00% vnlru
 1165 root           1  96    0 12976K  3116K select   4:03  0.00% bdbrepd
   43 root           1 -16    0     0K    16K psleep   4:00  0.00% bufdaemon
   52 root           1 -16    0     0K    16K psleep   3:50  0.00% vmuncachedaemon
 1115 root           1  96    0 42888K 29084K select   2:55  0.00% mgd
 1173 root           1  96    0  4924K  1864K select   2:29  0.00% smtpd
 1231 root           1   4    0     0K    16K peer_s   2:25  0.00% peer proxy
 1183 root           1  96    0 10416K  5108K select   2:12  0.00% dfwd
 1232 root           1   4    0     0K    16K peer_s   2:12  0.00% peer proxy
 1122 root           1  96    0  2064K   932K select   2:10  0.00% smartd
 1169 root           1  96    0  6860K  3308K select   1:25  0.00% httpd-gk
 1245 root           1   4    0     0K    16K peer_s   1:08  0.00% peer proxy
 1244 root           1   4    0     0K    16K peer_s   1:07  0.00% peer proxy
 1243 root           1   4    0     0K    16K peer_s   1:06  0.00% peer proxy
 1241 root           1   4    0     0K    16K peer_s   1:06  0.00% peer proxy
 1240 root           1   4    0     0K    16K peer_s   1:06  0.00% peer proxy
 1242 root           1   4    0     0K    16K peer_s   1:05  0.00% peer proxy
  874 root           1  96    0  1780K   700K select   0:53  0.00% usbd
99872 root           1  96    0  7268K  2552K select   0:53  0.00% sshd
 1203 root           1   4    0     0K    16K peer_s   0:51  0.00% peer proxy
 1108 root           1  96    0  1692K   532K select   0:48  0.00% watchdog
    7 root           1 -16    0     0K    16K psleep   0:47  0.00% pagedaemon
   58 root           1  -8    0     0K    16K mdwait   0:34  0.00% md0
 1119 root           1   4    0  1692K   564K sbwait   0:32  0.00% tnp.sntpd
  598 root           1   8    0  1892K   636K nanslp   0:29  0.00% cron
 9368 root           1  96    0 11316K  6792K select   0:16  0.00% nsd
   34 root           1   8    0     0K    16K usbevt   0:04  0.00% usb0
    5 root           1   8    0     0K    16K -        0:04  0.00% thread taskq
   37 root           1   8    0     0K    16K usbevt   0:04  0.00% usb1
  119 root           1  -8    0     0K    16K mdwait   0:03  0.00% md1
16158 root           1   8    0 24256K 14208K wait     0:01  0.00% cli
15933 root           1  96    0  7108K  2448K select   0:01  0.00% sshd
16179 root           1  96    0 42980K  4048K select   0:01  0.00% mgd
18930 root           1  97    0  7108K  2440K select   0:01  0.00% sshd
 1172 root           1  96    0  4956K  1508K select   0:00  0.00% vsysd
22100 root           1  96    0  7556K  2848K select   0:00  0.00% sshd
51091 root           1 115    0  7112K  2436K select   0:00  0.00% sshd
31233 root           1  96    0  7112K  2456K select   0:00  0.00% sshd
   19 root           1 -12 -131     0K    16K WAIT     0:00  0.00% swi9: task queue
52010 root           1  96    0 24244K 14152K select   0:00  0.00% cli
51090 root           1 112    0  7108K  2432K select   0:00  0.00% sshd
   39 root           1 -52 -171     0K    16K WAIT     0:00  0.00% irq43: i2c0 i2c1
59215 root           1  96    0  7132K  2480K select   0:00  0.00% sshd
18512 root           1  97    0  7112K  2444K select   0:00  0.00% sshd
22092 root           1  97    0  7108K  2440K select   0:00  0.00% sshd
   23 root           1 -48 -167     0K    16K WAIT     0:00  0.00% swi0: uart uart+++
 1141 root           1  96    0  5112K  2216K select   0:00  0.00% fsad
   40 root           1 -36 -155     0K    16K WAIT     0:00  0.00% swi3: ip6opt ipopt
52011 root           1  97    0 42936K  2972K select   0:00  0.00% mgd
 1144 root           1  96    0  6548K  2392K select   0:00  0.00% sdxd
 1131 root           1   4    0  1732K   736K select   0:00  0.00% nfsd
16056 root           1  20    0  4344K  2668K pause    0:00  0.00% csh
 1127 root           1  96    0  8728K  3324K select   0:00  0.00% appidd
49959 root           1  20    0  4312K  2516K pause    0:00  0.00% csh
 1166 root           1   4    0  6772K  2580K select   0:00  0.00% sendd
 1110 root           1  96    0  1916K   804K select   0:00  0.00% tnetd
 1130 root           1  96    0  1980K  1040K select   0:00  0.00% mountd
51164 root           1  98    0 42952K  2564K select   0:00  0.00% mgd
31257 root           1  98    0 42952K  2560K select   0:00  0.00% mgd
 1164 root           1   4    0  4948K  1752K select   0:00  0.00% mplsoamd
 1170 root           1  96    0  5260K  2140K select   0:00  0.00% gprsd
51174 root           1  98    0 42952K  2464K select   0:00  0.00% mgd
56915 root           1  98    0 42920K  2516K select   0:00  0.00% mgd
69449 root           1   5    0  1984K   816K ttyin    0:00  0.00% getty
56916 root           1 101    0 22908K  1392K RUN      0:00  0.00% top
56914 root           1 132    0  2056K   832K RUN      0:00  0.00% gzip
49958 root           1   8    0  2360K  1124K wait     0:00  0.00% sh
 1186 root           1  96    0  3036K   908K select   0:00  0.00% relayd
   51 root           1   4    0     0K    16K pfeacc   0:00  0.00% if_pfe_listen
    6 root           1   8    0     0K    16K -        0:00  0.00% kqueue taskq
    0 root           1 -16    0     0K     0K WAIT     0:00  0.00% swapper
   49 root           1   4    0     0K    16K pfeacc   0:00  0.00% if_pic_listen0
   53 root           1   8    0     0K    16K -        0:00  0.00% nfsiod 0
   56 root           1   8    0     0K    16K -        0:00  0.00% nfsiod 3
    8 root           1  20    0     0K    16K psleep   0:00  0.00% vmdaemon
   54 root           1   8    0     0K    16K -        0:00  0.00% nfsiod 1
   55 root           1   8    0     0K    16K -        0:00  0.00% nfsiod 2
   35 root           1   8    0     0K    16K usbtsk   0:00  0.00% usbtask
   10 root           1 -16    0     0K    16K ktrace   0:00  0.00% ktrace
   16 root           1 -12 -131     0K    16K WAIT     0:00  0.00% swi9: +
   17 root           1 -16 -135     0K    16K WAIT     0:00  0.00% swi8: +
   14 root           1 -24 -143     0K    16K WAIT     0:00  0.00% swi6: vm
   18 root           1 -28 -147     0K    16K WAIT     0:00  0.00% swi5: cambio
   41 root           1 -32 -151     0K    16K WAIT     0:00  0.00% swi4: ip6mismatch+
   36 root           1 -64 -183     0K    16K WAIT     0:00  0.00% irq3: ehci1
   33 root           1 -64 -183     0K    16K WAIT     0:00  0.00% irq6: ehci0
   31 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq38: tsec3
   32 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq39: tsec3
   27 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq31: tsec2
   21 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq7: recb0
   22 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq10: recb0
   26 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq40: tsec1
   20 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq4: recb0
   28 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq32: tsec2
   29 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq33: tsec2
   30 root           1 -68 -187     0K    16K WAIT     0:00  0.00% irq37: tsec3

{noformat}

Other commands:

{noformat}
show | display set | match traceoptions
set security ike traceoptions file kmd
set security ike traceoptions flag ike
set security ike traceoptions flag policy-manager
set security ike traceoptions flag routing-socket
set security traceoptions file security
set security traceoptions flag all
set security flow traceoptions flag all
{noformat}


{noformat}
# run show system storage
node0:
--------------------------------------------------------------------------
Filesystem              Size       Used      Avail  Capacity   Mounted on
/dev/ad0s1a             891M       219M       600M       27%  /
devfs                   1.0K       1.0K         0B      100%  /dev
/dev/md0                510M       510M         0B      100%  /junos
/cf                     891M       219M       600M       27%  /junos/cf
devfs                   1.0K       1.0K         0B      100%  /junos/dev/
procfs                  4.0K       4.0K         0B      100%  /proc
/dev/ad0s1e              99M       146K        91M        0%  /config
/dev/ad2s1f              12G       1.8G       9.1G       17%  /var
/dev/md1               1006M       5.4M       920M        1%  /mfs
/var/jail                12G       1.8G       9.1G       17%  /jail/var
/var/log                 12G       1.8G       9.1G       17%  /jail/var/log
devfs                   1.0K       1.0K         0B      100%  /jail/dev

node1:
--------------------------------------------------------------------------
Filesystem              Size       Used      Avail  Capacity   Mounted on
/dev/ad0s1a             891M       395M       424M       48%  /
devfs                   1.0K       1.0K         0B      100%  /dev
/dev/md0                510M       510M         0B      100%  /junos
/cf                     891M       395M       424M       48%  /junos/cf
devfs                   1.0K       1.0K         0B      100%  /junos/dev/
procfs                  4.0K       4.0K         0B      100%  /proc
/dev/ad0s1e              99M       146K        91M        0%  /config
/dev/ad2s1f              12G       441M        10G        4%  /var
/dev/md1               1006M      1022K       924M        0%  /mfs
/var/jail                12G       441M        10G        4%  /jail/var
/var/log                 12G       441M        10G        4%  /jail/var/log
devfs                   1.0K       1.0K         0B      100%  /jail/dev
{noformat}



{noformat}
 show chassis routing-engine
node0:
--------------------------------------------------------------------------
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    DRAM                      1023 MB
    Memory utilization          46 percent
    CPU utilization:
      User                      28 percent
      Background                 0 percent
      Kernel                    62 percent
      Interrupt                  9 percent
      Idle                       0 percent
    Model                          RE-PPC-1200-A
    Start time                     2012-01-09 01:48:01 UTC
    Uptime                         322 days, 14 hours, 59 minutes, 23 seconds
    Last reboot reason             0x1:power cycle/failure
    Load averages:                 1 minute   5 minute  15 minute
                                       2.12       2.13       2.04

node1:
--------------------------------------------------------------------------
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    DRAM                      1023 MB
    Memory utilization          28 percent
    CPU utilization:
      User                       0 percent
      Background                 0 percent
      Kernel                     6 percent
      Interrupt                  0 percent
      Idle                      94 percent
    Model                          RE-PPC-1200-A
    Start time                     2012-01-09 01:20:33 UTC
    Uptime                         322 days, 15 hours, 3 minutes, 22 seconds
    Last reboot reason             0x1:power cycle/failure
    Load averages:                 1 minute   5 minute  15 minute
                                       0.46       0.23       0.12

{primary:node0}
{noformat}



{noformat}
> show security monitoring performance spu
node0:
--------------------------------------------------------------------------
fpc  7  pic  0
Last 60 seconds:
 0:   5   1:   4   2:   6   3:   4   4:   4   5:   5
 6:   4   7:   3   8:   5   9:   3  10:   3  11:   5
12:   4  13:   3  14:   3  15:   4  16:   3  17:   3
18:   4  19:   2  20:   3  21:   4  22:   3  23:   4
24:   5  25:   4  26:   4  27:   5  28:   4  29:   4
30:   4  31:   4  32:   4  33:   4  34:   4  35:   4
36:   4  37:   2  38:   3  39:   4  40:   4  41:   3
42:   4  43:   4  44:   3  45:   3  46:   3  47:   4
48:   4  49:   3  50:   5  51:   3  52:   4  53:   5
54:   5  55:   7  56:   9  57:  11  58:   8  59:   7
fpc  8  pic  0
Last 60 seconds:
 0:  19   1:  17   2:  20   3:  17   4:  13   5:  13
 6:  31   7:  24   8:  23   9:  18  10:  16  11:  18
12:  16  13:  19  14:  24  15:  23  16:  17  17:  14
18:  13  19:   9  20:   8  21:  16  22:  10  23:   9
24:  15  25:  13  26:   9  27:  18  28:  14  29:  11
30:  27  31:  23  32:  19  33:  16  34:  13  35:  11
36:  13  37:   8  38:   7  39:   9  40:  11  41:  13
42:  13  43:   9  44:   7  45:   9  46:   7  47:  10
48:   9  49:   8  50:  10  51:   8  52:   8  53:  10
54:  10  55:   9  56:   9  57:  13  58:   8  59:   8
fpc  9  pic  0
Last 60 seconds:
 0:   8   1:   7   2:   9   3:   5   4:   8   5:  14
 6:   9   7:   5   8:  12   9:  10  10:   8  11:   8
12:  15  13:  12  14:   9  15:  16  16:  19  17:  19
18:  15  19:  11  20:  10  21:  17  22:  12  23:  10
24:  19  25:  16  26:  15  27:  16  28:  15  29:  11
30:   7  31:  10  32:  12  33:   9  34:   9  35:  23
36:  17  37:  11  38:   6  39:   9  40:  21  41:  16
42:  13  43:  10  44:   6  45:   5  46:   5  47:   7
48:   6  49:   5  50:   6  51:   5  52:   7  53:   8
54:   8  55:   8  56:  10  57:  11  58:   9  59:   7

node1:
--------------------------------------------------------------------------
fpc  7  pic  0
Last 60 seconds:
 0:   0   1:   0   2:   0   3:   0   4:   0   5:   0
 6:   0   7:   0   8:   0   9:   0  10:   0  11:   0
12:   0  13:   0  14:   0  15:   0  16:   0  17:   0
18:   0  19:   0  20:   0  21:   0  22:   0  23:   0
24:   0  25:   0  26:   0  27:   0  28:   0  29:   0
30:   0  31:   0  32:   0  33:   0  34:   0  35:   0
36:   0  37:   0  38:   0  39:   0  40:   0  41:   0
42:   0  43:   0  44:   0  45:   0  46:   0  47:   0
48:   0  49:   0  50:   0  51:   0  52:   0  53:   0
54:   0  55:   0  56:   0  57:   0  58:   0  59:   0
fpc  8  pic  0
Last 60 seconds:
 0:   0   1:   0   2:   0   3:   0   4:   0   5:   0
 6:   0   7:   0   8:   0   9:   0  10:   0  11:   0
12:   0  13:   0  14:   0  15:   0  16:   0  17:   0
18:   0  19:   0  20:   0  21:   0  22:   0  23:   0
24:   0  25:   0  26:   0  27:   0  28:   0  29:   0
30:   0  31:   0  32:   0  33:   0  34:   0  35:   0
36:   0  37:   0  38:   0  39:   0  40:   0  41:   0
42:   0  43:   0  44:   0  45:   0  46:   0  47:   0
48:   0  49:   0  50:   0  51:   0  52:   0  53:   0
54:   0  55:   0  56:   0  57:   0  58:   0  59:   0
fpc  9  pic  0
Last 60 seconds:
 0:   0   1:   0   2:   0   3:   0   4:   0   5:   0
 6:   0   7:   0   8:   0   9:   0  10:   0  11:   0
12:   0  13:   0  14:   0  15:   0  16:   0  17:   0
18:   0  19:   0  20:   0  21:   0  22:   0  23:   0
24:   0  25:   0  26:   0  27:   0  28:   0  29:   0
30:   0  31:   0  32:   0  33:   0  34:   0  35:   0
36:   0  37:   0  38:   0  39:   0  40:   0  41:   0
42:   0  43:   0  44:   0  45:   0  46:   0  47:   0
48:   0  49:   0  50:   0  51:   0  52:   0  53:   0
54:   0  55:   0  56:   0  57:   0  58:   0  59:   0

{primary:node0}
{noformat}

{noformat}
> show security monitoring performance session
node0:
--------------------------------------------------------------------------
fpc  7  pic  0
Last 60 seconds:
 0:    1267   1:    1602   2:    1243   3:    1455   4:    1087   5:    1394
 6:    1134   7:    1404   8:    1036   9:    1225  10:     880  11:    1142
12:     886  13:     983  14:     791  15:     782  16:     632  17:     630
18:     492  19:     457  20:     383  21:     324  22:     277  23:     258
24:     226  25:     281  26:     262  27:     488  28:     446  29:     564
30:     422  31:     408  32:     247  33:     429  34:     386  35:     451
36:     361  37:     363  38:     322  39:     357  40:     303  41:     294
42:     218  43:     285  44:     263  45:     390  46:     364  47:     483
48:     427  49:     587  50:     468  51:     484  52:     406  53:     346
54:     297  55:     286  56:     231  57:     225  58:     200  59:     221
fpc  8  pic  0
Last 60 seconds:
 0:    2265   1:    3101   2:    2396   3:    2805   4:    2087   5:    2446
 6:    2049   7:    2742   8:    2001   9:    2414  10:    1692  11:    2119
12:    1744  13:    1880  14:    1531  15:    1501  16:    1211  17:    1197
18:     920  19:     936  20:     758  21:     644  22:     549  23:     496
24:     427  25:     531  26:     489  27:     845  28:     778  29:    1103
30:     867  31:     835  32:     483  33:     782  34:     725  35:     852
36:     744  37:     657  38:     583  39:     704  40:     597  41:     591
42:     461  43:     535  44:     493  45:     716  46:     675  47:     921
48:     808  49:    1034  50:     837  51:     878  52:     751  53:     662
54:     553  55:     558  56:     473  57:     437  58:     385  59:     424
fpc  9  pic  0
Last 60 seconds:
 0:    2526   1:    3168   2:    2456   3:    2866   4:    2127   5:    2812
 6:    2292   7:    2739   8:    2013   9:    2385  10:    1698  11:    2241
12:    1736  13:    1892  14:    1514  15:    1481  16:    1185  17:    1167
18:     896  19:     816  20:     668  21:     559  22:     467  23:     445
24:     384  25:     540  26:     502  27:     960  28:     868  29:    1073
30:     798  31:     771  32:     450  33:     819  34:     734  35:     866
36:     689  37:     704  38:     624  39:     672  40:     560  41:     555
42:     402  43:     552  44:     510  45:     764  46:     713  47:     914
48:     803  49:    1102  50:     862  51:     881  52:     729  53:     624
54:     530  55:     511  56:     400  57:     392  58:     340  59:     379

node1:
--------------------------------------------------------------------------
fpc  7  pic  0
Last 60 seconds:
 0:    2438   1:    2764   2:    2396   3:    2629   4:    2262   5:    2361
 6:    2141   7:    2319   8:    1942   9:    1998  10:    1617  11:    1549
12:    1348  13:    1288  14:    1107  15:    1004  16:     853  17:     710
18:     568  19:     501  20:     415  21:     428  22:     380  23:     574
24:     542  25:     674  26:     655  27:     718  28:     686  29:     834
30:     711  31:     726  32:     543  33:     627  34:     598  35:     639
36:     579  37:     480  38:     444  39:     486  40:     435  41:     534
42:     469  43:     606  44:     586  45:     781  46:     762  47:     793
48:     737  49:     752  50:     639  51:     578  52:     514  53:     403
54:     353  55:     346  56:     314  57:     293  58:     268  59:     282
fpc  8  pic  0
Last 60 seconds:
 0:    4450   1:    4795   2:    4171   3:    4779   4:    3998   5:    4382
 6:    3830   7:    4134   8:    3538   9:    3485  10:    2865  11:    2885
12:    2339  13:    2331  14:    1971  15:    1813  16:    1541  17:    1259
18:    1015  19:     874  20:     711  21:     756  22:     667  23:     975
24:     914  25:    1298  26:    1269  27:    1370  28:    1262  29:    1499
30:    1266  31:    1234  32:     995  33:    1152  34:    1052  35:    1201
36:     995  37:     897  38:     801  39:     860  40:     771  41:     926
42:     793  43:    1120  44:    1082  45:    1371  46:    1273  47:    1436
48:    1346  49:    1373  50:    1115  51:    1084  52:     893  53:     755
54:     655  55:     646  56:     540  57:     526  58:     493  59:     525
fpc  9  pic  0
Last 60 seconds:
 0:    4806   1:    4237   2:    4786   3:    4232   4:    4437   5:    3716
 6:    4210   7:    3654   8:    3820   9:    3419  10:    3150  11:    2703
12:    2621  13:    2213  14:    2128  15:    1777  16:    1613  17:    1300
18:    1048  19:     872  20:     742  21:     610  22:     718  23:     628
24:    1038  25:     984  26:    1240  27:    1214  28:    1299  29:    1197
30:    1360  31:    1193  32:    1036  33:     976  34:    1141  35:    1067
36:    1095  37:     813  38:     828  39:     741  40:     832  41:     744
42:     900  43:     817  44:    1106  45:    1069  46:    1442  47:    1316
48:    1384  49:    1277  50:    1220  51:    1007  52:     948  53:     678
54:     630  55:     561  56:     548  57:     441  58:     449  59:     423

{primary:node0}
{noformat}

Hi,

From the output of

show chassis routing-engine
node0:
--------------------------------------------------

------------------------
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    DRAM                      1023 MB
    Memory utilization          46 percent
    CPU utilization:
      User                      28 percent
      Background                 0 percent
      Kernel                    62 percent
      Interrupt                  9 percent
      Idle                       0 percent
    Model                          RE-PPC-1200-A
    Start time                     2012-01-09 01:48:01 UTC
    Uptime                         322 days, 14 hours, 59 minutes, 23 seconds
    Last reboot reason             0x1ower cycle/failure
    Load averages:                 1 minute   5 minute  15 minute
                                       2.12       2.13       2.04

Really first time to see idle 0 percent to made top score 🙂

If I were you I would reboot the SRX node 0 to kill all proceesing or you can go as following

try to login to the SRX using root user

then type top

% top

last pid: 96178;  load averages:  0.00,  0.04,  0.08                                                       up 19+00:55:32  04:35:36
93 processes:  1 running, 91 sleeping, 1 zombie
CPU states:  0.4% user,  0.0% nice,  1.2% system,  0.4% interrupt, 98.0% idle
Mem: 376M Active, 96M Inact, 110M Wired, 279M Cache, 69M Buf, 2645M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME       THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
 1471 root             2   8  -88 44164K 17180K nanslp  17.1H  3.08% chassisd
 2233 root             1   4    0 69800K 21800K kqread  28:56  0.00% rpd
 2287 root             1  96    0 37960K 13696K select  25:49  0.00% l2ald
 1481 root             1  96    0  8240K  6228K select  20:38  0.00% ppmd
 1107 root             1  96    0  4836K  3152K select  13:39  0.00% eventd
 2297 root             1  96    0  9772K  3960K select  12:46  0.00% fud
 2331 root             1   4    0  8696K  5824K kqread  11:15  0.00% mcsnoopd

if you found service is hanged like http for example you could kill the process

# run show system processes extensive | match http
 2087 nobody      4  76    0 11180K  4288K ucondt 0  98:28 82.67% httpd
 4053 nobody      1  76    0  9016K  3724K select 0   0:01  0.00% httpd
 3302 root        1  76    0 13136K  5432K select 0   0:01  0.00% httpd-gk

here is an example of the output when the percent is high and need to kill the process

if so you can go to shell using root user

%  ps -aux | grep http
nobody  2087  0.0  0.4 11180  4288  ??  S     1:14PM 110:51.30 /usr/sbin/httpd --config /jail/var/etc/httpd.conf
root    3302  0.0  0.5 13136  5464  ??  S     2:22PM   0:00.88 /usr/sbin/httpd-gk -N
nobody  4710  0.0  0.4  9016  3728  ??  S     3:32PM   0:01.47 /usr/sbin/httpd --config /jail/var/etc/httpd.conf
admin   4732  0.0  0.1  3060   896  p1  R+    3:39PM   0:00.02 grep http

root@SRX% kill -9 2087
root@SRX% kill -9 4710

Regards,

Mohamed Elhariry

Hi,

We execute this commands in my SRX and the results are:

last pid: 36775;  load averages:  2.07,  2.00,  1.98   up 327+10:05:57 11:53:18
61 processes:  2 running, 59 sleeping
CPU states: 27.6% user,  0.0% nice, 65.3% system,  7.2% interrupt,  0.0% idle
Mem: 208M Active, 28M Inact, 106M Wired, 392M Cache, 110M Buf, 247M Free
Swap: 2046M Total, 2046M Free

  PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
 6192 root           1 132    0  6432K  2424K RUN    120.1H 65.09% nstraced <--------------------------------------
 1112 root           1 125    0 33460K 15764K select 383.5H  4.05% chassisd
 1129 root           1  97    0  7832K  3352K select 892:54  0.00% rtlogd
 1156 root           1  96    0 12720K  6372K select 376:50  0.00% l2ald
 1181 root           1  96    0 23520K 19068K select 375:02  0.00% snmpd
 1142 root           1  76  -20  8132K  3740K select 304:41  0.00% jsrpd
 1149 root           2  96    0 16856K  5716K select 246:01  0.00% pfed
 1132 root           1   4    0  1724K   376K -      240:20  0.00% nfsd
 1182 root           1  96    0 13064K  7524K select 191:15  0.00% mib2d
 1109 root           1  96    0  1980K   820K select 163:56  0.00% bslockd
 1128 root           1  96    0 22412K  7600K select 153:31  0.00% idpd
 1155 root           1   4    0 37016K  9868K kqread 116:45  0.00% rpd
 1113 root           1  96    0  5508K  2192K select 102:08  0.00% alarmd
 1133 root           1  96    0  3708K   960K select  80:11  0.00% license-chec
  889 root           1  96    0  5192K  2188K select  64:38  0.00% eventd
 1184 root           1  96    0  4820K  2076K select  59:27  0.00% irsd
 1143 root           1  96    0  2488K  2336K select  52:21  0.00% ntpd

root% ps -aux | grep nstrace

USER     PID %CPU %MEM   VSZ   RSS  TT  STAT STARTED      TIME             COMMAND
root    6192     65.7        0.2  6432  2424  ??  R         23Nov12       7213:32.22  /usr/sbin/nstraced -N
root   47899    0.0           0.1  2168   868  p0  S+         12:03PM      0:00.01        grep nstrace

The question is : ¿What is the process nstraced? ¿Is necesary for the Firewall SRX? ¿Can I kill the process?

Thanks

Hi,

After kill the PID of the process, the service nstraced restart and the command ps -aux | grep nstraced is:

 PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
41120 root           1 132    0  6428K  2412K RUN      1:15 60.46% nstraced

¿How can i resolved this problem?

please configure this command:

deactive security ike traceoptions
deactive security flow traceoptions
commit

then check the cpu utilization.

Hi,

Most probably from the traceoption you configure. Try to deactivate all traceoptions especially

set security traceoptions file security
set security traceoptions flag all

Regards,

Mohamed Elhariry

Hi,

After execute this commands:

deactivate security flow traceoptions
deactivate security flow traceoptions flag all

The cpu is correctly

CPU states:  5.3% user,  0.0% nice, 19.1% system,  2.1% interrupt, 73.5% idle
Mem: 263M Active, 29M Inact, 107M Wired, 394M Cache, 110M Buf, 188M Free
Swap: 2046M Total, 2046M Free

  PID USERNAME     THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
41120 root           1 124    0  6444K  2428K select 175:25 10.60% nstraced
 1112 root           1 107    0 33460K 15764K select 385.9H  4.10% chassisd
 1129 root           1  96    0  7832K  3352K select 898:57  0.00% rtlogd
 1156 root           1  96    0 12720K  6372K select 379:46  0.00% l2ald
 1181 root           1  96    0 23532K 19080K select 377:23  0.00% snmpd

The routing-engine is correctly :

root@CPFWMADPE01> show chassis routing-engine
node0:
--------------------------------------------------------------------------
Routing Engine status:
  Slot 0:
    Current state                  Master
    Election priority              Master (default)
    DRAM                      1023 MB
    Memory utilization          44 percent
    CPU utilization:
      User                       7 percent
      Background                 0 percent
      Kernel                    19 percent
      Interrupt                  2 percent
      Idle                      72 percent
    Model                          RE-PPC-1200-A
    Start time                     2012-01-09 01:48:01 UTC
    Uptime                         329 days, 10 hours, 6 minutes, 30 seconds
    Last reboot reason             0x1:power cycle/failure
    Load averages:                 1 minute   5 minute  15 minute
                                       0.62       0.84       1.15

Thanks all

Bye