[Date Prev][Date Next]
[Chronological]
[Thread]
[Top]
Re: slow adds of member attribute in large groups
hi,
you may try
set_flags DB_TXN_WRITE_NOSYNC
in DB_CONFIG.
-------------------
>
>I'm working on implementing groups in our directory server. We have a
>large number of groups, many with a large number of members. I've
>noticed that when populating a large group it starts taking longer
and
>longer to add a member. For reference, I've included my current
>DB_CONFIG. At the bottom of this message is a table containing
>measurements from populating a group of almost 20,000 members. The
>first column is elapsed time, then total number of members, number of
>members added in the previous five minutes, rate per minute, and
>finally rate per minute averaged over the last hour.
>
>In the first five minutes, 1100 entries were added at a rate of
>approximately 228 per minute. Towards the end of the operation, it
was
>only adding 10-40 entries per five-minute interval. As demonstrated
in
>the last column, the average rate dropped steadily as more entries
>existed.
>
>>From monitoring the slapd process, it seemed CPU bound as opposed to
IO
>bound. I have an equals index on the member attribute.
>
>Is this degradation in performance to be expected? Is there some
>further tuning I can do to make this more efficient? It is annoyingly
>slow and will take possibly an unacceptably long amount of time to
>initially create and maintain the population of some of the larger
>groups. it took over 21 hours just to populate this one group.
>
>Thanks...
>
>----
>set_cachesize 0 536870912 1
>
>set_lg_max 262144000
>
>set_lg_bsize 52428800
>
>set_lg_regionmax 52428800
>
>set_lg_dir /var/ldap
>
>set_lk_max_locks 10000
>
>set_lk_max_lockers 5000
>
>set_lk_max_objects 10000
>----
>
>Time Total Delta Rate Average
>5 1141 1141 228.2
>10 1792 651 130.2
>15 2033 241 48.2
>20 2424 391 78.2
>25 2730 306 61.2
>30 3046 316 63.2
>35 3328 282 56.4
>40 3579 251 50.2
>45 3684 105 21
>50 3746 62 12.4
>55 3944 198 39.6
>60 4167 223 44.6 69.45
>65 4381 214 42.8 54
>70 4560 179 35.8 46.13333333
>75 4724 164 32.8 44.85
>80 4860 136 27.2 40.6
>85 5024 164 32.8 38.23333333
>90 5086 62 12.4 34
>95 5188 102 20.4 31
>100 5342 154 30.8 29.38333333
>105 5474 132 26.4 29.83333333
>110 5598 124 24.8 30.86666667
>115 5725 127 25.4 29.68333333
>120 5777 52 10.4 26.83333333
>125 5844 67 13.4 24.38333333
>130 5949 105 21 23.15
>135 6076 127 25.4 22.53333333
>140 6214 138 27.6 22.56666667
>145 6310 96 19.2 21.43333333
>150 6374 64 12.8 21.46666667
>155 6492 118 23.6 21.73333333
>160 6618 126 25.2 21.26666667
>165 6706 88 17.6 20.53333333
>170 6799 93 18.6 20.01666667
>175 6911 112 22.4 19.76666667
>180 7025 114 22.8 20.8
>185 7130 105 21 21.43333333
>190 7233 103 20.6 21.4
>195 7343 110 22 21.11666667
>200 7403 60 12 19.81666667
>205 7446 43 8.6 18.93333333
>210 7502 56 11.2 18.8
>215 7559 57 11.4 17.78333333
>220 7661 102 20.4 17.38333333
>225 7793 132 26.4 18.11666667
>230 7878 85 17 17.98333333
>235 7973 95 19 17.7
>240 8061 88 17.6 17.26666667
>245 8159 98 19.6 17.15
>250 8250 91 18.2 16.95
>255 8325 75 15 16.36666667
>260 8420 95 19 16.95
>265 8476 56 11.2 17.16666667
>270 8525 49 9.8 17.05
>275 8560 35 7 16.68333333
>280 8635 75 15 16.23333333
>285 8736 101 20.2 15.71666667
>290 8781 45 9 15.05
>295 8880 99 19.8 15.11666667
>300 8980 100 20 15.31666667
>305 9045 65 13 14.76666667
>310 9126 81 16.2 14.6
>315 9209 83 16.6 14.73333333
>320 9290 81 16.2 14.5
>325 9379 89 17.8 15.05
>330 9417 38 7.6 14.86666667
>335 9502 85 17 15.7
>340 9599 97 19.4 16.06666667
>345 9688 89 17.8 15.86666667
>350 9729 41 8.2 15.8
>355 9818 89 17.8 15.63333333
>360 9882 64 12.8 15.03333333
>365 9938 56 11.2 14.88333333
>370 10010 72 14.4 14.73333333
>375 10092 82 16.4 14.71666667
>380 10135 43 8.6 14.08333333
>385 10208 73 14.6 13.81666667
>390 10276 68 13.6 14.31666667
>395 10363 87 17.4 14.35
>400 10445 82 16.4 14.1
>405 10567 122 24.4 14.65
>410 10649 82 16.4 15.33333333
>415 10733 84 16.8 15.25
>420 10768 35 7 14.76666667
>425 10818 50 10 14.66666667
>430 10885 67 13.4 14.58333333
>435 10960 75 15 14.46666667
>440 10988 28 5.6 14.21666667
>445 11058 70 14 14.16666667
>450 11111 53 10.6 13.91666667
>455 11185 74 14.8 13.7
>460 11261 76 15.2 13.6
>465 11340 79 15.8 12.88333333
>470 11416 76 15.2 12.78333333
>475 11492 76 15.2 12.65
>480 11570 78 15.6 13.36666667
>485 11646 76 15.2 13.8
>490 11703 57 11.4 13.63333333
>495 11778 75 15 13.63333333
>500 11853 75 15 14.41666667
>505 11926 73 14.6 14.46666667
>510 11999 73 14.6 14.8
>515 12049 50 10 14.4
>520 12123 74 14.8 14.36666667
>525 12196 73 14.6 14.26666667
>530 12251 55 11 13.91666667
>535 12296 45 9 13.4
>540 12355 59 11.8 13.08333333
>545 12428 73 14.6 13.03333333
>550 12495 67 13.4 13.2
>555 12564 69 13.8 13.1
>560 12632 68 13.6 12.98333333
>565 12701 69 13.8 12.91666667
>570 12768 67 13.4 12.81666667
>575 12835 67 13.4 13.1
>580 12902 67 13.4 12.98333333
>585 12968 66 13.2 12.86666667
>590 13034 66 13.2 13.05
>595 13098 64 12.8 13.36666667
>600 13162 64 12.8 13.45
>605 13227 65 13 13.31666667
>610 13290 63 12.6 13.25
>615 13347 57 11.4 13.05
>620 13402 55 11 12.83333333
>625 13444 42 8.4 12.38333333
>630 13487 43 8.6 11.98333333
>635 13533 46 9.2 11.63333333
>640 13577 44 8.8 11.25
>645 13617 40 8 10.81666667
>650 13678 61 12.2 10.73333333
>655 13740 62 12.4 10.7
>660 13802 62 12.4 10.66666667
>665 13863 61 12.2 10.6
>670 13924 61 12.2 10.56666667
>675 13984 60 12 10.61666667
>680 14044 60 12 10.7
>685 14103 59 11.8 10.98333333
>690 14162 59 11.8 11.25
>695 14221 59 11.8 11.46666667
>700 14280 59 11.8 11.71666667
>705 14338 58 11.6 12.01666667
>710 14396 58 11.6 11.96666667
>715 14454 58 11.6 11.9
>720 14511 57 11.4 11.81666667
>725 14569 58 11.6 11.76666667
>730 14626 57 11.4 11.7
>735 14681 55 11 11.61666667
>740 14737 56 11.2 11.55
>745 14791 54 10.8 11.46666667
>750 14845 54 10.8 11.38333333
>755 14900 55 11 11.31666667
>760 14953 53 10.6 11.21666667
>765 15007 54 10.8 11.15
>770 15061 54 10.8 11.08333333
>775 15115 54 10.8 11.01666667
>780 15169 54 10.8 10.96666667
>785 15223 54 10.8 10.9
>790 15275 52 10.4 10.81666667
>795 15328 53 10.6 10.78333333
>800 15381 53 10.6 10.73333333
>805 15433 52 10.4 10.7
>810 15485 52 10.4 10.66666667
>815 15538 53 10.6 10.63333333
>820 15585 47 9.4 10.53333333
>825 15635 50 10 10.46666667
>830 15686 51 10.2 10.41666667
>835 15737 51 10.2 10.36666667
>840 15789 52 10.4 10.33333333
>845 15840 51 10.2 10.28333333
>850 15889 49 9.8 10.23333333
>855 15937 48 9.6 10.15
>860 15987 50 10 10.1
>865 16036 49 9.8 10.05
>870 16086 50 10 10.01666667
>875 16135 49 9.8 9.95
>880 16185 50 10 10
>885 16234 49 9.8 9.983333333
>890 16282 48 9.6 9.933333333
>895 16316 34 6.8 9.65
>900 16352 36 7.2 9.383333333
>905 16400 48 9.6 9.333333333
>910 16447 47 9.4 9.3
>915 16492 45 9 9.25
>920 16517 25 5 8.833333333
>925 16563 46 9.2 8.783333333
>930 16606 43 8.6 8.666666667
>935 16659 53 10.6 8.733333333
>940 16699 40 8 8.566666667
>945 16745 46 9.2 8.516666667
>950 16790 45 9 8.466666667
>955 16845 55 11 8.816666667
>960 16896 51 10.2 9.066666667
>965 16930 34 6.8 8.833333333
>970 16981 51 10.2 8.9
>975 17025 44 8.8 8.883333333
>980 17080 55 11 9.383333333
>985 17133 53 10.6 9.5
>990 17185 52 10.4 9.65
>995 17204 19 3.8 9.083333333
>1000 17235 31 6.2 8.933333333
>1005 17261 26 5.2 8.6
>1010 17300 39 7.8 8.5
>1015 17331 31 6.2 8.1
>1020 17372 41 8.2 7.933333333
>1025 17413 41 8.2 8.05
>1030 17461 48 9.6 8
>1035 17481 20 4 7.6
>1040 17533 52 10.4 7.55
>1045 17565 32 6.4 7.2
>1050 17614 49 9.8 7.15
>1055 17661 47 9.4 7.616666667
>1060 17682 21 4.2 7.45
>1065 17734 52 10.4 7.883333333
>1070 17784 50 10 8.066666667
>1075 17828 44 8.8 8.283333333
>1080 17872 44 8.8 8.333333333
>1085 17919 47 9.4 8.433333333
>1090 17960 41 8.2 8.316666667
>1095 17986 26 5.2 8.416666667
>1100 18009 23 4.6 7.933333333
>1105 18055 46 9.2 8.166666667
>1110 18100 45 9 8.1
>1115 18146 46 9.2 8.083333333
>1120 18162 16 3.2 8
>1125 18184 22 4.4 7.5
>1130 18228 44 8.8 7.4
>1135 18240 12 2.4 6.866666667
>1140 18285 45 9 6.883333333
>1145 18319 34 6.8 6.666666667
>1150 18358 39 7.8 6.633333333
>1155 18397 39 7.8 6.85
>1160 18445 48 9.6 7.266666667
>1165 18492 47 9.4 7.283333333
>1170 18534 42 8.4 7.233333333
>1175 18571 37 7.4 7.083333333
>1180 18615 44 8.8 7.55
>1185 18663 48 9.6 7.983333333
>1190 18706 43 8.6 7.966666667
>1195 18735 29 5.8 8.25
>1200 18773 38 7.6 8.133333333
>1205 18812 39 7.8 8.216666667
>1210 18861 49 9.8 8.383333333
>1215 18906 45 9 8.483333333
>1220 18934 28 5.6 8.15
>1225 18980 46 9.2 8.133333333
>1230 19029 49 9.8 8.25
>1235 19073 44 8.8 8.366666667
>1240 19112 39 7.8 8.283333333
>1245 19144 32 6.4 8.016666667
>1250 19160 16 3.2 7.566666667
>1255 19208 48 9.6 7.883333333
>1260 19234 26 5.2 7.683333333
>1265 19270 36 7.2 7.633333333
>1270 19317 47 9.4 7.6
>1275 19358 41 8.2 7.533333333
>1280 19404 46 9.2 7.833333333
>1285 19424 20 4 7.4
>1290 19459 35 7 7.166666667
>1295 19501 42 8.4 7.133333333
>1300 19534 33 6.6 7.033333333
>1305 19582 48 9.6 7.3
>1310 19622 40 8 7.7
>1315 19634 12 2.4 7.1
>
>
>
>--
>Paul B. Henson | (909) 979-6361 |
http://www.csupomona.edu/~henson/
>Operating Systems and Network Analyst | henson@csupomona.edu
>California State Polytechnic University | Pomona CA 91768
>