Наверно сутки следил по логам и толку это не принесло. И так начал с того что апач при обработке php хавал более 10 метрофф озу и проца эдак 60 процентов и более скачек держался долго.
И так уменьшить использование ОЗУ:
для начала перелопатил httpd.conf (кто не в танке главный конфиг апача)
там нашел директивы отвечающие за кол-во конектов, таймауты и прочую бяку:)
уменьшил жизнь конекта до 30 сек. (а не300 как было)
снизил колво конектов с одно IP (это полезно и против досса)
еще кучу всего подкрутил, уже вижу результат плодятся не так много процессов.
Но все равно дело в том что они весят долго в памяти. т.е. процес запустился обработал данные за 0.1 сек. а висит более 30 сек. нерабочий, проц не грузит а вот оперативу хавает! Потому на 1 процесс поставил жизни 5 сек. (поставил довольно хитро)
затем поставил eacselerator - ускоритель php . ускорилась работа скриптов где то на 20-30 процентов, уже неплохо. Но этого мало, основная проблема осталась. Кэширования было мало.
Решил поставить проксирующий веб сервер между клиентом и апачем. Зачем?
А как помниццо при конектах апач создает кучу конектов для каждого обращения.
Потому нуна была конструкция типа brauser- proxy www - Apache
Хорошо известный Nginx эти вопросы решал.
И так был установлен на сервер Nginx пере апачем, отладил что бы тот отдавал статический контент а апач только динамику.
Вот, уже легче, память освободилась и прилично
100 клеинтов использовали в пике посещаемости чуть более 400 мегабайт (почти полтора гига свободно)
Но осталась проблема с процессором. Что же делать?
для начала необходимо было установить причну почему тяжолые скрипты юзают для простых задач столько много.
Обратил внимание что процессы интепритатора висят в мапяти долго. К примеру один скрипт что то делает он висит и юзает проц на 60 процентов тут второй еще 30 и тут третий и все сервер выдает 500 ошибку, однако что же делать. Ведь процес часто юзает в начале работы пик ЦПУ но реально нужно для работы мало времени (до 1 сек) но процес юзает около 30 сек. столько проца.
И так первое это запретить столько жить без работы.
Второе это запретить 1 процесу юзать весь ЦПУ более 1 сек.
Это решило проблемы с процессором очень быстро.
Делал я еще много чего дополнительно.

Но результат при тех же сайтах:
Средняя загрузка 0.47 0.22 0.23
В пик может поднятся до
Средняя загрузка 2.47 2.22 2.23
не более 3
Это очень радовало.
После всего прочего за сутки не разу не упал апач.
Все работа сервер стабилизировать и все пошло как нужно, клиенты поутихли. Все сайты работи вполне стабильно и шустро.
Еще кучку ограничений поставил и все
вот так я мучался в течении 3 суток на сервером