早上起来一上网就发现月影鹏鹏维护的一台服务器apache死掉了,感到很诧异apache一般不会死掉,即便是死掉自己编写的ScanMon守护系统也会将apache 重新启动。

于是尝试手动启动apache
/usr/local/apache2/bin/httpd -k restart
/usr/local/apache2/bin/httpd -k start
尝试了所有启动方法均无法启动，后来月影鹏鹏又查看了磁盘空间、系统负载、系统日志均正常。
后查看apache错误日志，发现有如下错误。
scanmon:/usr/local/apache2/logs#tail error_log
No space left on device: mod_rewrite: could not create rewrite_log_lock Configuration Failed
No space left on device: mod_rewrite: could not create rewrite_log_lock Configuration Failed
No space left on device: mod_rewrite: could not create rewrite_log_lock Configuration Failed

查阅资料后发现是《信号量占满导导致apache无法启动》 参考了如下资料 http://jk.scanmon.com/wp/no-space-left-on-device-mod_rewrite-could-not-create-rewrite_log_lock.html

后知晓信号量占满， 查看ipcs发现塞满了daemon(apache启动uid)

ipcs -s | grep daemon      用这个方法查看信号量占用情况

ipcs -s | grep daemon | awk ‘{ print $2 }’ | xargs ipcrm sem  用这个方法清除daemon用户的信号量

/usr/local/apache2/bin/httpd -k start

重新启动apache 后正常，网站又可以访问了。