تنبيهات امتلاء القرص والذاكرة على VPS دون منظومة مراقبة

القرص الممتلئ لا يُنبّه أحدًا

التنبيهات الستة الدنيا والنبضة، على كل VPS

• القرص — عتبتان: 80 % تحذيرًا و90 % حرجًا، على كل نقطة ربط مهمة.
• الـ inodes — قد يرفض القرص الكتابة رغم بقاء بايتات حرة إذا استُنفدت الـ inodes.
• الذاكرة وOOM — اكتشاف أن النواة قتلت عملية، لا مجرد ارتفاع استهلاك الذاكرة.
• خدمات systemd — التنبيه حين تدخل قاعدة البيانات أو خادم الويب أو الوكيل حالة failed.
• الشهادات — التنبيه قبل 21 يومًا من الانتهاء، حين يفشل التجديد التلقائي بصمت.
• النسخ الاحتياطية — التنبيه على غياب نجاح حديث، لا على خطأ صريح فقط.
• الفحص نفسه — نبضة خارجية تنبّهكم حين تتوقف التنبيهات عن الإرسال.

المتطلبات بالأرقام: لا شيء تقريبًا

القرص والـ inodes: العتبات وما يزيحها

إعداد المنظومة في ساعة واحدة

1. 01

   إنشاء قناة التنبيه

   أنشئوا بوت Telegram عبر BotFather، ودوّنوا الرمز المميز ومعرّف المحادثة التي ستستقبل الرسائل. تتبع كل طلبات واجهة Bot الصيغة https://api.telegram.org/bot<token>/METHOD_NAME، وطريقة الإرسال هي sendMessage. وإن فضّلتم webhook (Slack أو Mattermost أو ntfy) فلا يتغير سوى السطر الأخير من سكربت الإرسال.

2. 02

   كتابة ملف البيئة

   sudo mkdir -p /var/lib/alerte-vps
sudo install -m 600 /dev/null /etc/alerte-vps.env
   ثم أضيفوا إليه أربعة أسطر: TG_TOKEN=... وTG_CHAT=... وHC_URL=https://hc-ping.com/<uuid> (فحص كل خمس دقائق) وHC_URL_JOUR=https://hc-ping.com/<other-uuid> (فحص يومي). الوضع 600 يُبقي الرمز مقروءًا لـ root وحده.

3. 03

   كتابة سكربت الإرسال مع منع التكرار

   احفظوا هذه الأسطر في /usr/local/bin/alerte-envoi ثم اجعلوا الملف قابلًا للتنفيذ بالأمر sudo chmod 755. يمنع ملف القفل لكل رسالة أن تُزعجوا كل خمس دقائق بالتنبيه نفسه: فالرسالة المطابقة لا تُعاد إلا بعد ساعة.
   #!/bin/sh
. /etc/alerte-vps.env
f=/var/lib/alerte-vps/$(echo "$1" | md5sum | cut -c1-12)
[ -n "$(find "$f" -mmin -60 2>/dev/null)" ] && exit 0
touch "$f"
curl -fsS -m 10 --retry 3 "https://api.telegram.org/bot${TG_TOKEN}/sendMessage" -d chat_id="${TG_CHAT}" --data-urlencode text="$(hostname) $1"

4. 04

   فحص القرص والـ inodes

   في /usr/local/bin/alerte-rapide (مع shebang #!/bin/sh) أضيفوا الحلقتين التاليتين. يستبعد المرشّح grep -v أنظمة الملفات التي لا تعرض inodes وتطبع شرطة.
   df --output=pcent,target -x tmpfs -x devtmpfs | tail -n +2 | while read p m; do n=${p%\%}; if [ "$n" -ge 90 ]; then alerte-envoi "CRIT disk $m"; elif [ "$n" -ge 80 ]; then alerte-envoi "WARN disk $m"; fi; done
df --output=ipcent,target -x tmpfs -x devtmpfs | tail -n +2 | grep -v '^ *-' | while read p m; do [ "${p%\%}" -ge 90 ] && alerte-envoi "INODES $m"; done

5. 05

   اكتشاف العمليات التي قتلها OOM killer

   لا يفعل العدّاد oom_kill في /proc/vmstat سوى الازدياد منذ الإقلاع. تُقارن قيمته بالقيمة السابقة المحفوظة في ملف؛ وبعد إعادة التشغيل يبدأ العدّاد من الصفر فتخطئ المقارنة مرة واحدة ثم تستقيم.
   n=$(awk '/^oom_kill/ {print $2}' /proc/vmstat)
old=$(cat /var/lib/alerte-vps/oom 2>/dev/null || echo 0)
[ "$n" -gt "$old" ] && alerte-envoi "OOM kill"
echo "$n" > /var/lib/alerte-vps/oom

6. 06

   إضافة النبضة والجدولة

   أنهوا alerte-rapide بالـ ping. لا يُبلغ هذا السطر إلا إذا بلغ السكربت نهايته؛ فإن توقف cron أو صار القرص للقراءة فقط أو تعطل السكربت، توقف الـ ping وتنبّهكم الخدمة الخارجية. ثم أضيفوا سطري cron في /etc/cron.d/alerte-vps.
   . /etc/alerte-vps.env; curl -fsS -m 10 --retry 5 -o /dev/null "$HC_URL"
PATH=/usr/local/bin:/usr/bin:/bin
*/5 * * * * root /usr/local/bin/alerte-rapide
30 7 * * * root /usr/local/bin/alerte-quotidien

7. 07

   فحص الشهادات والنسخ الاحتياطية مرة يوميًا

   في /usr/local/bin/alerte-quotidien أضيفوا هذه الأسطر. يفشل الخيار -checkend في openssl x509 إذا انتهت صلاحية الشهادة خلال عدد الثواني المحدد؛ و1814400 ثانية تساوي 21 يومًا. ويُنبّه اختبار النسخ حين لا يوجد ملف .gz غير فارغ أحدث من 1560 دقيقة، أي 26 ساعة. وينتهي السكربت بـ ping خاص به نحو الفحص الثاني: فبدونه قد يتوقف الفحص اليومي بصمت دون أن يلحظه أحد.
   echo | openssl s_client -servername your-domain.com -connect your-domain.com:443 2>/dev/null | openssl x509 -noout -checkend 1814400 || alerte-envoi "CERT your-domain.com"
find /var/backups/app -name '*.gz' -mmin -1560 -size +1k | grep -q . || alerte-envoi "BACKUP absent"
. /etc/alerte-vps.env; curl -fsS -m 10 --retry 5 -o /dev/null "$HC_URL_JOUR"

8. 08

   ربط الخدمات الحرجة بـ OnFailure

   أنشئوا /etc/systemd/system/[email protected] بالمحتوى التالي ثم نفّذوا sudo systemctl daemon-reload.
   [Unit]
Description=Alerte echec de %i
[Service]
Type=oneshot
ExecStart=/usr/local/bin/alerte-envoi "FAILED %i"
   ولكل خدمة تريدون مراقبتها، افتحوا drop-in بالأمر sudo systemctl edit mariadb.service وأضيفوا هذين السطرين.
   [Unit]
OnFailure=notify-failure@%n.service

9. 09

   افتعال تنبيه للاختبار ثم التنظيف

   تنبيه لم يُطلَق قط ليس تنبيهًا. تحققوا أولًا من المساحة الحرة، وأنشئوا ملفًا كبيرًا بما يكفي لتجاوز العتبة، وشغّلوا السكربت يدويًا، ثم احذفوا الملف. وإن لم تصل الرسالة فالخلل في القناة، ومن الأفضل اكتشافه الآن.
   df -h --output=pcent,target /var/tmp
sudo fallocate -l 2G /var/tmp/test-alerte.img
sudo /usr/local/bin/alerte-rapide
sudo rm /var/tmp/test-alerte.img

الذاكرة: OOM النواة أم حد cgroup

OnFailure: ما يغطيه وما لا يغطيه

الشهادات والنسخ: التنبيه على غياب النجاح

سكربتات خاصة أم منظومة مراقبة

مرّر الجدول أفقيًا

استكشاف الأخطاء: الأعطال التي تتكرر

الرسائل والأعراض مع علاجها

• PANIC: could not write to file "pg_wal/...": No space left on device — المجلد الذي يحمل سجلات PostgreSQL ممتلئ. حرّروا مساحة خارج PostgreSQL أولًا (سجلات مدوَّرة، نسخ قديمة)، ولا تحذفوا ملفات pg_wal يدويًا أبدًا، ثم أعيدوا تشغيل الخدمة.
• No space left on device بينما يعرض df -h مساحة حرة — الـ inodes مستنفدة. نفّذوا df --output=ipcent,target، وحدّدوا المجلد الذي يضم ملايين الملفات الصغيرة (جلسات، تخزين مؤقت) ونظّفوه.
• القرص ممتلئ لكن du لا يجد المساحة — ملفات محذوفة ما زالت مفتوحة لدى عملية. يسردها sudo lsof +L1؛ وإعادة تشغيل العملية تحرر المساحة.
• oom_kill يرتفع ولا شيء في journalctl -k — دار سجل النواة أو أن القتل ناتج عن حد MemoryMax=. اقرؤوا memory.events في مجلد cgroup الوحدة وjournalctl -u للوحدة.
• وحدة تعمل لكنها لا تستجيب ولا تنبيه — هذا حد OnFailure=. أضيفوا مسبار curl على عنوان الصحة ونبّهوا بحسب رمز الإرجاع.
• لا رسالة Telegram ولا خطأ ظاهر — يرسل cron مخرجات السكربت بريدًا محليًا لا يقرؤه أحد. شغّلوا alerte-envoi test يدويًا بـ sudo واقرؤوا ردّ curl.
• الشهادة تقترب من الانتهاء رغم تثبيت Certbot — نفّذوا certbot renew --dry-run واقرؤوا خطأ التحقق، ثم صحّحوا DNS أو المنفذ المعني.

التوثيق الرسمي

تنبيهات بسيطة ومتطابقة على كل VPS