Кстати, Mariadb меньше памяти есть, чем MySQL 5.0.
Здесь скорее проблема в том, что свободного процесса php-ftp не было и nginx возвращал 504. Я увеличил количество процессов php-fpm и дал им больше памяти.
Mariadb тоже увеличил пул и оптимизировал еще настройки nginx.
Прогнал нагрузочный тест...