curlには負荷試験のためではないが、簡易な負荷をかけるのに使える機能がある。
- Globbingという機能があり、
http://localhost/[0-9].{html,xml}とすると、0.html～9.html,0.xml～9.xmlに順番にいい感じにリクエストできる機能がある。 - v7.66以降、
--parallelオプションがあり、複数URLがある場合に並列でリクエストすることができる。--parallel-max 65535で同時接続数を増やせる。（デフォルトは50）
ということで、anchorのところにGlobbingを使い、これを--parallelで投げることで負荷をかけることができる。
メトリックを取ったり、レスポンス検証したり、リクエスト内容を変えたり、ランダムに投げたい、といった凝ったことはできないので、その時は別のツールを使おう。ツールの導入が制限されて厳しいとか、単純にHTTPエンドポイントをいじめたくなったときにどうぞ。
基本
# curlで65535多重で100万回リクエストする（rangeとparallelを利用） curl --parallel --parallel-max 65535 "http://localhost:8080/#[1-1000000]" >/dev/null # nginxでテスト用サーバにする場合 docker run --rm -p8080:80 nginx:1.29 >/dev/null
curlはanchorは無視するっぽいのでそこにglobbingを使うと単純にリクエストをかさ増しできる。もちろん、querystringにつけてもよくて、その場合はサーバ側のアクセスログに残るのでどこまでリクエスト投げられているか確認しやすかったりする。
マシン性能にもよるが、localhostのnginx宛てに 18k/s でリクエストを投げられた。
1秒sleepする簡易なNodeJSサーバだと300同時接続で頭打ちになった。理由はちょっとわからない。
複数のURLを順番に負荷をかけたいとき
複数のURLに順番でよければ以下のようにURLを並べればよい。
curl --parallel --parallel-max 60000 \ "http://localhost:8080/?api=a&n=[1-100000]" \ "http://localhost:8080/?api=b&n=[1-100000]" \ "http://localhost:8080/?api=c&n=[1-100000]" \ "http://localhost:8080/?api=d&n=[1-100000]" \ "http://localhost:8080/?api=e&n=[1-100000]" \ "http://localhost:8080/?api=f&n=[1-100000]" \ >/dev/null
複数のURLごとにバラバラ負荷をかけたいとき
xargs -P でURLごとにcurlプロセスを立ち上げるのが簡単だと思う。（CPUも生かせる）
# 6個のURLに対しては6並列にする # 進捗表示は役に立たないので -s をつける xargs -P6 -n1 curl -s --parallel --parallel-max 10000 <<"__EOF__" >/dev/null http://localhost:8080/?api=a&n=[1-100000] http://localhost:8080/?api=b&n=[1-100000] http://localhost:8080/?api=c&n=[1-100000] http://localhost:8080/?api=d&n=[1-100000] http://localhost:8080/?api=e&n=[1-100000] http://localhost:8080/?api=f&n=[1-100000] __EOF__
こっちは localhostのnginx宛てに 64k/s ぐらいでた。とにかく負荷をかけたいときはxargsで並列化しよう。
おまけ
おまけ: NodeJSで動く1秒sleepする簡易サーバ
import http from 'node:http';
const PORT = 3000;
const server = http.createServer((req, res) => {
console.log(`Received request: ${req.method} ${req.url}`);
setTimeout(() => {
res.writeHead(200, {
'Content-Type': 'text/plain; charset=utf-8',
});
res.end('Hello after 1 second!\n');
console.log(`${req.method} ${req.url}: Responded after 1 second`);
}, 1000);
});
server.listen(PORT, 10240, () => {
console.log(`Server is listening on http://localhost:${PORT}`);
});
300同時接続で詰まってしまう。nodejsの制限っぽい？
おまけ: nginxコンテナ用の設定 + podmanのrootlessportを無効にする
コンテナにマウントするための設定ファイルnginx.conf.templateに書く。コンテナに含まれている設定を1ファイルに展開したものに、listenを変数にしただけ。
# nginx.conf.template
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
server {
listen ${NGINX_PORT};
server_name localhost;
#access_log /var/log/nginx/host.access.log main;
location / {
root /usr/share/nginx/html;
index index.html index.htm;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
}
docker runコマンド
docker run --rm -v $PWD/nginx.conf.template:/etc/nginx/templates/nginx.conf.template --env NGINX_PORT=8080 --env NGINX_ENVSUBST_OUTPUT_DIR=/etc/nginx -p 8080:8080 docker://nginx:1.29
なお、dockerではuserland-proxyを有効にしていると、docker-proxyを経由してポートを公開するので、ネットワーク負荷をかけるとdocker-proxyにCPU負荷がかかり意図した性能が出ない場合がある
podmanも一緒で、docker-proxyの代わりにrootlessportが動作する。これを無効にするなら --network host としてhostで動作させればよい。
podman run --rm -v $PWD/nginx.conf.template:/etc/nginx/templates/nginx.conf.template --env NGINX_PORT=8080 --env NGINX_ENVSUBST_OUTPUT_DIR=/etc/nginx -p 8080 --network host docker://nginx:1.29
podmanの場合、ログ出力でjournaldのCPU負荷が高まる。 気になる場合は--log-driver none を足すと防げる。
