
awk コマンドの使い方 - 列の抽出と集計の基本、-F・連想配列・NR==FNR と gawk・mawk・macOS 版の違い
当サイトは Amazon.co.jp を宣伝しリンクすることで紹介料を得る手段を提供する、Amazonアソシエイト・プログラムの参加者です。価格・在庫はリンク先の最新情報をご確認ください。
「アクセスログからステータスコードごとの件数を数えたい」「CSVの3列目だけを合計したい」「dfの出力から使用率が90%を超えたディスクだけを出したい」。こうした「列」を扱う作業で長く使われているのがawkです。
awkはawk '{ print $1 }'のような1行の書き方だけ覚えて使っている人も多いコマンドですが、少し踏み込むと「-F,でCSVを分けたら列がずれた」「シェルの変数が効かない」「print x > 3でファイルができた」「Linuxで動いたスクリプトがmacOSでcalling undefined functionになる」といった壁に当たります。多くは、awkが1行ずつ処理する仕組みと、実装ごとの違いを知っていれば避けられます。
この記事では、awkの処理モデルから始めて、フィールドと区切り文字、パターン、連想配列による集計、組み込み関数、シェルとの値の受け渡し、2つのファイルの突き合わせ、CSVの扱い、gawk・mawk・macOSのawkの違い、実務のレシピ、つまずきやすいところまでを、実際の実行結果を見ながら順に説明します。
先に結論: よく使う書き方の早見表
| やりたいこと | 書き方 |
|---|---|
| 1列目を表示する | awk '{ print $1 }' file |
| 1列目と3列目を表示する | awk '{ print $1, $3 }' file |
| 最後の列を表示する | awk '{ print $NF }' file |
区切り文字を:にする | awk -F: '{ print $1 }' /etc/passwd |
| 出力の区切りをタブにする | awk -v OFS='\t' '{ print $1, $2 }' file |
| 条件に合う行だけを表示する | awk '$3 >= 100' file |
| 正規表現に合う行を表示する | awk '/ERROR/' file |
| 特定の列が正規表現に合う行 | awk '$2 ~ /^api/' file |
| 1行目(ヘッダー)を飛ばす | awk 'NR > 1' file |
| 列の合計を出す | awk '{ s += $2 } END { print s }' file |
| 列の平均を出す | awk '{ s += $2 } END { print s / NR }' file |
| キーごとに合計する | awk '{ s[$1] += $2 } END { for (k in s) print k, s[k] }' file |
| 重複行を取り除く(順番は保つ) | awk '!seen[$0]++' file |
| 行数を数える | awk 'END { print NR }' file |
| 書式を指定して出力する | awk '{ printf "%-10s %5d\n", $1, $2 }' file |
| シェルの変数を渡す | awk -v min="$min" '$2 >= min' file |
| 2つのファイルを突き合わせる | awk 'NR == FNR { a[$1] = $2; next } $1 in a' f1 f2 |
覚えておきたい習慣は次の4つです。
- awkのプログラムは
'...'のようにシングルクォートで囲む。$1をシェルに展開させないため - シェルの変数はプログラムの中に埋め込まず、
-v 名前="$変数"で渡す - 区切り文字の
FSを変数で設定するならBEGINの中で。-Fで指定するのが確実 - gawk独自の関数(
gensub、asortなど)を使うと、macOSやDebian系の標準のawkでは動かない
実行結果を採取した環境
NOTE
2026年11月20日に、POSIX.1-2024(The Open Group Base Specifications Issue 8)のawkの仕様、gawk 5.4.2のソースに同梱のマニュアル(doc/gawk.texi)とNEWS、onetrueawk/awkのREADMEとFIXES、mawkのCHANGES、macOSのawkのmanページで内容を確認しました。gawkの最新版は、GNUのFTPサーバーの表示で5.4.2(2026年11月16日公開)です。BWK awkはonetrueawk/awkの最新のタグが20261106、mawkはCHANGESの最新の日付が20260302でした。実行結果は、macOS 27.2、zsh 5.9で採取しています。
macOS標準の/usr/bin/awkのバージョンは次のとおりです。
$ awk --version
awk version 20200816
$ what /usr/bin/awk
/usr/bin/awk:
PROGRAM:awk PROJECT:awk-42
PROGRAM:awk PROJECT:awk-42
PROGRAM:awk PROJECT:awk-42macOSのawkは、awkの作者の1人であるBrian Kernighanが保守してきた実装(BWK awk、The One True Awkとも呼ばれます)がもとになっています。Appleが公開しているソースのmain.cでも、バージョンは20200816でした。
ほかの実装は、手元にあったDockerのイメージで試しました(新たにインストールはしていません)。
| 実装 | バージョン | 試したイメージ | そのイメージのawkの実体 |
|---|---|---|---|
| gawk(GNU Awk) | 5.1.0 | amazonlinux:2023 | gawk |
| mawk | 1.3.4 20250131 | debian:trixie-slim(Debian 13) | mawk |
| BusyBox awk | BusyBox v1.37.0 | alpine:3.24 | BusyBox |
Debian 13のイメージに加えて、Ubuntu 22.04ベースのイメージでもawkの実体はmawk(1.3.4 20200120)でした。Debian系ではawkと打つとmawkが動くことが多い、ということは覚えておくと役に立ちます。gawkは手元のイメージに5.1.0しかなかったため、5.3以降の機能(--csv)はマニュアルとNEWSの記述に基づいて説明します。
以下、$ awkで始まる実行結果はmacOSのawk、$ gawkで始まるものはgawk 5.1.0、$ mawkはmawk、$ busybox awkはBusyBoxのものです。
試したファイルは次のようなものです。
$ cat sales.txt
2026-11-01 apple 3 120
2026-11-01 banana 5 80
2026-11-02 apple 2 120
2026-11-02 cherry 1 600
2026-11-03 banana 4 80
2026-11-03 apple 6 110
$ cat passwd.txt
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
www-data:x:33:33:www-data:/var/www:/usr/sbin/nologin
sample:x:1000:1000:Sample User:/home/sample:/bin/bash
deploy:x:1001:1001::/home/deploy:/bin/zsh
$ cat dup.txt
apple
banana
apple
cherry
banana
applesales.txtは「日付 商品 個数 単価」の売上データ、passwd.txtは/etc/passwdと同じ形式のサンプルです。ほかのファイルは使うところで紹介します。
awk とは: パターンとアクションで1行ずつ処理する言語
awkは、テキストを1行ずつ読み、行を空白などで区切った「列」を使って処理するためのコマンドです。名前は作者のAho、Weinberger、Kernighanの頭文字から来ています。sedが「行を編集する」道具なのに対し、awkは変数・連想配列・関数・ifやforを持つ小さなプログラミング言語で、列の計算や集計が得意です。
awk [オプション] 'プログラム' [ファイル...]
awk [オプション] -f プログラムファイル [ファイル...]ファイルを省略すると標準入力を読みます。ほかのコマンドの出力をパイプで受け取って加工する使い方がよくあります。パイプの仕組みはパイプとリダイレクトの仕組みで説明しています。
$ echo 'hello awk world' | awk '{ print $2 }'
awkパターンとアクションの組を繰り返す
awkのプログラムは、パターン { アクション }という組を並べたものです。
パターン { アクション }
パターン { アクション }
...awkは入力を1行(正確には1レコード)ずつ読み、そのたびにプログラムの組を上から順に調べます。パターンが真になった組のアクションだけが実行されます。これを入力の最後まで繰り返すのが、awkの基本の動きです。
$ awk '$2 == "apple" { print $1, $3 }' sales.txt
2026-11-01 3
2026-11-02 2
2026-11-03 6$2 == "apple"がパターン、{ print $1, $3 }がアクションです。2列目がappleの行でだけ、1列目と3列目を出力しています。
パターンとアクションは、どちらかを省略できます。
- パターンを省略すると、すべての行でアクションを実行する
- アクションを省略すると、パターンに合った行をそのまま出力する(
{ print }と同じ)
$ awk '{ print $2 }' sales.txt
apple
banana
apple
cherry
banana
apple
$ awk '$2 == "apple"' sales.txt
2026-11-01 apple 3 120
2026-11-02 apple 2 120
2026-11-03 apple 6 1102つ目のように、アクションのないパターンだけのプログラムは、grepのような絞り込みとして使えます。
レコードとフィールド
$0・$1・NF・$NF・NR
awkは入力をレコード(既定では1行)に分け、レコードをさらにフィールド(列)に分けます。
| 書き方 | 意味 |
|---|---|
$0 | レコード全体(行全体) |
$1、$2、... | 1番目、2番目、...のフィールド |
NF | そのレコードのフィールドの数 |
$NF | 最後のフィールド |
$(NF-1) | 最後から2番目のフィールド |
NR | それまでに読んだレコードの通し番号 |
FNR | 今のファイルの中でのレコードの番号 |
FILENAME | 今読んでいるファイルの名前 |
$ awk '{ print NR, NF, $NF }' sales.txt
1 4 120
2 4 80
3 4 120
4 4 600
5 4 80
6 4 110
$ awk '{ print $(NF-1) }' sales.txt | head -2
3
5$は「何番目のフィールドか」を表す演算子で、後ろに式を書けます。$NFは「NF番目のフィールド」、つまり最後の列です。$NF-1と書くと「最後の列の値から1を引く」になるので、最後から2番目の列はかっこを付けて$(NF-1)と書きます。
NRとFNRは、ファイルを1つだけ渡しているときは同じ値です。複数のファイルを渡すと、NRは通算、FNRはファイルごとに1から数え直します。
$ awk '{ print FILENAME, NR, FNR }' prices.txt orders.txt
prices.txt 1 1
prices.txt 2 2
prices.txt 3 3
orders.txt 4 1
orders.txt 5 2
orders.txt 6 3
orders.txt 7 4この違いは、後述の「2つのファイルを突き合わせる」で使います。
既定の区切り: 連続する空白をまとめて1つとみなす
区切り文字を指定しないと、awkはスペースとタブの並びを1つの区切りとして扱い、行頭と行末の空白は無視します。列の幅をそろえるために空白の数がまちまちになっている出力でも、そのまま列を取り出せます。
$ cat scores.txt
name score
sato 80
suzuki 95
tanaka 72
$ awk '{ print $2 }' scores.txt
score
80
95
72同じことをcutでやろうとすると、空白1文字ごとに列が区切られるため、うまくいきません。
$ cut -d' ' -f2 scores.txt
95
psやdf、ls -lのような、空白で桁をそろえたコマンドの出力から列を取り出すときに、awkがよく使われる理由です。
-F と FS: 区切り文字を変える
区切り文字は-Fで指定します。/etc/passwdのような:区切りのファイルなら-F:です。
$ awk -F: '{ print $1, $7 }' passwd.txt
root /bin/bash
daemon /usr/sbin/nologin
www-data /usr/sbin/nologin
sample /bin/bash
deploy /bin/zsh
$ awk -F: '$3 >= 1000 { print $1 }' passwd.txt
sample
deploy区切り文字は、組み込み変数FS(Field Separator)に入ります。-F:は、BEGIN(後述)の中でFS = ":"と書くのと同じ意味です。
$ awk 'BEGIN { FS = ":" } { print $1 }' passwd.txt | head -2
root
daemonFSに2文字以上を指定すると、正規表現として扱われます。複数の区切り文字や、前後の空白を含めた区切りも書けます。
$ echo 'a:b;c' | awk -F'[:;]' '{ print $3 }'
c
$ echo 'key = value' | awk -F' *= *' '{ print $2 }'
value1文字の区切りでも、空白以外を指定したときは、区切りが連続すると間に空のフィールドができます。
$ echo 'a,b,,d' | awk -F, '{ print NF; print $3 }'
4
3番目のフィールドは空文字列なので、空行が出力されています。空白1文字を区切りとして厳密に扱いたいときは、-F' 'ではなく-F'[ ]'と書きます。-F' 'は既定の「空白の並び」と同じ意味になります。
$ echo 'a b' | awk -F' ' '{ print NF }'
2
$ echo 'a b' | awk -F'[ ]' '{ print NF }'
3OFS と $1=$1: 出力の区切りと行の組み直し
printでカンマ区切りに並べた値の間には、OFS(Output Field Separator)が入ります。既定は空白1文字です。
$ awk -F: -v OFS='\t' '{ print $1, $6 }' passwd.txt | head -3
root /root
daemon /usr/sbin
www-data /var/www
$ awk -F: '{ print $1 $3 }' passwd.txt | head -2
root0
daemon12つ目のようにカンマを書かずに並べると、値がそのまま連結されます。print $1 $3とprint $1, $3の違いは見落としやすいところです。
OFSを変えても、printだけ($0の出力)では区切りは変わりません。$0は読み込んだときのままだからです。フィールドに何かを代入すると、awkは$0をOFSでつなぎ直します。そこで、値を変えずに$1 = $1と自分自身を代入する書き方がよく使われます。
$ awk -F: 'BEGIN { OFS = "," } { print }' passwd.txt | head -1
root:x:0:0:root:/root:/bin/bash
$ awk -F: 'BEGIN { OFS = "," } { $1 = $1; print }' passwd.txt | head -1
root,x,0,0,root,/root,/bin/bash:区切りを,区切りに変換できました。同じ仕組みで、余分な空白をまとめて1つにすることもできます。
$ echo ' a b c ' | awk '{ $1 = $1; print "[" $0 "]" }'
[a b c]POSIXの仕様でも、フィールドへの代入で$0が再評価され、存在しないフィールドへの代入ではOFSで区切って$0が組み直されると定められています。逆に言うと、フィールドを1つ書き換えるだけで行全体の空白がOFSに置き換わるので、元の桁ぞろえを保ちたいときは注意が必要です。
$ awk '{ $3 = ""; print }' sales.txt | head -2
2026-11-01 apple 120
2026-11-01 banana 80
$ awk '{ NF = 2; print }' sales.txt | head -2
2026-11-01 apple
2026-11-01 banana1つ目は3列目を空にした結果で、空のフィールドの両側の区切りが残るため、空白が2つ続いています。2つ目のようにNFに小さい値を代入すると、後ろの列を切り捨てられます(手元のmacOSのawkで動作を確認しました)。
RS と ORS: レコードの区切りを変える
RS(Record Separator)は入力のレコードの区切り、ORS(Output Record Separator)はprintの最後に付ける文字列です。どちらも既定は改行です。
ORSを変えると、行をつなげて出力できます。
$ awk -v ORS=',' '{ print $1 }' dup.txt; echo
apple,banana,apple,cherry,banana,apple,RSを空文字列にすると、空行で区切られた「段落」が1レコードになります(段落モード)。このとき、FSの値にかかわらず、改行もフィールドの区切りになります。
$ cat records.txt
name: Sample Taro
age: 30
name: Dummy Hanako
age: 25
$ awk 'BEGIN { RS = "" } { print NR ": " $2, $3 }' records.txt
1: Sample Taro
2: Dummy HanakoPOSIXの仕様では、RSに2文字以上を指定したときの結果は「unspecified(未規定)」です。手元ではmacOSのawk、gawk、mawk、BusyBoxのいずれも正規表現として扱いましたが、移植性が必要なスクリプトでは1文字か空文字列にしておくのが無難です。
$ printf 'a1--b2---c3\n' | awk 'BEGIN { RS = "-+" } { print NR, $0 }'
1 a1
2 b2
3 c3
BEGIN と END
BEGINは最初の行を読む前に1回だけ、ENDはすべての行を読み終えた後に1回だけ実行される特別なパターンです。
$ awk 'BEGIN { print "start" } { n++ } END { print "lines:", n }' sales.txt
start
lines: 6BEGINは変数の初期化やFS・OFSの設定、見出しの出力に、ENDは合計や平均などの集計結果の出力に使います。
$ awk '{ sum += $3 } END { print sum }' sales.txt
21
$ awk '{ sum += $3 * $4 } END { print "total:", sum, "avg:", sum / NR }' sales.txt
total: 2580 avg: 430ENDの中では、NRに全体の行数が入っています。$0については、POSIXの仕様ではENDの中で最後のレコードの値が残ると定められていて、手元でも最後の行が出力されました。
$ awk 'END { print NR }' sales.txt
6
$ awk 'END { print $0 }' sales.txt
2026-11-03 apple 6 110BEGINだけのプログラムは入力を読まないので、awkを電卓のように使えます。
$ awk 'BEGIN { print 1 / 3, 2 ^ 10, int(3.9), 7 % 3 }'
0.333333 1024 3 1累乗は^で書きます。
print と printf
printは、カンマで区切った値をOFSでつなぎ、最後にORSを付けて出力します。引数を省略すると$0を出力します。
$ awk '{ print $2, "x", $3 }' sales.txt | head -2
apple x 3
banana x 5数値を出力するときは、整数ならそのまま、小数ならOFMT(既定は%.6g)の書式で出力されます。
$ awk 'BEGIN { print 3.14159265, 100000 * 100000 }'
3.14159 10000000000printf
書式を細かく指定したいときはprintfを使います。C言語のprintfと同じような書式指定子が使えます。printと違って改行は自動で付かないので、\nを自分で書きます。
$ awk '{ printf "%-8s %5d %8.2f\n", $2, $3, $3 * $4 }' sales.txt
apple 3 360.00
banana 5 400.00
apple 2 240.00
cherry 1 600.00
banana 4 320.00
apple 6 660.00| 指定子 | 意味 |
|---|---|
%s | 文字列 |
%d、%i | 整数 |
%f | 小数(%.2fで小数点以下2桁) |
%e、%g | 指数表記、短い方の表記 |
%x、%o | 16進数、8進数 |
%c | 1文字(数値なら文字コードとして扱う) |
%% | %そのもの |
幅を%5dのように指定すると右寄せ、%-8sのように-を付けると左寄せになります。sprintfを使うと、同じ書式で文字列を作って変数に入れられます。
$ awk 'BEGIN { printf "%5.1f%%\n", 12.345 }'
12.3%
$ awk 'BEGIN { x = sprintf("%05.1f", 3.14159); print x }'
003.1出力をファイルやコマンドに送る
printとprintfの後ろに>、>>、パイプを書くと、出力先を変えられます。シェルのリダイレクトと似ていますが、awkの中で書く点が違います。
$ awk '{ print > ($2 ".out") }' sales.txt; head apple.out cherry.out
==> apple.out <==
2026-11-01 apple 3 120
2026-11-02 apple 2 120
2026-11-03 apple 6 110
==> cherry.out <==
2026-11-02 cherry 1 6002列目の値ごとにファイルを分けています。ファイル名を式で組み立てるときは、かっこで囲みます。awkの>は、プログラムの実行中に最初に書き込むときだけファイルを空にし、その後は同じファイルに書き足していきます。
出力をコマンドに渡すときは、コマンドを文字列で書きます。
$ awk '{ print $2 | "sort -u" }' sales.txt
apple
banana
cherryパターンで行を絞る
比較と論理演算
パターンには、比較演算子(==、!=、>、>=、<、<=)と論理演算子(&&、||、!)を使った式を書けます。
$ awk '$3 >= 4 { print $2, $3 }' sales.txt
banana 5
banana 4
apple 6
$ awk 'NR > 1' scores.txt
sato 80
suzuki 95
tanaka 72
$ awk 'NR % 2 == 0' sales.txt
2026-11-01 banana 5 80
2026-11-02 cherry 1 600
2026-11-03 apple 6 110NR > 1はヘッダー行を飛ばすときの定番です。式の値が0か空文字列なら偽、それ以外は真なので、awk 'NF'と書くと「フィールドが1つ以上ある行」、つまり空行以外を出力できます。
$ awk 'NF' records.txt
name: Sample Taro
age: 30
name: Dummy Hanako
age: 25正規表現: /re/ と ~ !~
/正規表現/だけをパターンに書くと、行全体($0)が正規表現に一致する行が対象になります。
$ awk '/banana/' sales.txt
2026-11-01 banana 5 80
2026-11-03 banana 4 80特定のフィールドだけを正規表現と比べるときは、~(一致する)と!~(一致しない)を使います。
$ awk '$2 ~ /^(apple|cherry)$/ { print $1, $2 }' sales.txt
2026-11-01 apple
2026-11-02 apple
2026-11-02 cherry
2026-11-03 apple
$ awk '$2 !~ /apple/' sales.txt
2026-11-01 banana 5 80
2026-11-02 cherry 1 600
2026-11-03 banana 4 80awkの正規表現は、POSIXのERE(拡張正規表現)です。sedやgrepと違って、+、?、|、()をそのまま使えます。macOSのmanページではre_format(7)の正規表現と説明されています。\dのようなPerlの書き方は使えないので、数字は[0-9]や[[:digit:]]と書きます。正規表現の種類の違いはgrep と ripgrep の使い方でも説明しています。
範囲パターン
カンマで2つのパターンをつなぐと、1つ目に一致した行から2つ目に一致した行までが対象になります。両端の行も含みます。
$ awk 'NR == 2, NR == 4' sales.txt
2026-11-01 banana 5 80
2026-11-02 apple 2 120
2026-11-02 cherry 1 600
$ cat multi.ini
[server]
port=80
[database]
port=5432
user=sample
[cache]
port=6379
$ awk '/^\[database\]/, /^\[cache\]/' multi.ini
[database]
port=5432
user=sample
[cache]sedの範囲アドレスと同じく、終わりの行まで含まれる点に注意してください。INIファイルのセクションを扱うなら、後述の「状態を変数で持つ」書き方の方が柔軟です。
変数と連想配列
変数は宣言しなくてよい
awkの変数は宣言なしで使えます。初期値は「空文字列であり、数値としては0」なので、sum += $3のように、いきなり足し込んでも動きます。
$ awk 'BEGIN { print x + 0, "[" x "]", length(x) }'
0 [] 0値は文字列と数値のどちらにもなり、使われ方によって自動で変換されます。数値として解釈できない文字列は、先頭の数字の部分だけが使われます。
$ printf '12abc\n' | awk '{ print $1 + 0 }'
12
$ printf 'abc\n' | awk '{ print $1 + 0 }'
0dfの90%のような値も、$5 + 0とすれば90として計算できます(レシピで使います)。
連想配列でキーごとに集計する
awkの配列は、文字列をキー(添字)にできる連想配列です。キーごとの合計や件数を数えるのに使います。
$ awk '{ qty[$2] += $3 } END { for (k in qty) print k, qty[k] }' sales.txt
apple 11
banana 9
cherry 1for (k in 配列)で、配列のキーを1つずつ取り出せます。ただし、取り出す順番は決まっていません。上の例はたまたまアルファベット順ですが、データや実装によって順番は変わります。並べ替えたいときは、結果をsortに渡します。
$ awk '{ c[$0]++ } END { for (k in c) print c[k], k }' dup.txt | sort -rn
3 apple
2 banana
1 cherryこれはsort | uniq -c | sort -rnと同じ集計で、入力を先に並べ替えなくてよいのが利点です。
平均を出すなら、合計と件数の2つの配列を使います。
$ awk '{ sum[$2] += $3; cnt[$2]++ } END { for (k in sum) printf "%s %.2f\n", k, sum[k] / cnt[k] }' sales.txt | sort
apple 3.67
banana 4.50
cherry 1.00!seen[$0]++ で重複行を取り除く
awkの有名な1行プログラムが、重複した行を取り除く!seen[$0]++です。sort -uと違って、最初に出てきた順番を保ちます。
$ awk '!seen[$0]++' dup.txt
apple
banana
cherry仕組みは次のとおりです。
seen[$0]は、その行を初めて見たときは未設定なので0- 後置の
++は「今の値を返してから1増やす」ので、式の値は0、!で反転して1(真)になり、行が出力される - 同じ行が2回目に出てきたときは
seen[$0]が1以上なので、!で0(偽)になり、出力されない
$0を$1に変えれば「1列目が同じ行は最初の1行だけ残す」になります。
in 演算子と delete
配列にキーがあるかはキー in 配列で調べます。配列[キー] == ""のように直接参照すると、その時点で空の要素が作られてしまう点に注意してください。
$ awk 'BEGIN { a["x"] = 1; if (a["y"] == "") print "empty"; print length(a) }'
empty
2
$ awk 'BEGIN { a["x"] = 1; if (!("y" in a)) print "no y"; print length(a) }'
no y
11つ目は参照しただけでa["y"]が作られ、要素数が2になっています。length(配列)で要素数を数える書き方は、以前は拡張機能でしたが、gawk 5.4.0のNEWSによると2024年版のPOSIXで標準になりました。要素の削除はdelete 配列[キー]、配列全体を空にするならdelete 配列です。
複数のキーを組み合わせる
配列[$1, $2]のようにカンマで区切ると、2つの値をSUBSEPという区切り文字でつないだ文字列がキーになります。取り出すときはsplitで分けます。
$ awk '{ s[$1, $2] += $3 } END { for (k in s) { split(k, p, SUBSEP); print p[1], p[2], s[k] } }' sales.txt | sort
2026-11-01 apple 3
2026-11-01 banana 5
2026-11-02 apple 2
2026-11-02 cherry 1
2026-11-03 apple 6
2026-11-03 banana 4組み込み関数
よく使う文字列関数を、手元のmacOSのawkの実行結果とあわせて紹介します。文字の位置は1から数えます。
| 関数 | 働き |
|---|---|
length(s) | 文字列の長さ(引数を省略すると$0の長さ) |
substr(s, m, n) | m文字目からn文字を取り出す(nを省略すると最後まで) |
index(s, t) | sの中でtが最初に現れる位置(なければ0) |
split(s, a, fs) | sをfsで分けて配列aに入れ、要素数を返す |
sub(re, repl, t) | tの中で最初に一致した部分を置換する(tを省略すると$0) |
gsub(re, repl, t) | 一致したすべてを置換する |
match(s, re) | 一致した位置を返し、RSTARTとRLENGTHを設定する |
sprintf(fmt, ...) | 書式を指定して文字列を作る |
tolower(s)、toupper(s) | 小文字、大文字にする |
int(x) | 小数点以下を切り捨てる |
length・substr・index・split
$ awk 'BEGIN { s = "Hello, World"; print length(s), substr(s, 1, 5), substr(s, 8), index(s, "World") }'
12 Hello World 8
$ awk 'BEGIN { n = split("2026-11-20", d, "-"); print n, d[1], d[2], d[3] }'
3 2026 11 20splitの3つ目の引数は、FSと同じく正規表現として扱われます(1文字の場合は、空白を除いてその文字そのもの)。
sub と gsub
subは最初の1か所、gsubはすべてを置換し、置換した数を返します。3つ目の引数を省略すると$0が対象です。
$ awk 'BEGIN { s = "foo bar foo"; n = sub(/foo/, "X", s); print n, s }'
1 X bar foo
$ awk 'BEGIN { s = "foo bar foo"; n = gsub(/foo/, "X", s); print n, s }'
2 X bar X
$ awk '{ gsub(/a/, "A", $2); print }' sales.txt | head -2
2026-11-01 Apple 3 120
2026-11-01 bAnAnA 5 80置換後の文字列の中の&は、一致した部分に置き換わります。sedの&と同じです。文字としての&を入れたいときは、awkのプログラムの中で"\\&"と書きます。
$ echo 'foo bar' | awk '{ gsub(/o+/, "[&]"); print }'
f[oo] bar
$ echo 'foo bar' | awk '{ gsub(/o+/, "\\&"); print }'
f& barmatch と RSTART・RLENGTH
matchは、正規表現に一致した位置を返し、組み込み変数RSTART(位置)とRLENGTH(長さ)を設定します。substrと組み合わせると、一致した部分を取り出せます。
$ awk 'BEGIN { s = "order id=12345 ok"; if (match(s, /[0-9]+/)) print RSTART, RLENGTH, substr(s, RSTART, RLENGTH) }'
10 5 12345POSIXのmatchには、sedの\1のようにグループの部分を取り出す機能がありません。gawkでは3つ目の引数に配列を渡すと取り出せます(後述)。
数値の関数
int(切り捨て)、sqrt、exp、log、sin、cos、atan2、rand、srandがあります。四捨五入の関数はないので、printf "%.0f"やint(x + 0.5)(正の数の場合)で代用します。
シェルとの値の受け渡し: -v と ENVIRON
-v で変数を渡す
シェルの変数の値をawkで使うときは、-v 名前=値で渡します。
$ item=banana
$ awk -v name="$item" '$2 == name' sales.txt
2026-11-01 banana 5 80
2026-11-03 banana 4 80
$ min=4
$ awk -v min="$min" '$3 >= min { print $2, $3 }' sales.txt
banana 5
banana 4
apple 6シングルクォートの中ではシェルの変数は展開されないので、'$2 == "$item"'と書いても$itemという文字列と比べるだけで、何も出力されません。エラーにもならないので気づきにくい失敗です。
$ awk '$2 == "$item"' sales.txt; echo "status=$?"
status=0ダブルクォートでプログラム全体を囲んで変数を埋め込む方法もありますが、$1などをすべて\$1とエスケープする必要があり、変数の中身によってはプログラムが壊れます。-vで渡すのが確実です。
-v はエスケープを解釈する。そのまま渡すなら ENVIRON
-vで渡した値は、awkの文字列リテラルと同じようにバックスラッシュのエスケープが解釈されます。POSIXの仕様でも、値はダブルクォートで囲んだ文字列として解釈すると定められています。Windowsのパスのようにバックスラッシュを含む値を渡すと、意図しない結果になります。
$ awk -v p='C:\new\dir' 'BEGIN { print p }'
C:
ewdir\nが改行になり、\dはdになりました。値をそのまま渡したいときは、環境変数にしてENVIRON配列で受け取ります。ENVIRONではエスケープは解釈されません。
$ P='C:\new\dir' awk 'BEGIN { print ENVIRON["P"] }'
C:\new\dirファイル名の位置に書く var=value
awk '...' n=1 fileのように、ファイル名の位置に名前=値を書いても変数を設定できます。ただし、こちらはその次のファイルを読む直前に代入されるので、BEGINの中では使えません。-vはBEGINより前に代入されます。どちらを使うか迷ったら-vにしておけば間違いありません。
2つのファイルを突き合わせる: NR==FNR
2つのファイルをキーで突き合わせる(結合する)のは、awkがよく使われる処理の1つです。たとえば、単価表と注文の一覧があるとします。
$ cat prices.txt
apple 120
banana 80
cherry 600
$ cat orders.txt
A001 apple 3
A002 grape 1
A003 cherry 2
A004 banana 5$ awk 'NR == FNR { price[$1] = $2; next } { print $1, $2, $3, price[$2] * $3 }' prices.txt orders.txt
A001 apple 3 360
A002 grape 1 0
A003 cherry 2 1200
A004 banana 5 400ポイントはNR == FNRです。通算の行番号NRとファイルごとの行番号FNRが等しいのは、1つ目のファイルを読んでいる間だけです。そこで、1つ目のファイルの間は単価を連想配列priceに入れ、nextで次の行へ進みます(nextは「この行の処理をここで終えて、次の行を読む」という命令です)。2つ目のファイルに入るとNR == FNRが偽になるので、2つ目の組だけが実行されます。
単価表にないgrapeは、price["grape"]が未設定なので0になりました。単価表にある行だけを出す(内部結合)、ない行だけを出す、といった絞り込みはinで書けます。
$ awk 'NR == FNR { price[$1] = $2; next } $2 in price { print $1, $2, $3 * price[$2] }' prices.txt orders.txt
A001 apple 360
A003 cherry 1200
A004 banana 400
$ awk 'NR == FNR { price[$1] = $2; next } !($2 in price) { print "no price:", $0 }' prices.txt orders.txt
no price: A002 grape 1joinコマンドと違って、入力を並べ替えておく必要はありません。ただし、1つ目のファイルはすべてメモリに載るので、小さい方のファイルを先に渡します。なお、1つ目のファイルが空だと、2つ目のファイルでもNR == FNRが成り立ってしまいます。空になりうるファイルを扱うときは、FILENAME == ARGV[1]で判定する方が安全です。
CSV の扱い
-F, の限界
カンマ区切りのファイルは-F,で分けられますが、値の中にカンマを含み、ダブルクォートで囲まれたフィールドがあると、列がずれます。
$ cat users.csv
id,name,city,amount
1,Sample Taro,Tokyo,1200
2,"Example, Inc.",Osaka,3400
3,Dummy Hanako,"Nagoya",560
$ awk -F, '{ print NF ": " $2 }' users.csv
4: name
4: Sample Taro
5: "Example
4: Dummy Hanako3行目は"Example, Inc."の中のカンマでも区切られ、フィールドが5つになりました。ダブルクォートも値に残ります。mawkとgawkでも-F,の結果は同じでした。自分で作った、引用符を使わない単純なCSVなら-F,で十分ですが、表計算ソフトから書き出したCSVでは注意が必要です。
--csv: BWK awk の第2版と gawk 5.3 以降
この問題に対して、2023年にBrian Kernighanが自身のawk(onetrueawk/awk)にCSVの読み込み機能を加えました。READMEによると、--csvを付けると、フィールドはカンマで区切られ、ダブルクォートで囲んだフィールドの中にはカンマや改行を含められます。フィールドの中のダブルクォートは2つ重ねて書きます。--csvのときはFSは無視されます。この版は書籍『The AWK Programming Language』第2版(Addison-Wesley、2024年)で説明されている版で、UTF-8にも対応しています。
gawkも、5.3.0のNEWSに「BWK awkの--csvと同じ動作を目指したCSVの読み込み機能を入れた」と記載があり、--csv(短い形は-k)で使えます。書き方は次のとおりです。
gawk --csv '{ print $2 }' users.csv手元のgawkは5.1.0なので、この機能は試せていません。macOSのawk(20200816)は第2版より前の版で、--csvは無視されました。mawkにもこのオプションはありませんでした。
$ awk --csv 'BEGIN { print "csv ok" }'
awk: unknown option --csv ignored
csv ok
$ mawk --csv 'BEGIN { print "csv ok" }'
mawk: not an option: --csvmacOSのawkはエラーにならずに警告を出して続行するので、--csvが効いていると思い込まないよう注意してください。
gawk の FPAT
--csvが使えない古いgawkでは、FPAT変数で「フィールドの中身を表す正規表現」を指定する方法があります。gawkのマニュアルに載っている書き方です。
$ gawk -v FPAT='([^,]*)|("[^"]*")' '{ print NF ": " $2 }' users.csv
4: name
4: Sample Taro
4: "Example, Inc."
4: Dummy Hanakoフィールドの数は正しくなりましたが、ダブルクォートは値に残ります。改行を含むフィールドにも対応していません。複雑なCSVを確実に扱うなら、--csvが使えるawkを使うか、CSVを扱うライブラリを持つ言語(Pythonのcsvモジュールなど)を使う方が安全です。
実装の違い: macOS(BWK awk)・gawk・mawk・BusyBox
awkには複数の実装があり、OSによってawkと打ったときに動くものが違います。手元で確かめた範囲では次のとおりです。
- macOS: BWK awk(20200816)
- Debian 13、Ubuntu 22.04のDockerイメージ: mawk
- Amazon Linux 2023のDockerイメージ: gawk
- Alpine LinuxのDockerイメージ: BusyBoxのawk
POSIXで定められた機能だけを使えばどれでも動きますが、拡張機能を使うと動かなくなります。gawkのマニュアルの「Common Extensions Summary」には、BWK awk・mawk・gawkの3つが共通して持つ拡張(/dev/stderrへの出力、FSを空文字列にして1文字ずつ分ける、RSを正規表現にする、delete 配列、nextfileなど)がまとめられています。
手元で試した違い
| 項目 | macOS(20200816) | gawk 5.1.0 | mawk 1.3.4 | BusyBox 1.37.0 |
|---|---|---|---|---|
UTF-8のlength("日本語") | 9(バイト数) | 3(文字数) | 9 | 9 |
gensub | 無い | ある | 無い | ある |
asort | 無い | ある | 無い | 無い |
strftime | 無い | ある | ある | ある |
--csv | 警告を出して無視 | 無い(5.3.0から) | エラー | エラー |
-F ''(1文字ずつ分割) | エラー | 使える | 使える | 使える |
"0x1A" + 0(入力の16進) | 26 | 0 | 0 | 26 |
正規表現のa{3} | 使える | 使える | 使える | 使える |
日本語の扱いの違いは、とくに注意が必要です。macOSのawk(20200816)とmawk、BusyBoxでは、lengthやsubstrがバイト単位で数えるため、日本語の文字列をsubstrで切ると文字が壊れます。
$ printf '日本語\n' | awk '{ print length($0), substr($0, 1, 1) }'
9 �
$ printf '日本語\n' | gawk '{ print length($0), substr($0, 1, 1) }'
3 日gawkの結果はLANG=C.UTF-8のときのもので、gawkはロケールに従って文字を数えます。同じgawkでもLC_ALL=Cにするとバイト数の9になりました。onetrueawk/awkのREADMEによると、第2版以降のBWK awkは文字列関数がUnicodeのコードポイント単位で数えるようになっています(FIXESには、CやPOSIXのロケールではUTF-8の処理を無効にしたとの記載もあります)。
macOSのawkでは、-F ''はfield separator FS is emptyという警告になり、行が分割されませんでした。BEGIN { FS = "" }と書けば1文字ずつ分けられます。
$ echo abc | awk -F '' '{ print NF, $2 }'
awk: field separator FS is empty
1
$ echo abc | awk 'BEGIN { FS = "" } { print NF, $2 }'
3 bgawk の主な拡張機能
gawkには便利な拡張が多くあります。Linuxのサーバーでgawkが入っているなら使うと楽ですが、macOSやDebian系の標準のawkでは動かないことを意識して使ってください。
gensubは、sedの\1のように後方参照を使って置換し、結果を返す関数です。
$ gawk '{ print gensub(/^([0-9]+)-([0-9]+)-([0-9]+)$/, "\\3/\\2/\\1", 1, $1) }' sales.txt | head -2
01/11/2026
01/11/2026matchの3つ目の引数に配列を渡すと、グループに一致した部分を取り出せます。
$ gawk 'match($0, /"([A-Z]+) ([^ ]+)/, m) { print m[1], m[2] }' access.log | head -3
GET /
GET /blog/sample
GET /wp-login.phpPROCINFO["sorted_in"]を設定すると、for (k in 配列)の順番を指定できます。@val_num_descは「値を数値として降順」です。
$ gawk '{ qty[$2] += $3 } END { PROCINFO["sorted_in"] = "@val_num_desc"; for (k in qty) print k, qty[k] }' sales.txt
apple 11
banana 9
cherry 1-i inplaceを付けると、sedの-iのようにファイルを直接書き換えます。gawkのマニュアルでは、GNU sedの-iをまねた拡張として説明されています。
$ gawk -i inplace 'NR > 1 { $2 = $2 + 5 } { print }' s2.txt; cat s2.txt
name score
sato 85
suzuki 100
tanaka 77ほかにも、IGNORECASE = 1で大文字小文字を区別しない一致、asort・asortiによる配列の並べ替え、systime・strftimeなどの時刻関数があります。gawkの拡張を使っていないか確かめるには、--posixを付けて実行します。拡張の関数は未定義としてエラーになります。
$ gawk --posix 'BEGIN { print gensub(/a/, "b", "g", "aa") }'
gawk: cmd. line:1: warning: regexp constant for parameter #1 yields boolean value
gawk: cmd. line:1: fatal: function `gensub' not definedmacOSでは、gensubはcalling undefined function gensub、asortはcalling undefined function asortというエラーになりました。
なお、gawk 5.4.0のNEWSによると、5.4.0から既定の正規表現エンジンがMike Haertel氏のMinRXに変わっています。従来のエンジンも選べるとのことです。
macOS でファイルを書き換える
-i inplaceはgawkの拡張なので、macOSのawkでは使えません。一時ファイルに書き出してから、元のファイル名に移動します。
$ awk 'NR > 1 { $2 += 5 } { print }' scores.txt > scores.tmp && mv scores.tmp scores.txt
$ cat scores.txt
name score
sato 85
suzuki 100
tanaka 77awk ... scores.txt > scores.txtのように同じファイルへリダイレクトすると、awkが読む前にシェルがファイルを空にしてしまうので、必ず別のファイルを経由します。macOSでもgawkを使いたい場合は、Homebrewのgawkパッケージでgawkという名前で入れられます。
実務レシピ
アクセスログのステータスコードを集計する
Apacheやnginxのcombined形式のログでは、空白で区切ると9番目がステータスコード、10番目がレスポンスのバイト数、7番目がリクエストのパスになります。
$ head -3 access.log
192.0.2.10 - - [20/Nov/2026:09:00:01 +0900] "GET / HTTP/1.1" 200 5120 "-" "Mozilla/5.0"
192.0.2.11 - - [20/Nov/2026:09:00:03 +0900] "GET /blog/sample HTTP/1.1" 200 20480 "-" "Mozilla/5.0"
198.51.100.5 - - [20/Nov/2026:09:00:04 +0900] "GET /wp-login.php HTTP/1.1" 404 512 "-" "curl/8.7.1"
$ awk '{ c[$9]++ } END { for (s in c) print s, c[s] }' access.log | sort
200 3
201 1
304 1
404 2
500 1エラーになったリクエストだけを見るなら、ステータスコードで絞り込みます。
$ awk '$9 >= 400 { print $1, $9, $7 }' access.log
198.51.100.5 404 /wp-login.php
198.51.100.5 404 /.env
192.0.2.11 500 /api/items
$ awk '$9 ~ /^5/' access.log
192.0.2.11 - - [20/Nov/2026:09:02:00 +0900] "GET /api/items HTTP/1.1" 500 64 "-" "Mozilla/5.0"アクセス元のIPアドレスごとの件数、転送量の合計、分単位のリクエスト数も、同じ形で書けます。
$ awk '{ ip[$1]++ } END { for (i in ip) print ip[i], i }' access.log | sort -rn | head -3
3 192.0.2.10
2 198.51.100.5
2 192.0.2.11
$ awk '{ bytes += $10 } END { printf "%.1f KB\n", bytes / 1024 }' access.log
31.2 KB
$ awk '{ split($4, t, ":"); c[t[2] ":" t[3]]++ } END { for (m in c) print m, c[m] }' access.log | sort
09:00 3
09:01 3
09:02 2User-Agentのように空白を含む項目は、空白で区切ると列がずれます。ダブルクォートを区切り文字にすると、2番目がリクエスト行、6番目がUser-Agentになります。
$ awk -F'"' '{ split($2, req, " "); c[req[2]]++ } END { for (p in c) print c[p], p }' access.log | sort -rn
2 /blog/sample
2 /api/items
2 /
1 /wp-login.php
1 /.envログの中から対象の行を探すところは、grepやripgrepを使ってからawkに渡すのも定番です。
df の出力から使用率の高いディスクを探す
df -P(POSIX形式)の出力を保存したファイルdf.txtで試します。
$ cat df.txt
Filesystem 1024-blocks Used Available Capacity Mounted on
/dev/vda1 51475068 43850200 5000000 90% /
tmpfs 1002412 0 1002412 0% /dev/shm
/dev/vdb1 103081248 20616250 77206410 22% /data
/dev/vdc1 20511312 19480000 500000 98% /var/log
$ awk 'NR > 1 && $5 + 0 >= 90 { print $6, $5 }' df.txt
/ 90%
/var/log 98%
$ awk 'NR > 1 { printf "%-10s %6.1f GB\n", $6, $4 / 1024 / 1024 }' df.txt
/ 4.8 GB
/dev/shm 1.0 GB
/data 73.6 GB
/var/log 0.5 GB$5 + 0で90%を数値の90として比べています。-Pを付けると、デバイス名が長くても1行に収まるので、awkで列を取り出すときに安定します。
ps の出力からプロセスごとのメモリを合計する
ps -eo pid,%cpu,%mem,rss,commの出力を保存したファイルps.txtで試します。RSSはKB単位です。
$ cat ps.txt
PID %CPU %MEM RSS COMMAND
101 0.0 0.5 10240 /usr/sbin/sshd
210 2.5 8.0 163840 /usr/sbin/apache2
211 1.0 7.5 153600 /usr/sbin/apache2
305 12.0 20.0 409600 /usr/bin/mariadbd
412 0.1 1.0 20480 /usr/sbin/cron
$ awk 'NR > 1 { rss[$5] += $4 } END { for (c in rss) printf "%8.1f MB %s\n", rss[c] / 1024, c }' ps.txt | sort -rn
400.0 MB /usr/bin/mariadbd
310.0 MB /usr/sbin/apache2
20.0 MB /usr/sbin/cron
10.0 MB /usr/sbin/sshd
$ awk 'NR == 1 || $2 > 1.0' ps.txt
PID %CPU %MEM RSS COMMAND
210 2.5 8.0 163840 /usr/sbin/apache2
305 12.0 20.0 409600 /usr/bin/mariadbd2つ目は、ヘッダー行を残したまま、CPU使用率が1.0%を超えるプロセスだけを出しています。ps auxのCOMMANDのように空白を含む列が最後にある場合は、$11以降がばらばらになるので、-oで必要な列だけを出す方が扱いやすくなります。
特定の列を取り出して並べ替える
/etc/passwdから、ログインできるユーザー(シェルがnologinでないもの)の名前とホームディレクトリを出します。
$ awk -F: '$7 !~ /nologin$/ { print $1, $6 }' passwd.txt
root /root
sample /home/sample
deploy /home/deploy列の順番を入れ替えて、タブ区切りで出力することもできます。
$ awk -v OFS='\t' '{ print $2, $1 }' sales.txt | head -2
apple 2026-11-01
banana 2026-11-011列目を除いた残りを出す
「最初の列だけ消して、残りはそのまま」という処理は、$1を空にしてから先頭の空白を取ります。
$ awk '{ $1 = ""; sub(/^ /, ""); print }' sales.txt | head -2
apple 3 120
banana 5 80INI ファイルの特定のセクションだけを書き換える
範囲パターンの代わりに、今いるセクション名を変数に持っておくと、セクションの中だけを書き換えられます。
$ awk '/^\[/ { sec = $0 } sec == "[database]" && /^port=/ { sub(/=.*/, "=15432") } { print }' multi.ini
[server]
port=80
[database]
port=15432
user=sample
[cache]
port=6379同じ考え方で、セクション.キー = 値の一覧にも変換できます。
$ awk -F= '/^\[/ { sec = substr($0, 2, length($0) - 2); next } { print sec "." $1 " = " $2 }' multi.ini
server.port = 80
database.port = 5432
database.user = sample
cache.port = 6379行を逆順にする、前の行と比べる
配列に行を貯めておけば、ENDで逆順に出せます。
$ awk '{ a[NR] = $0 } END { for (i = NR; i >= 1; i--) print a[i] }' dup.txt
apple
banana
cherry
apple
banana
apple前の行を変数に取っておくと、「最後の行以外を出す」「前の行と値を比べる」といった処理も書けます。
$ awk 'NR > 1 { print prev } { prev = $0 }' dup.txt
apple
banana
apple
cherry
banana見つかったかどうかを終了ステータスで返す
exitに値を渡すと、awkの終了ステータスになります。シェルスクリプトのifで使えます。
$ awk '/cherry/ { found = 1; exit } END { exit !found }' sales.txt; echo "status=$?"
status=0
$ awk '/grape/ { found = 1; exit } END { exit !found }' sales.txt; echo "status=$?"
status=1exitを実行してもENDは実行されるので、ENDの中で改めてexitしています。見つかった時点で読むのをやめるので、大きなファイルでも無駄がありません。awkを含むシェルスクリプトを安全に書くなら、Bash の set -euo pipefailもあわせて参考にしてください。
長いプログラムはファイルに書く
プログラムが長くなったら、ファイルに書いて-fで読み込みます。#から行末まではコメントになり、関数も定義できます。
$ cat report.awk
# 商品ごとの売上を集計する
function money(x) { return sprintf("%7d", x) }
{ total[$2] += $3 * $4 }
END { for (k in total) print k, money(total[k]) }
$ awk -f report.awk sales.txt | sort
apple 1260
banana 720
cherry 600つまずきやすいところ
プログラムはシングルクォートで囲む
awkのプログラムをダブルクォートで囲むと、$1がシェルの位置パラメータとして展開されます。対話シェルでは$1は普通は空なので、{ print }となり、行全体が出力されます。
$ awk "{ print $1 }" sales.txt | head -2
2026-11-01 apple 3 120
2026-11-01 banana 5 80
$ awk '{ print $1 }' sales.txt | head -2
2026-11-01
2026-11-01プログラムの中に文字列としてシングルクォートを入れたいときは、'\''でいったんクォートを閉じるか、-v q="'"で変数として渡すと書きやすくなります。
FS をアクションの中で変えても、その行には効かない
FSの変更は、次に読む行から効きます。POSIXの仕様でも、レコードは「そのレコードを読んだ時点のFS」で分割されると定められています。そのため、BEGINを付けずにFSを設定すると、1行目だけが分割されません。
$ awk '{ FS = ":" } { print $1 }' passwd.txt | head -3
root:x:0:0:root:/root:/bin/bash
daemon
www-dataFSはBEGINの中で設定するか、-Fで指定します。
print a > b はリダイレクトになる
printの中の>は、比較ではなく出力のリダイレクトとして扱われます。比べた結果を出したいなら、かっこで囲みます。
$ awk 'BEGIN { x = 5; print x > 3 }'; cat 3
5
$ awk 'BEGIN { x = 5; print (x > 3) }'
11つ目は、3という名前のファイルに5が書き込まれています。
数値の比較と文字列の比較
比較の両側が数値なら数値として、どちらかが文字列なら文字列として比べます。入力から読んだフィールドや-vで渡した値は、数値に見えれば数値として扱われます(POSIXでは「numeric string」と呼びます)。
$ awk 'BEGIN { if ("10" < "9") print "string compare"; if (10 < 9) print "x"; else print "numeric compare" }'
string compare
numeric compare
$ printf '10 9\n' | awk '{ x = $1 ""; print (x < $2) ? "string" : "numeric" }'
string文字列としての比較では、"10"は"9"より小さくなります(先頭の文字の1と9で比べるため)。2つ目のように、フィールドでも文字列を連結すると文字列になり、文字列の比較になります。逆に、確実に数値として比べたいときは$1 + 0のように0を足します。
文字列と数値を並べるときの連結にも注意が必要です。連結と引き算が隣り合うと、思わぬ解釈になります。
$ awk 'BEGIN { print 1 " " -1 }'
1-1" " - 1が先に計算されて-1になり、1と連結されています。負の数を連結するときは(-1)のようにかっこで囲みます。
文字列で書いた正規表現のバックスラッシュ
gsubやsplit、~の右側には、/.../の正規表現の代わりに文字列も書けます。ただし、文字列として一度エスケープが解釈されてから正規表現になるので、.を文字どおりに扱うには"\\."と書く必要があります。"\."の扱いは実装で違いました。
$ awk 'BEGIN { s = "a.b.c"; gsub("\.", "-", s); print s }'
a-b-c
$ gawk 'BEGIN { s = "a.b.c"; gsub("\.", "-", s); print s }'
gawk: cmd. line:1: warning: escape sequence `\.' treated as plain `.'
-----
$ awk 'BEGIN { s = "a.b.c"; gsub(/\./, "-", s); print s }'
a-b-cgawkでは"\."が"."になり、任意の1文字に一致して全部が置換されました。正規表現が固定なら、/\./のように正規表現の書き方で書くのが確実です。
CRLF の改行が混ざっている
Windowsで作られたファイルは、行末が\r\nになっていることがあります。awkは\nで行を区切るので、最後のフィールドの末尾に\rが残ります。画面では見えないので、比較が一致しない、出力の表示が崩れる、といった形で表れます。
$ awk '{ print $2 "|" }' crlf.txt | od -c | head -2
0000000 1 0 \r | \n 2 0 \r | \n
0000012
$ awk '{ sub(/\r$/, ""); print $2 "|" }' crlf.txt
10|
20|先頭でsub(/\r$/, "")を実行して\rを取り除きます。この例は手元のmacOSのawkで確認したもので、gawkとmawkでも同じように\rが残りました。sedで先に変換する方法はsed コマンドの使い方で紹介しています。
小数とロケール
awkの数値は浮動小数点数(倍精度)です。整数として正確に扱えるのは2^53(9007199254740992)までで、それより大きな数は誤差が出ます。金額などを大量に足し合わせるときは、小数の誤差にも注意してください。
$ awk 'BEGIN { print 2^53, 2^53 + 1 }'
9007199254740992 9007199254740992また、数値の小数点は既定では.です。gawkのマニュアルによると、gawkは既定では入力の数値や%gの出力の小数点にロケールの設定を使わず、--use-lc-numeric(-N)を付けたときか、--posixなどのPOSIXモードのときに使います。日本語の環境ではあまり問題になりませんが、小数点がカンマのロケールのデータを扱うときは気にしておくとよいでしょう。
sed・grep・cut との使い分け
似た用途のコマンドとは、次のように使い分けると書きやすくなります。
| やりたいこと | 向いているコマンド |
|---|---|
| 正規表現で行を探す | grep / ripgrep |
| 行の中の文字列を置換する、行を削除する | sed |
| 区切りが1文字で固定の列を取り出す | cut |
| 空白で桁をそろえた出力から列を取り出す | awk |
| 列の値で絞り込む、計算する、集計する | awk |
| 2つのファイルをキーで突き合わせる | awk(並べ替え済みなら join も) |
| JSONを扱う | jq |
grepで探してawkで集計する、awkで列を出してsortとuniqで数える、のように、パイプでつなげて得意な部分を分担させるのが基本です。ファイルの一覧に対してまとめて処理をするなら、find と xargs の使い方も参考になります。JSONのように構造のあるデータは、awkで無理に分解せず、jq の使い方で紹介しているjqを使ってください。
まとめ
- awkは
パターン { アクション }を1行ずつ実行する。パターンだけなら絞り込み、アクションだけなら全行が対象 $0は行全体、$1以降が各列、NFは列の数、$NFは最後の列、NRは通算の行番号、FNRはファイルごとの行番号- 既定の区切りは空白の並び。
-Fで変えられ、2文字以上は正規表現になる OFSを変えたら$1 = $1で行を組み直す。フィールドに代入すると行全体の空白がOFSに置き換わるBEGINは最初の行の前、ENDは最後の行の後に1回だけ実行される。合計や平均はENDで出すprintはカンマでOFSが入り、カンマなしだと連結。書式を決めるならprintf(改行は自分で書く)- 連想配列でキーごとに集計できる。
for (k in a)の順番は決まっていないのでsortに渡す - 重複除去は
!seen[$0]++。キーの有無はinで調べる(直接参照すると要素ができる) - シェルの変数は
-vで渡す。バックスラッシュを含む値はENVIRONで NR == FNR { ...; next }で1つ目のファイルを配列に読み込み、2つ目と突き合わせる-F,は引用符付きのCSVで列がずれる。--csvはBWK awkの第2版とgawk 5.3以降の機能で、macOSのawk(20200816)とmawkには無い- macOSはBWK awk、Debian系はmawkのことが多い。
gensub・asort・-i inplaceなどはgawkの拡張 FSはBEGINか-Fで設定する。print x > 3はリダイレクトになる。文字列の正規表現のバックスラッシュは二重に書く
列を取り出す前に対象の行を探すならgrep と ripgrep の使い方、行単位の置換ならsed コマンドの使い方もあわせて参考にしてください。
参考資料
- awk - The Open Group Base Specifications Issue 8(POSIX.1-2024)
- GNU Awk のリリース一覧(ftp.gnu.org)
- onetrueawk/awk(GitHub)
- apple-oss-distributions/awk(GitHub)
- MAWK(invisible-island.net)
- mawk の変更履歴(CHANGES)
- The GNU Awk User's Guide(gawk 5.4.2 のソースに同梱の
doc/gawk.texi。「Working With Comma Separated Value Files」「Common Extensions Summary」「Extension Sample Inplace」の節)とNEWS - macOS の
awkのmanページ(man awk)


