岩波講座ソフトウェア科学５ プログラミング言語処理系 2.1 コンパイラの構成（字句解析から再開） トークン（字句）は言語として意味をもつ最小単位 字句解析器は白空白、コメントを除去する(ふむふむ） 正規表現は有限オートマトンに機械的に変換できる（…