[python] json.loads() で JSONDecodeError が出るとき

Tech
[python] json.loads() で JSONDecodeError が出るとき

JSONが返ってくるはずなのに出るとき。

json.JSONDecodeError は「JSONとして読めなかった」という意味しかないので、エラーメッセージの後半を見て原因を切り分けます。

Invalid control character: strict=False を付与する

json.decoder.JSONDecodeError: Invalid control character at: line 1 column 15 (char 14)

文字列の中に、改行やタブなどの制御文字がそのまま入っているケース。JSON の仕様では、文字列中の改行は \n とエスケープしないといけないので、厳密にチェックするとエラーになります。

strict=False を付与すると、文字列中の制御文字を許容して読み込めます。

json.loads(json_object, strict=False)

外部のAPIや、手で書かれたJSONで遭遇しがちです。

Expecting value: line 1 column 1 (char 0)

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

1文字目から読めていないので、そもそも中身がJSONではない可能性が高いです。

  • 中身が空文字
  • エラーページの HTML が返ってきている(< から始まる)
  • 認証エラーやレート制限で、別の形式のレスポンスが返っている

まず中身を見るのが一番早いです。

print(repr(json_object[:200]))

requests を使っているなら、ステータスコードも確認します。

res = requests.get(url)
print(res.status_code)
print(res.text[:200])
data = res.json()

Expecting property name enclosed in double quotes

json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes

キーがシングルクォートで囲まれている({'a': 1})か、末尾にカンマがある({"a": 1,})ケース。どちらも JavaScript や Python の書き方としては通りますが、JSON としてはNGです。

Python の dict を str() で文字列にしたものを読もうとしている場合は、出力側を json.dumps() に直すのが正解です。

Unexpected UTF-8 BOM

json.decoder.JSONDecodeError: Unexpected UTF-8 BOM (decode using utf-8-sig)

Windows のツールで保存されたファイルなどで、先頭に BOM が付いているケース。メッセージ通り、utf-8-sig で読みます。

with open("data.json", encoding="utf-8-sig") as f:
    data = json.load(f)

まとめ

エラーメッセージ主な原因対処
Invalid control character文字列中の生の改行・タブstrict=False
Expecting value: line 1 column 1中身が空 or HTML中身とステータスコードを確認
Expecting property name enclosed in double quotesシングルクォート、末尾カンマ出力側を json.dumps() に
Unexpected UTF-8 BOMファイル先頭の BOMencoding="utf-8-sig"

strict=False は「制御文字」のケースにしか効きません。まずメッセージを読む、がいちばんの近道です。

python