
## 概要

Lambda の Python ランタイムから OpenCV モジュールを利用できるようにするため、Lambda レイヤーに OpenCV を追加します。

## 構築環境

```bash
$ python -V
Python 3.9.12
$ pip -V
pip 22.0.4 from /home/ec2-user/.anyenv/envs/pyenv/versions/3.9.12/lib/python3.9/site-packages/pip (python 3.9)
```

## Lambda レイヤーに OpenCV モジュールを追加する手順

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/opencv_layer/python
```

### OpenCV 　(opencv-python) のインストール

`python` ディレクトリに `opencv-python` をインストールします。

```bash
$ cd ~/opencv_layer
$ pip install opencv-python -t python
Collecting opencv-python
  Using cached opencv_python-4.5.5.64-cp36-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (60.5 MB)
Collecting numpy>=1.17.3
  Using cached numpy-1.22.3-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (16.8 MB)
Installing collected packages: numpy, opencv-python
Successfully installed numpy-1.22.3 opencv-python-4.5.5.64
```

### mesa-libGL のインストール

現状、`opencv-python` をインストールしたディレクトリをプロイパッケージ化 (zip ファイルアーカイブ) して、Lambda レイヤーを作成して `cv2` を `import` すると以下のようなエラーが発生します。

```text
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': libGL.so.1: cannot open shared object file: No such file or directory
```

既知の問題みたいで以下のサイトを参考に対応していきます。

<https://stackoverflow.com/questions/64016819/cant-use-opencv-python-in-aws-lambda>

まず、`mesa-libGL` をインストールします。

```bash
sudo yum install -y mesa-libGL
```

`mesa-libGL` をインストール後に、必要なライブラリを `python` ディレクトリに追加します。

```bash
cd ~/opencv_layer
cp -v /usr/lib64/libGL.so.1 ./python/opencv_python.libs/
cp -v /usr/lib64/libgthread-2.0.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libglib-2.0.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLX.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libX11.so.6 ./python/opencv_python.libs/
cp -v /usr/lib64/libXext.so.6 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLdispatch.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLX_mesa.so.0.0.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libxcb.so.1 ./python/opencv_python.libs/
cp -v /usr/lib64/libXau.so.6 ./python/opencv_python.libs/
cp -v /lib64/libGLdispatch.so.0.0.0 ./python/opencv_python.libs/
```

### 軽量化のために不要なファイルを削除する

そのままだと、236 MB もあるので不要なファイルを削除して少しでも軽くします。

```bash
$ du -sh python/
236M    python/
```

`Serverless Framework` の [Slim Package][^1] を参考に `dist-info`、`__pycache__`、`pyc`、`pyo` を削除します。

[^1]: [Serverless Framework: Plugins](https://www.serverless.com/plugins/serverless-python-requirements)

```bash
find ./python -type d -regextype posix-basic -regex ".*dist-info.*" | xargs rm -rf
find ./python -type d -regextype posix-basic -regex ".*__pycache__.*" | xargs rm -rf
find ./python -type f -regextype posix-basic -regex ".*\.py[c|o]" | xargs rm -rf
```

8 MB だけ軽くなりました。。。

```bash
$ du -sh python/
228M    python/
```

:::warning
軽量化とは別ですが、オブジェクトファイルからのシンボルテーブルなどを削除する `strip` コマンドを実行したデプロイパッケージを使用すると以下のようなエラーが発生しますので、やらないようにしましょう。

```bash
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': /opt/python/cv2/cv2.abi3.so: ELF load command address/offset not properly aligned
```

:::

### デプロイパッケージ化 (zip ファイルアーカイブ)

```bash
cd ~/opencv_layer
zip -r9 opencv_layer.zip python
```

### 不要なファイルを削除して軽量化する

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

## 動作確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行してみます。
特にエラーが発生せず、実行結果のログに `cv2` モジュール内で定義されている関数、属性などの一覧が表示されていれば成功です。

```python
import cv2

def lambda_handler(event, context):
        print(dir(cv2))
```

## Lambda レイヤーに ライブラリを追加する ( OpenCV 編)　まとめ

`opencv-python` をインストールしただけでも 236 MB にもなります。
2022/04 時点では、Lambda デプロイパッケージ (zip ファイルアーカイブ) の上限サイズは 250 MB (解凍後)[^2] です。
かなりギリギリで、`opencv-python` 以外のモジュールを追加するのも難しいです。
`opencv-contrib-python` なんて入りません。
どうしても Lambda で `opencv` を使用する場合は、コードパッケージサイズの上限が 10 GB[^2] もあるコンテナイメージを使用することを検討した方良いかなと思います。

[^2]: [Lambda クォータ \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/gettingstarted-limits.html#function-configuration-deployment-and-execution)


Lambda レイヤーにライブラリを追加する ( OpenCV 編)


## 概要

Lambda の Python ランタイムから URLExtract モジュールを利用できるようにするため、Lambda レイヤーに URLExtract を追加します。

## Lambda レイヤーに URLExtract モジュールを追加する手順

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/urlextract_layer/python
```

### urlextract インストール

`python` ディレクトリに `urlextract` をインストールします。

```bash
cd ~/urlextract_layer
pip install urlextract -t python
```

### デプロイパッケージ化( zip ファイルアーカイブ)

```bash
cd ~/urlextract_layer
zip -r9 urlextract_layer.zip python
```

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

### Read-only file system: '/home/sbx_user1051'

:::warning

URLExtract は書き込み可能なキャッシュディレクトリーを必要とします。
利用するキャッシュディレクトリーは URLExtract インスタンスの初期化時に `cache_dir` パラメータで指定することができます。

一方で、Lambda の環境では書き込み可能なディスク領域は、`/tmp` ディレクトリ内のみとなっています。
そのため、そのまま URLExtract を利用すると、ホームディレクトリ( `/home/sbx_user1051` ) に書き込もうとして、`Read-only file system: '/home/sbx_user1051'` エラーが発生します。

解決方法としては、利用するキャッシュディレクトリーとして `/tmp` ディレクトリを使用するようにすることで回避できます。

:::

```py
import json
from urlextract import URLExtract

def lambda_handler(event, context):
    extractor = URLExtract(cache_dir='/tmp')
```


Lambda レイヤーにライブラリを追加する ( URLExtract 編)


Lambda の Python ランタイムで標準で利用可能なモジュールを `help("modules")` を使って調べてみました。

## Lambda の Python ランタイムで標準で利用可能なモジュール

### Lambda の Python ランタイムが Python 3.9 の場合

:::details[利用可能なモジュール]

```text
__future__ _thread gettext s3transfer
_abc _threading_local glob sched
_aix_support _tracemalloc graphlib secrets
_ast _warnings grp select
_asyncio _weakref gzip selectors
_bisect _weakrefset hashlib setuptools
_blake2 _xxsubinterpreters heapq shelve
_bootlocale _xxtestfuzz hmac shlex
_bootsubprocess _zoneinfo html shutil
_bz2 abc http signal
_codecs aifc idlelib simplejson
_codecs_cn antigravity imaplib site
_codecs_hk argparse imghdr six
_codecs_iso2022 array imp smtpd
_codecs_jp ast importlib smtplib
_codecs_kr asynchat inspect sndhdr
_codecs_tw asyncio io socket
_collections asyncore ipaddress socketserver
_collections_abc atexit itertools spwd
_compat_pickle audioop jmespath sqlite3
_compression awslambdaric json sre_compile
_contextvars base64 keyword sre_constants
_crypt bdb lambda_function sre_parse
_csv binascii lib2to3 ssl
_ctypes binhex linecache stat
_ctypes_test bisect locale statistics
_curses bootstrap logging string
_curses_panel boto3 lzma stringprep
_datetime botocore mailbox struct
_dbm builtins mailcap subprocess
_decimal bz2 marshal sunau
_distutils_hack cProfile math symbol
_elementtree calendar mimetypes symtable
_functools cgi mmap sys
_gdbm cgitb modulefinder sysconfig
_hashlib chunk multiprocessing syslog
_heapq cmath netrc tabnanny
_imp cmd nis tarfile
_io code nntplib telnetlib
_json codecs ntpath tempfile
_locale codeop nturl2path termios
_lsprof collections numbers test
_lzma colorsys opcode textwrap
_markupbase compileall operator this
_md5 concurrent optparse threading
_multibytecodec configparser os time
_multiprocessing contextlib ossaudiodev timeit
_opcode contextvars parser tkinter
_operator copy pathlib token
_osx_support copyreg pdb tokenize
_peg_parser crypt pickle trace
_pickle csv pickletools traceback
_posixshmem ctypes pip tracemalloc
_posixsubprocess curses pipes tty
_py_abc dataclasses pkg_resources turtle
_pydecimal datetime pkgutil turtledemo
_pyio dateutil platform types
_queue dbm plistlib typing
_random decimal poplib unicodedata
_sha1 difflib posix unittest
_sha256 dis posixpath urllib
_sha3 distutils pprint urllib3
_sha512 doctest profile uu
_signal email pstats uuid
_sitebuiltins encodings pty venv
_socket ensurepip pwd warnings
_sqlite3 enum py_compile wave
_sre errno pyclbr weakref
_ssl faulthandler pydoc webbrowser
_stat fcntl pydoc_data wsgiref
_statistics filecmp pyexpat xdrlib
_string fileinput queue xml
_strptime fnmatch quopri xmlrpc
_struct formatter random xxlimited
_symtable fractions re xxsubtype
_sysconfigdata__linux_x86_64-linux-gnu ftplib readline zipapp
_testbuffer functools reprlib zipfile
_testcapi gc resource zipimport
_testimportmultiple genericpath rlcompleter zlib
_testinternalcapi getopt runpy zoneinfo
_testmultiphase getpass runtime_client
```

:::

### Lambda の Python ランタイムが Python 3.8 の場合

:::details[利用可能なモジュール]

```text
__future__ _tracemalloc gzip s3transfer
_abc _warnings hashlib sched
_ast _weakref heapq secrets
_asyncio _weakrefset hmac select
_bisect _xxsubinterpreters html selectors
_blake2 _xxtestfuzz http setup
_bootlocale abc idlelib setuptools
_bz2 aifc imaplib shelve
_codecs antigravity imghdr shlex
_codecs_cn argparse imp shutil
_codecs_hk array importlib signal
_codecs_iso2022 ast index site
_codecs_jp asynchat inspect six
_codecs_kr asyncio io smtpd
_codecs_tw asyncore ipaddress smtplib
_collections atexit itertools sndhdr
_collections_abc audioop jmespath socket
_compat_pickle base64 json socketserver
_compression bdb keyword spwd
_contextvars binascii lambda_internal sqlite3
_crypt binhex lambda_runtime_client sre_compile
_csv bisect lambda_runtime_exception sre_constants
_ctypes bootstrap lambda_runtime_marshaller sre_parse
_ctypes_test boto3 lib2to3 ssl
_curses botocore linecache stat
_curses_panel builtins locale statistics
_datetime bz2 logging string
_dbm cProfile lzma stringprep
_decimal calendar mailbox struct
_distutils_hack cgi mailcap subprocess
_dummy_thread cgitb marshal sunau
_elementtree chunk math symbol
_functools cmath mimetypes symtable
_gdbm cmd mmap sys
_hashlib code modulefinder sysconfig
_heapq codecs multiprocessing syslog
_imp codeop netrc tabnanny
_io collections nis tarfile
_json colorsys nntplib telnetlib
_locale compileall ntpath tempfile
_lsprof concurrent nturl2path termios
_lzma configparser numbers test
_markupbase contextlib opcode textwrap
_md5 contextvars operator this
_multibytecodec copy optparse threading
_multiprocessing copyreg os time
_opcode crypt ossaudiodev timeit
_operator csv parser tkinter
_osx_support ctypes pathlib token
_pickle curses pdb tokenize
_posixshmem dataclasses pickle trace
_posixsubprocess datetime pickletools traceback
_py_abc dateutil pip tracemalloc
_pydecimal dbm pipes tty
_pyio decimal pkg_resources turtle
_queue difflib pkgutil turtledemo
_random dis platform types
_sha1 distutils plistlib typing
_sha256 doctest poplib unicodedata
_sha3 dummy_threading posix unittest
_sha512 email posixpath urllib
_signal encodings pprint urllib3
_sitebuiltins ensurepip profile uu
_socket enum pstats uuid
_sqlite3 errno pty venv
_sre faulthandler pwd warnings
_ssl fcntl py_compile wave
_stat filecmp pyclbr weakref
_statistics fileinput pydoc webbrowser
_string fnmatch pydoc_data wsgiref
_strptime formatter pyexpat xdrlib
_struct fractions queue xml
_symtable ftplib quopri xmlrpc
_sysconfigdata__linux_x86_64-linux-gnu functools random xxlimited
_testbuffer gc rapid_client xxsubtype
_testcapi genericpath re zipapp
_testimportmultiple getopt readline zipfile
_testinternalcapi getpass reprlib zipimport
_testmultiphase gettext resource zlib
_thread glob rlcompleter
_threading_local grp runpy
```

:::

### Lambda の Python ランタイムが Python 3.7 の場合

:::details[利用可能なモジュール]

```text
__future__ _xxtestfuzz hashlib s3transfer
_abc abc heapq sched
_ast aifc hmac secrets
_asyncio antigravity html select
_bisect argparse http selectors
_blake2 array idlelib setuptools
_bootlocale ast idna shelve
_bz2 asynchat imaplib shlex
_codecs asyncio imghdr shutil
_codecs_cn asyncore imp signal
_codecs_hk atexit importlib site
_codecs_iso2022 audioop inspect six
_codecs_jp base64 io smtpd
_codecs_kr bdb ipaddress smtplib
_codecs_tw binascii itertools sndhdr
_collections binhex jmespath socket
_collections_abc bisect json socketserver
_compat_pickle bootstrap keyword spwd
_compression boto3 lambda_function sqlite3
_contextvars botocore lambda_runtime_client sre_compile
_crypt builtins lambda_runtime_exception sre_constants
_csv bz2 lambda_runtime_marshaller sre_parse
_ctypes cProfile lib2to3 ssl
_ctypes_test calendar linecache stat
_curses certifi locale statistics
_curses_panel cgi logging string
_datetime cgitb lzma stringprep
_dbm chardet macpath struct
_decimal charset_normalizer mailbox subprocess
_dummy_thread chunk mailcap sunau
_elementtree cmath marshal symbol
_functools cmd math symtable
_gdbm code mimetypes sys
_hashlib codecs mmap sysconfig
_heapq codeop modulefinder syslog
_imp collections multiprocessing tabnanny
_io colorsys netrc tarfile
_json compileall nis telnetlib
_locale concurrent nntplib tempfile
_lsprof configparser ntpath termios
_lzma contextlib nturl2path test
_markupbase contextvars numbers test_bootstrap
_md5 copy opcode test_lambda_runtime_client
_multibytecodec copyreg operator test_lambda_runtime_marshaller
_multiprocessing crypt optparse textwrap
_opcode csv os this
_operator ctypes ossaudiodev threading
_osx_support curses parser time
_pickle dataclasses pathlib timeit
_posixsubprocess datetime pdb tkinter
_py_abc dateutil pickle token
_pydecimal dbm pickletools tokenize
_pyio decimal pip trace
_queue difflib pipes traceback
_random dis pkg_resources tracemalloc
_sha1 distutils pkgutil tty
_sha256 doctest platform turtle
_sha3 dummy_threading plistlib turtledemo
_sha512 easy_install poplib types
_signal email posix typing
_sitebuiltins encodings posixpath unicodedata
_socket ensurepip pprint unittest
_sqlite3 enum profile urllib
_sre errno pstats urllib3
_ssl faulthandler pty uu
_stat fcntl pwd uuid
_string filecmp py_compile venv
_strptime fileinput pyclbr warnings
_struct fnmatch pydoc wave
_symtable formatter pydoc_data weakref
_sysconfigdata_m_linux_x86_64-linux-gnu fractions pyexpat webbrowser
_testbuffer ftplib queue wsgiref
_testcapi functools quopri xdrlib
_testimportmultiple gc random xml
_testmultiphase genericpath re xmlrpc
_thread getopt readline xxlimited
_threading_local getpass reprlib xxsubtype
_tracemalloc gettext requests zipapp
_warnings glob resource zipfile
_weakref grp rlcompleter zipimport
_weakrefset gzip runpy zlib
```

:::

### Lambda の Python ランタイムが Python 3.6 の場合

:::details[利用可能なモジュール]

```text
__future__ array idna secrets
_ast ast imaplib select
_asyncio asynchat imghdr selectors
_bisect asyncio imp setuptools
_blake2 asyncore importlib shelve
_bootlocale atexit inspect shlex
_bz2 audioop io shutil
_codecs base64 ipaddress signal
_codecs_cn bdb itertools site
_codecs_hk binascii jmespath six
_codecs_iso2022 binhex json smtpd
_codecs_jp bisect keyword smtplib
_codecs_kr bootstrap lambda_function sndhdr
_codecs_tw boto3 lib2to3 socket
_collections botocore liblambdaio socketserver
_collections_abc builtins liblambdaipc spwd
_compat_pickle bz2 liblambdalog sqlite3
_compression cProfile liblambdaruntime sre_compile
_crypt calendar linecache sre_constants
_csv certifi locale sre_parse
_ctypes cgi logging ssl
_ctypes_test cgitb lzma stat
_curses chardet macpath statistics
_curses_panel chunk macurl2path string
_datetime cmath mailbox stringprep
_decimal cmd mailcap struct
_dummy_thread code marshal subprocess
_elementtree codecs math sunau
_functools codeop mimetypes symbol
_hashlib collections mmap symtable
_heapq colorsys modulefinder sys
_imp compileall multiprocessing sysconfig
_io concurrent netrc syslog
_json configparser nis tabnanny
_locale contextlib nntplib tarfile
_lsprof copy ntpath telnetlib
_lzma copyreg nturl2path tempfile
_markupbase crypt numbers termios
_md5 csv opcode test
_multibytecodec ctypes operator textwrap
_multiprocessing curses optparse this
_opcode datetime os threading
_operator dateutil ossaudiodev time
_osx_support dbm parser timeit
_pickle decimal pathlib tkinter
_posixsubprocess difflib pdb token
_pydecimal dis pickle tokenize
_pyio distutils pickletools trace
_random doctest pip traceback
_sha1 dummy_threading pipes tracemalloc
_sha256 easy_install pkg_resources tty
_sha3 email pkgutil turtle
_sha512 encodings platform turtledemo
_signal ensurepip plistlib types
_sitebuiltins enum poplib typing
_socket errno posix unicodedata
_sqlite3 faulthandler posixpath unittest
_sre fcntl pprint urllib
_ssl filecmp profile urllib3
_stat fileinput pstats uu
_string fnmatch pty uuid
_strptime formatter pwd venv
_struct fractions py_compile warnings
_symtable ftplib pyclbr wave
_sysconfigdata_m_linux_x86_64-linux-gnu functools pydoc weakref
_testbuffer gc pydoc_data webbrowser
_testcapi genericpath pyexpat wsgi
_testimportmultiple getopt queue wsgiref
_testmultiphase getpass quopri xdrlib
_thread gettext random xml
_threading_local glob re xmlrpc
_tracemalloc grp readline xxlimited
_warnings gzip reprlib xxsubtype
_weakref hashlib resource zipapp
_weakrefset heapq rlcompleter zipfile
abc hmac runpy zipimport
aifc html runtime zlib
antigravity http s3transfer
argparse idlelib sched
```

:::


Lambda の Python ランタイムで標準で利用可能なモジュール


AWS Lambda から cx_Oracle という Python モジュールを使用して RDS(OracleDB) へ接続してみたので、その手順をまとめました。

## Lambda から Python で RDS (OracleDB) へ接続する (cx_Oracle 編)

Lambda 関数から `cx_Oracle` を利用するための Lambda レイヤーを作成します。
`cx_Oracle` のドキュメントでは以下のように記載しています。

[Introduction to cx_Oracle — cx_Oracle 8\.3\.0 documentation](https://cx-oracle.readthedocs.io/en/latest/user_guide/introduction.html)

> Python programs call cx_Oracle functions. Internally cx_Oracle dynamically loads Oracle Client libraries to access OracleDB.
> ...
> On Linux, the libaio (sometimes called libaio1) package is needed.

上記の記述のように、`cx_Oracle` は内部的に `Oracle Client libraries` を動的にロードして、Oracle データベースにアクセスまた、`libaio(libaio1)` パッケージも必要です。
そのため、Lambda レイヤーには `cx_Oracle` と `Oracle Client libraries` と `libaio(libaio1)` を含める必要があります。

## Lambda から Python で RDS (OracleDB) へ cx_Oracle を使って接続する手順

### 前提条件

- 動作確認環境
  - Lambda Runtime: Python3.7, Python3.8, Python3.9
  - RDS(OracleDB): Oracle 19.0.0.0.ru-2021-07.rur-2021-07.r1
- 作業環境
  - EC2 (Amazon Linux2)
    - Python 3.7 と `libaio1` がすでにインストールされているためお勧めです。
- cx_Oracle 8.3
- Oracle Client libraries 19.13

### 作業ディレクトリの作成

```bash fn=~
mkdir ~/oracle_layer
cd ~/oracle_layer
mkdir python/ lib/
```

### cx_Oracle モジュールのインストール

pip コマンドに -t オプションを指定して python ディレクトリに `cx_Oracle` モジュールをインストールします。

```bash fn=~/oracle_layer
pip install cx_Oracle -t python/
```

### Oracle Client libraries のインストール

Oracle Client libraries をダウンロードして lib ディレクトリに展開します。
Oracle Client libraries は[ここから](https://www.oracle.com/jp/database/technologies/instant-client/linux-x86-64-downloads.html)ダウンロードします。

```bash fn=~/oracle_layer
wget https://download.oracle.com/otn_software/linux/instantclient/1913000/instantclient-basic-linux.x64-19.13.0.0.0dbru.zip -O oracle_client_lib.zip
unzip -j oracle_client_lib.zip -d lib/
```

### libaio1 を lib ディレクトリにコピーする

```bash fn=~/oracle_layer
cp /lib64/libaio.so.1 lib/libaio.so.1
```

### デプロイパッケージを作成する

```bash fn=~/oracle_layer
zip -r -y layer.zip python/ lib/
```

:::warning
lib ディレクトリ内の Oracle Client libraries は一部のファイルがシンボリックリンクです。
シンボリックリンクのまま格納する必要があるため、-y オプションを忘れずに。
-y オプションの替わりに --symlinks オプションでもいいです。
:::

### Lambda レイヤーの作成

#### Lambda レイヤーの作成パターンその 1: デプロイパッケージを S3 にアップロードしてそれを使用する

```bash fn=~/oracle_layer
aws s3 cp oracle_layer.zip s3://lambda_layer/oracle_layer.zip
aws lambda publish-layer-version \
    --layer-name cx_Oracle \
    --description "cx_Oracle layer" \
    --content S3Bucket=lambda_layer,S3Key=oracle_layer.zip \
    --compatible-runtimes python3.7 python3.8 python3.9
```

#### Lambda レイヤーの作成パターンその 2: ローカルにあるデプロイパッケージを使用する

```bash fn=~/oracle_layer
aws lambda publish-layer-version \
    --layer-name cx_Oracle \
    --description "cx_Oracle layer" \
    --zip-file fileb://oracle_layer.zip \
    --compatible-runtimes python3.7 python3.8 python3.9
```

### 接続確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行して接続確認してみます。
特にエラーが発生しなければ成功です。

```py
import cx_Oracle

def lambda_handler(event, context):
    connection = cx_Oracle.connect(<username>, <password>, <hostname>)
```

## 参考文献

<https://cx-oracle.readthedocs.io/en/latest/user_guide/introduction.html>

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html>


AWS Lambda から Python で RDS (OracleDB) へ接続する (cx_Oracle 編)


## Docker-Selenium を使って印刷プレビューを介しての PDF 保存をやってみた背景

会社で利用している監視サービスで一々 Web ブラウザを使って監視対象分のサーバーの監視レポートを毎月ダウンロードして顧客に提出ということをしてたので、今まで興味はあったけど手が出せてなかった Python と Selenium に入門したついでにこの課題を解決してみたのですが、思った以上に詰まったので内容をメモします。

## Docker-Selenium を使って印刷プレビューを介しての PDF 保存を自動化する前の手作業

1. ログイン画面
   - id, pass を入力してログインする
2. ダッシュボード画面
   - 監視対象のサーバーの一覧が表示されている
   - サーバー名をクリックして詳細画面に遷移する
3. 詳細画面
   - 月毎の監視レポートのリンクの一覧が降順表示されている
   - 一覧上の最新の月のリンクをクリックして監視レポート画面に遷移する
4. 監視レポート画面
   - 印刷ボタンがあるので、それをクリックして印刷プレビューを介して PDF を保存
5. 2〜4 をサーバーの数だけ繰り返す

## ファイル構成

```text fn=ディレクト構成
workspace
    └─ dev
        └─ shm               ← ファイルの保存先
    └─ docker-compose.yml    ← docker-selenium用のdocker-composeファイル
    └─ main.py               ← Selenium実行ファイル
```

## Mac に Selenium をインストール

```bash
pip3 install selenium
```

## Selenium Grid の準備

オーバースペックみたいですが Selenium Grid を使ってみます。
利用するイメージは `selenium/standalone-chrome` です。

```yaml fn=docker-compose.yml
version: '3'

services:
  chrome:
    image: selenium/standalone-chrome
    ports:
      - 4444:4444
    volumes:
      - $PWD/dev/shm:/dev/shm
```

## Docker-Selenium を使って印刷プレビューを介しての PDF 保存処理の作成

```py fn=main.py
import sys
import time
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


def search_and_download(driver):
    driver.get('https://hogehoge/ligin')

    # idとパスワードを入力してログイン
    id = driver.find_element_by_id("id_username")
    id.send_keys("ID")
    password = driver.find_element_by_id("id_password")
    password.send_keys("パスワード")

    login_button = driver.find_element_by_xpath('//*[@type="submit"]')
    login_button.click()

    # ダッシュボード画面で監視対象のサーバーの詳細画面へのリンクを全て取得し、アドレスだけ別変数に退避
    list_items = driver.find_elements_by_xpath('//a[starts-with(@href,"/reports")]')
    links = [list_item.get_attribute('href') for list_item in list_items]

    for link in links:
        try:
            # 詳細画面へ遷移し、最新の監視レポートリンクを取得
            driver.get(link)
            detail = driver.find_element_by_xpath('//a[starts-with(@href,"/reports/report/detail/")]')

            # 監視レポート画面へ遷移し、印刷ボタンをクリックすると自動でPDF保存されます
            driver.get(detail.get_attribute("href"))
            print_button = driver.find_element_by_xpath('//button[starts-with(@onclick,"window")]')
            print_button.click()
            time.sleep(3)
        except:
            print('監視レポートなし')
            continue

if __name__ == '__main__':
    query = ' '.join(sys.argv[1:])

    caps = DesiredCapabilities.CHROME.copy()
    caps['chromeOptions'] = {
        'args': [
            '--kiosk-printing',
        ],
        'prefs': {
            'savefile': {
                'default_directory': '/dev/shm'
            },
            'printing': {
                'print_preview_sticky_settings':{
                    'appState': {
                        'recentDestinations': [{
                            'id': 'Save as PDF',
                            'origin': 'local',
                            'account': '',
                        }],
                        'selectedDestinationId': 'Save as PDF',
                        'version': 2
                    }
                }
            }
        }
    }

    options = {
        'command_executor': 'http://localhost:4444/wd/hub',
        'desired_capabilities': caps
    }

    with webdriver.Remote(**options) as driver:
        driver.implicitly_wait(1)
        search_and_download(driver)

```

## Docker-Selenium を使って印刷プレビューを介しての PDF 保存処理の内容

```py
caps['chromeOptions'] = {
    'args': [
        '--kiosk-printing',
    ],
    'prefs': {
        'savefile': {
            'default_directory': '/dev/shm'
        },
        'printing': {
            'print_preview_sticky_settings':{
                'appState': {
                    'recentDestinations': [{
                        'id': 'Save as PDF',
                        'origin': 'local',
                        'account': '',
                    }],
                    'selectedDestinationId': 'Save as PDF',
                    'version': 2
                }
            }
        }
    }
}
```

`chromeOptions` で chrome の webdriver の細かな設定を行えます。

- `--kiosk-printing`

  - このオプションを指定すると、window.print()を実行し印刷しようとすると、印刷プレビューがすぐに閉じられ、Chrome に事前に設定した設定が自動的に使用されます。
  - 因みにこのオプションは `--headless` とは併用できないようです。その為、`--headless` をつけると PDF がダウンロードされませんでした。

- `prefs.savefile.default_directory`

  - 今回一番はまったところです。印刷プレビューを介したファイル保存で使用するファイル保存先の設定です。selenium でファイル保存関連を検索すると `download.default_directory` といった `download` を使用した記事が多いのですが、それでは保存できませんでした。やっとたどり着いたのがこのプロパティで無事保存ができました。

- `printing`
  - このオプションで印刷プレビューの設定ができます。今回は PDF での保存が目的なのでそれを選択するようにしています。

## Docker-Selenium を使って印刷プレビューを介しての PDF 保存をやってみた　まとめ

目的は達成しましたがまだまだわからないことだらけでした。
本当は main 処理の最後に後始末として `driver.quit()` を入れたのですが、
`selenium.common.exceptions.WebDriverException: Message: No active session with ID ~` というエラーが出て結局解決できませんでした。
あと作ってる最中ずっと、公式リファレンスはどこかにないの？と思っていました。
特に `ChromeOptions` の `savefile` は色々ググってやっと見つけたのが個人ブログでした。
その後、`ChromeOptions savefile` でぐぐりましたが全く情報がなく、
`savefile` といったプロパティの存在はを知るにはどうしたらいいのかと今でも悶々としています。


Python の記事一覧

Lambda レイヤーにライブラリを追加する ( OpenCV 編)

Lambda レイヤーにライブラリを追加する ( URLExtract 編)

Lambda の Python ランタイムで標準で利用可能なモジュール

AWS Lambda から Python で RDS (OracleDB) へ接続する (cx_Oracle 編)

Docker-Selenium を使って印刷プレビューを介しての PDF 保存をやってみた