
AWS マネジメントコンソールで Amazon EFS のアクセスポイントを作成して AWS Lambda から使用する手順をまとめました。

## EFS を Lambda で使用する際の前提

以下の記事で作成した Amazon EFS を前提にした手順となります。
「ファイルシステムポリシー」は、特に何も設定してません。

<https://blog.grasswake.me/tech-posts/1649084868>

## EFS を Lambda で使用する手順

### Lambda 関数用のセキュリティーグループ作成

- インバウンドルール
  - EFS を使用する上で特に設定する必要はありません。未設定でも大丈夫です。
- アウトバンドルール
  - デフォルトのアウトバウンドルールを使用し、すべてのトラフィックを許可しておきます。

### マウントターゲット用のセキュリティーグループの更新

- インバウンドルール
  |タイプ | プロトコル | ポート範囲 | ソース |
  | --- | --- | ---- | -------------------------------- |
  | NFS | TCP | 2049 | Lambda 関数用に作成したセキュリティーグループ |

### アクセスポイント作成

アクセスポイントを作成します。

[ユーザー ID] や [グループ ID] は Lambda のドキュメント[^1] を参考に `1001` にしています。

[^1]: [Lambda 関数のファイルシステムアクセスの設定 \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-filesystem.html#configuration-filesystem-setup)

![アクセスポイント作成 1](/images/posts/tech-posts/1649770909/create_accesspoint_1.png)

![アクセスポイント作成 2](/images/posts/tech-posts/1649770909/create_accesspoint_2.png)

### Lambda 関数の作成

EFS に アクセスするため、Lambda 関数は VPC に設置します。
設置する VPC は EFS を設置した VPC を選択します。
サブネットは EFS のマウントターゲットと同じサブネットを選択します。
セキュリティーグループは先ほど Lambda 関数用に作成したセキュリティーグループを選択します。
因みに、今回サンプルとして使用している EFS は「ファイルシステムポリシー」は未設定のため、[こちらのドキュメント](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-filesystem.html#configuration-filesystem-permissions)に書かれている `elasticfilesystem:ClientMount` などのアクセス許可は必要ありません。

![Lambda 関数の作成](/images/posts/tech-posts/1649770909/create_lambda.png)

### ファイルシステムの追加

EFS をファイルシステムとして追加します。

![ファイルシステム](/images/posts/tech-posts/1649770909/lambda_filesystem.png)

先ほど作成したアクセスポイントを選択します。
ローカルマウントパスは `/mnt/efs/` とします。

![ファイルシステムの追加](/images/posts/tech-posts/1649770909/add_filesystem.png)

### 動作確認

ローカルマウントパスとして指定した `/mnt/efs/` にファイルを作成してみます。
特にエラーが発生せず、実行結果のログに作成したファイル名が表示されていれば成功です。

```python
import json
import os

def lambda_handler(event, context):

    f = open('/mnt/efs/sample.txt', 'w')
    f.write('test')
    f.close()
    filenames = [f.name for f in os.scandir("/mnt/efs")]
    print(filenames)
```

![実行結果](/images/posts/tech-posts/1649770909/lambda_log.png)


EFS を Lambda で使用する


## 概要

Lambda の Python ランタイムから OpenCV モジュールを利用できるようにするため、Lambda レイヤーに OpenCV を追加します。

## 構築環境

```bash
$ python -V
Python 3.9.12
$ pip -V
pip 22.0.4 from /home/ec2-user/.anyenv/envs/pyenv/versions/3.9.12/lib/python3.9/site-packages/pip (python 3.9)
```

## Lambda レイヤーに OpenCV モジュールを追加する手順

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/opencv_layer/python
```

### OpenCV 　(opencv-python) のインストール

`python` ディレクトリに `opencv-python` をインストールします。

```bash
$ cd ~/opencv_layer
$ pip install opencv-python -t python
Collecting opencv-python
  Using cached opencv_python-4.5.5.64-cp36-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (60.5 MB)
Collecting numpy>=1.17.3
  Using cached numpy-1.22.3-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (16.8 MB)
Installing collected packages: numpy, opencv-python
Successfully installed numpy-1.22.3 opencv-python-4.5.5.64
```

### mesa-libGL のインストール

現状、`opencv-python` をインストールしたディレクトリをプロイパッケージ化 (zip ファイルアーカイブ) して、Lambda レイヤーを作成して `cv2` を `import` すると以下のようなエラーが発生します。

```text
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': libGL.so.1: cannot open shared object file: No such file or directory
```

既知の問題みたいで以下のサイトを参考に対応していきます。

<https://stackoverflow.com/questions/64016819/cant-use-opencv-python-in-aws-lambda>

まず、`mesa-libGL` をインストールします。

```bash
sudo yum install -y mesa-libGL
```

`mesa-libGL` をインストール後に、必要なライブラリを `python` ディレクトリに追加します。

```bash
cd ~/opencv_layer
cp -v /usr/lib64/libGL.so.1 ./python/opencv_python.libs/
cp -v /usr/lib64/libgthread-2.0.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libglib-2.0.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLX.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libX11.so.6 ./python/opencv_python.libs/
cp -v /usr/lib64/libXext.so.6 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLdispatch.so.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libGLX_mesa.so.0.0.0 ./python/opencv_python.libs/
cp -v /usr/lib64/libxcb.so.1 ./python/opencv_python.libs/
cp -v /usr/lib64/libXau.so.6 ./python/opencv_python.libs/
cp -v /lib64/libGLdispatch.so.0.0.0 ./python/opencv_python.libs/
```

### 軽量化のために不要なファイルを削除する

そのままだと、236 MB もあるので不要なファイルを削除して少しでも軽くします。

```bash
$ du -sh python/
236M    python/
```

`Serverless Framework` の [Slim Package][^1] を参考に `dist-info`、`__pycache__`、`pyc`、`pyo` を削除します。

[^1]: [Serverless Framework: Plugins](https://www.serverless.com/plugins/serverless-python-requirements)

```bash
find ./python -type d -regextype posix-basic -regex ".*dist-info.*" | xargs rm -rf
find ./python -type d -regextype posix-basic -regex ".*__pycache__.*" | xargs rm -rf
find ./python -type f -regextype posix-basic -regex ".*\.py[c|o]" | xargs rm -rf
```

8 MB だけ軽くなりました。。。

```bash
$ du -sh python/
228M    python/
```

:::warning
軽量化とは別ですが、オブジェクトファイルからのシンボルテーブルなどを削除する `strip` コマンドを実行したデプロイパッケージを使用すると以下のようなエラーが発生しますので、やらないようにしましょう。

```bash
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': /opt/python/cv2/cv2.abi3.so: ELF load command address/offset not properly aligned
```

:::

### デプロイパッケージ化 (zip ファイルアーカイブ)

```bash
cd ~/opencv_layer
zip -r9 opencv_layer.zip python
```

### 不要なファイルを削除して軽量化する

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

## 動作確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行してみます。
特にエラーが発生せず、実行結果のログに `cv2` モジュール内で定義されている関数、属性などの一覧が表示されていれば成功です。

```python
import cv2

def lambda_handler(event, context):
        print(dir(cv2))
```

## Lambda レイヤーに ライブラリを追加する ( OpenCV 編)　まとめ

`opencv-python` をインストールしただけでも 236 MB にもなります。
2022/04 時点では、Lambda デプロイパッケージ (zip ファイルアーカイブ) の上限サイズは 250 MB (解凍後)[^2] です。
かなりギリギリで、`opencv-python` 以外のモジュールを追加するのも難しいです。
`opencv-contrib-python` なんて入りません。
どうしても Lambda で `opencv` を使用する場合は、コードパッケージサイズの上限が 10 GB[^2] もあるコンテナイメージを使用することを検討した方良いかなと思います。

[^2]: [Lambda クォータ \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/gettingstarted-limits.html#function-configuration-deployment-and-execution)


Lambda レイヤーにライブラリを追加する ( OpenCV 編)


Java での Lambda レイヤーを作成手順をまとめました。

## Java + Gradle で Lambda レイヤー用のデプロイパッケージを作成する環境

- macOS: Catalina (10.15.7)
- JDK: Amazon Corretto 11 (Java 11 JDK)
- Gradle: 7.4.1

## Java + Gradle で Lambda レイヤー用のデプロイパッケージを作成する際の前提

こちらの[記事](https://blog.grasswake.me/tech-posts/1647962624)で実装した Lambda 関数をサンプルとして使います。
またこれから紹介する手順は以下の 2 つに分けて説明します。

- 外部の依存関係ライブラリを Lambda レイヤーに追加する手順
- 独自ライブラリを Lambda レイヤーに追加する手順

<https://blog.grasswake.me/tech-posts/1647962624>

## Java + Gradle で外部の依存関係ライブラリを追加した Lambda レイヤー用のデプロイパッケージを作成する手順

この手順では[サンプル](https://blog.grasswake.me/tech-posts/1647962624)で使用している以下の外部ライブラリを Lambda レイヤーに追加します。

- com.google.code.gson:gson:2.9.0
- com.amazonaws:aws-lambda-java-core:1.2.1

### 作業用ディレクトリの作成とプロジェクトの初期化

作業ディレクトリを作成して、`gradle init` コマンドを実行します。
`gradle init` コマンド実行時の各設問は最初の 2 つ以外はデフォルト値にしています。

```bash
$ mkdir ~/java-layer
$ cd ~/java-layer
$ gradle init
Starting a Gradle Daemon (subsequent builds will be faster)

Select type of project to generate:
  1: basic
  2: application
  3: library
  4: Gradle plugin
Enter selection (default: basic) [1..4] 1

Select build script DSL:
  1: Groovy
  2: Kotlin
Enter selection (default: Groovy) [1..2] 1

Generate build using new APIs and behavior (some features may change in the next minor release)? (default: no) [yes, no]

Project name (default: java-layer):

> Task :init
Get more help with your project: Learn more about Gradle by exploring our samples at https://docs.gradle.org/7.4.1/samples

BUILD SUCCESSFUL in 16s
2 actionable tasks: 2 executed
```

`gradle init` コマンド実行後、ディレクトリ構成は以下のようになります。

```text
.
├── build.gradle
├── gradle
│   └── wrapper
│       ├── gradle-wrapper.jar
│       └── gradle-wrapper.properties
├── gradlew
├── gradlew.bat
└── settings.gradle
```

### 外部ライブラリの定義とデプロイパッケージ作成タスクの定義

`build.gradle` ファイルを修正します。
`dependencies` に Lambda レイヤーに追加する外部ライブラリを定義します。
また、`task` でデプロイパッケージ(.zip ファイルアーカイブ)を作成するタスクを定義します。

外部ライブラリを保存するパスに注意してください。
Lambda のドキュメントでは以下のように記載しています。

[Lambda レイヤーの作成と共有 \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html#configuration-layers-path)

> ライブラリの依存関係をレイヤーに含める
> Lambda ランタイムごとに、PATH 変数に /opt ディレクトリ内の特定のフォルダが含まれます。レイヤー .zip ファイルアーカイブに同じフォルダ構造を定義すると、関数コードはパスを指定しなくても、レイヤーコンテンツにアクセスできます。
> ...
> 各 Lambda ランタイムのレイヤーパス
> Java java/lib (CLASSPATH)

上記の記述のように、Lambda レイヤーにアップロードする zip ファイルアーカイブに特定のディレクトリにライブラリなどの依存関係を含めておくだけで、パスを指定しなくてもそれを利用することができます。
今回は Java なので、`java/lib` ディレクトリに外部ライブラリを保存するよう必要があります。

```groovy fn=java-layer/build.gradle
plugins {
    id 'java'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation 'com.google.code.gson:gson:2.9.0'
    implementation 'com.amazonaws:aws-lambda-java-core:1.2.1'
}

task buildZip(type: Zip) {
    into('java/lib') {
        from configurations.runtimeClasspath
    }
}

build.dependsOn buildZip
```

### デプロイパッケージの作成その 1

`gradle build` コマンドを実行してデプロイパッケージを作成します。

```bash
gradle build
```

`build/distributions` ディレクトリに zip 形式のデプロイパッケージが作成されます。
作成されたデプロイパッケージには以下のように `java/lib/` ディレクトリと外部ライブラリが格納されます。

```bash
$ unzip -l build/distributions/java-layer.zip
Archive:  build/distributions/java-layer.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  03-21-2022 23:02   java/
        0  03-21-2022 23:02   java/lib/
   249277  03-20-2022 23:20   java/lib/gson-2.9.0.jar
     7515  03-20-2022 22:45   java/lib/aws-lambda-java-core-1.2.1.jar
---------                     -------
   256792                     4 files
```

### Lambda レイヤーの作成と Lambda 関数への紐付け 1

作成したデプロイパッケージを使って AWS マネジメントコンソールから Lambda レイヤーを作成と Lambda 関数への紐付けすることもできますが、今回は AWS CLI を使っていきます。
まず、`publish-layer-version` コマンドで Lambda レイヤーを作成します。
次の手順で使用するので、`publish-layer-version` コマンド実行結果から `LayerVersionArn` をメモしておきましょう。

```bash
$ aws lambda publish-layer-version --layer-name java-basic-layer \
--zip-file fileb://build/distributions/java-layer.zip --compatible-runtimes java11
{
    "Content": {
        "Location": "https://awslambda-ap-ne-1-layers.s3.ap-northeast-1.amazonaws.com/xxxxxxxxxxxxx"
        "CodeSha256": "V9RhiYR2QpTQEq7mKcl3pQnn+TTvMVyUKL9pbTi7Gd4=",
        "CodeSize": 227065
    },
    "LayerArn": "arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer",
    "LayerVersionArn": "arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer:1",
    "Description": "",
    "CreatedDate": "2022-03-21T14:04:36.472+0000",
    "Version": 1,
    "CompatibleRuntimes": [
        "java11"
    ]
}
```

次に、作成した Lambda レイヤーを[サンプルの Lambda 関数](https://blog.grasswake.me/tech-posts/1647962624)へ紐付けします。
`--layers` オプションに先ほどメモした `LayerVersionArn` を指定します。

```bash
aws lambda update-function-configuration --function-name java-sample \
 --layers arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer:1
```

### Lambda 関数から外部ライブラリを排除する

[サンプルの Lambda 関数](https://blog.grasswake.me/tech-posts/1647962624)のデプロイパッケージに外部ライブラリを含める必要がなくなるので、含めないように修正します。
`build.gradle` ファイルを修正します。
`task` でデプロイパッケージ(.zip ファイルアーカイブ)を作成するタスクから外部ライブラリに関連する定義を削除します。

```groovy fn=java-sample/build.gradle
plugins {
    id 'java'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation 'com.google.code.gson:gson:2.9.0'
    implementation 'com.amazonaws:aws-lambda-java-core:1.2.1'
}

task buildZip(type: Zip) {
    from compileJava
    from processResources
    // 以下の定義が不要になります。
    // into('lib') {
    //     from configurations.runtimeClasspath
    // }
}

build.dependsOn buildZip
```

### デプロイパッケージの作成その 2

`gradle build` コマンドを実行してデプロイパッケージを作成します。

```bash
gradle build
```

`build/distributions` ディレクトリに zip 形式のデプロイパッケージが作成されます。
作成されたデプロイパッケージには以下のように外部ライブラリがなくなり、クラスファイルのみが格納されます。

```bash
$ unzip -l build/distributions/java-sample.zip
Archive:  build/distributions/java-sample.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  03-21-2022 22:51   sample/
     2686  03-21-2022 22:51   sample/App.class
     1381  03-21-2022 22:51   previous-compilation-data.bin
---------                     -------
     4067                     3 files
```

### Lambda 関数の更新と実行その 1

作成したデプロイパッケージを使って AWS マネジメントコンソールから Lambda 関数を更新することもできますが、今回は AWS CLI を使って Lambda 関数の更新をします。

```bash
aws lambda update-function-code --function-name java-sample --zip-file fileb://build/distributions/java-sample.zip
```

Lambda 関数を実行して、エラーが出ず以下のように出力されれば成功です。
また、Lambda 関数の CloudWatch Logs のロググループに `payload` の値などが出力されているはずです。

```bash
$ aws lambda invoke --function-name java-sample  \
--payload '{"text":"Hello"}' response.txt --cli-binary-format raw-in-base64-out
{
    "StatusCode": 200,
    "ExecutedVersion": "$LATEST"
}
```

## Java + Gradle で独自ライブラリを追加した Lambda レイヤー用のデプロイパッケージを作成する手順

この手順では[サンプル](https://blog.grasswake.me/tech-posts/1647962624)内のログ処理を独自ライブラリとして Lambda レイヤーに追加します。

```java fn=java-sample/src/main/java/sample/App.java
package sample;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;
import com.amazonaws.services.lambda.runtime.LambdaLogger;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;

import java.util.Map;

public class App implements RequestHandler<Map<String, String>, String> {
  Gson gson = new GsonBuilder().setPrettyPrinting().create();

  @Override
  public String handleRequest(Map<String, String> event, Context context) {
    String response = new String("200 OK");
    // ---ここから---
    LambdaLogger logger = context.getLogger();
    // log execution details
    logger.log("ENVIRONMENT VARIABLES: " + gson.toJson(System.getenv()));
    logger.log("CONTEXT: " + gson.toJson(context));
    // process event
    logger.log("EVENT: " + gson.toJson(event));
    logger.log("EVENT TYPE: " + event.getClass().toString());
    // ---ここまでの処理を独自ライブラリ化します。---
    return response;
  }
}
```

### 独自ライブラリ処理の実装

まず、独自ライブラリ処理を実装するためのファイルを作成します。

```bash
cd ~/java-layer
mkdir src/main/java/sample_lib
touch src/main/java/sample_lib/Util.java
```

[サンプル](https://blog.grasswake.me/tech-posts/1647962624)内のログ処理を参考にというかほぼそのまま持ってきます。

```java fn=java-layer/src/main/java/sample_lib/Util.java
package sample_lib;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.LambdaLogger;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;

import java.util.Map;

public class Util {
  public static void log(Map<String, String> event, Context context) {
    Gson gson = new GsonBuilder().setPrettyPrinting().create();
    LambdaLogger logger = context.getLogger();
    // log execution details
    logger.log("ENVIRONMENT VARIABLES: " + gson.toJson(System.getenv()));
    logger.log("CONTEXT: " + gson.toJson(context));
    // process event
    logger.log("EVENT: " + gson.toJson(event));
    logger.log("EVENT TYPE: " + event.getClass().toString());
  }
}
```

### デプロイパッケージ作成タスクに独自ライブラリを追加するように定義する

`build.gradle` ファイルを修正します。
`buildZip` タスクで外部ライブラリ(`configurations.runtimeClasspath`)に加えコンパイルした独自ライブラリ(`jar`)も Lambda レイヤーに追加するように定義します。

```groovy fn=java-layer/build.gradle
plugins {
    id 'java'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation 'com.google.code.gson:gson:2.9.0'
    implementation 'com.amazonaws:aws-lambda-java-core:1.2.1'
}

task buildZip(type: Zip) {
    into('java/lib') {
        from jar, configurations.runtimeClasspath
    }
}

build.dependsOn buildZip
```

### デプロイパッケージの作成その 3

`gradle build` コマンドを実行してデプロイパッケージを作成します。

```bash
gradle build
```

`build/distributions` ディレクトリに zip 形式のデプロイパッケージが作成されます。
作成されたデプロイパッケージには以下のように `java/lib/` ディレクトリと独自ライブラリ(`java-layer.jar`)と外部ライブラリが格納されます。

```bash
$ unzip -l build/distributions/java-layer.zip
Archive:  build/distributions/java-layer.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  03-21-2022 23:17   java/
        0  03-21-2022 23:17   java/lib/
     1446  03-21-2022 23:17   java/lib/java-layer.jar
   249277  03-20-2022 23:20   java/lib/gson-2.9.0.jar
     7515  03-20-2022 22:45   java/lib/aws-lambda-java-core-1.2.1.jar
---------                     -------
   258238                     5 files
```

### Lambda レイヤーの更新と Lambda 関数への紐付け 2

作成したデプロイパッケージを使って AWS マネジメントコンソールから Lambda レイヤーの更新と Lambda 関数への紐付けすることもできますが、今回は AWS CLI を使っていきます。
まず、`publish-layer-version` コマンドで Lambda レイヤーを更新します。
次の手順で使用するので、`publish-layer-version` コマンド実行結果から `LayerVersionArn` をメモしておきましょう。

```bash
$ aws lambda publish-layer-version --layer-name java-basic-layer \
--zip-file fileb://build/distributions/java-layer.zip --compatible-runtimes java11
{
    "Content": {
        "Location": "https://awslambda-ap-ne-1-layers.s3.ap-northeast-1.amazonaws.com/xxxxxxxxxxxxx"
        "CodeSha256": "V9RhiYR2QpTQEq7mKcl3pQnn+TTvMVyUKL9pbTi7Gd4=",
        "CodeSize": 227065
    },
    "LayerArn": "arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer",
    "LayerVersionArn": "arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer:2",
    "Description": "",
    "CreatedDate": "2022-03-21T14:04:36.472+0000",
    "Version": 1,
    "CompatibleRuntimes": [
        "java11"
    ]
}
```

次に、作成した Lambda レイヤーを[サンプルの Lambda 関数](https://blog.grasswake.me/tech-posts/1647962624)へ紐付けします。
`--layers` オプションに先ほどメモした `LayerVersionArn` を指定します。

```bash
aws lambda update-function-configuration --function-name java-sample \
 --layers arn:aws:lambda:ap-northeast-1:zzzzzzzzzzzzzz:layer:java-basic-layer:2
```

### 独自ライブラリの取り込みと Lambda 関数から独自ライブラリの処理を呼び出す

まず、`libs` ディレクトリを作成し、独自ライブラリの jar ファイルをコピーします。

```bash
mkdir ~/java-sample/libs
cp ~/java-layer/build/libs/java-layer.jar ~/java-sample/libs
```

次に、[サンプルの Lambda 関数](https://blog.grasswake.me/tech-posts/1647962624)の `build.gradle` ファイルを修正します。
独自ライブラリを使用するために `dependencies` に `libs` ディレクトリないの jar ファイルを依存関係ライブラリとして定義します。

```groovy fn=java-sample/build.gradle
plugins {
    id 'java'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation 'com.google.code.gson:gson:2.9.0'
    implementation 'com.amazonaws:aws-lambda-java-core:1.2.1'
    implementation fileTree(dir: 'libs', include: '*.jar')
}

task buildZip(type: Zip) {
    from compileJava
    from processResources
}

build.dependsOn buildZip
```

最後に、[サンプルの Lambda 関数](https://blog.grasswake.me/tech-posts/1647962624)から独自ライブラリの処理を呼び出すように修正します。

```java fn=java-sample/src/main/java/sample/App.java
package sample;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;

// 独自ライブラリのインポート
import sample_lib.Util;

import java.util.Map;

public class App implements RequestHandler<Map<String, String>, String> {
  @Override
  public String handleRequest(Map<String, String> event, Context context) {
    // 独自ライブラリの処理の呼び出し
    Util.log(event, context);
    String response = new String("200 OK");
    return response;
  }
}
```

### デプロイパッケージの作成その 4

`gradle build` コマンドを実行してデプロイパッケージを作成します。

```bash
gradle build
```

`build/distributions` ディレクトリに zip 形式のデプロイパッケージが作成されます。
作成されたデプロイパッケージの中身は以下のように外部ライブラリがなくなり、クラスファイルのみになります。

```bash
$ unzip -l build/distributions/java-sample.zip
Archive:  build/distributions/java-sample.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  03-21-2022 23:23   sample/
     1392  03-21-2022 23:23   sample/App.class
      528  03-21-2022 23:23   previous-compilation-data.bin
---------                     -------
     1920                     3 files
```

### Lambda 関数の更新と実行その 2

作成したデプロイパッケージを使って AWS マネジメントコンソールから Lambda 関数を更新することもできますが、今回は AWS CLI を使って Lambda 関数の更新をします。

```bash
aws lambda update-function-code --function-name java-sample --zip-file fileb://build/distributions/java-sample.zip
```

Lambda 関数を実行して、エラーが出ず以下のように出力されれば成功です。
また、Lambda 関数の CloudWatch Logs のロググループに `payload` の値などが出力されているはずです。

```bash
$ aws lambda invoke --function-name java-sample  \
--payload '{"text":"Hello"}' response.txt --cli-binary-format raw-in-base64-out
{
    "StatusCode": 200,
    "ExecutedVersion": "$LATEST"
}
```

## 参考情報

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/java-handler.html>

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/java-package.html>


Java + Gradle で Lambda レイヤー用のデプロイパッケージを作成する


Java は新卒時以降全く使っていなかったのですが、最近 Java で Lambda を作成する時色々ハマったので、作成手順をまとめました。

## Java + Gradle で Lambda 関数用のデプロイパッケージを作成する環境

- macOS: Catalina (10.15.7)
- JDK: Amazon Corretto 11 (Java 11 JDK)
- Gradle: 7.4.1

## Java + Gradle で Lambda 関数用のデプロイパッケージを作成する手順

### 作業用ディレクトリの作成とプロジェクトの初期化

作業ディレクトリを作成して、`gradle init` コマンドを実行します。
`gradle init` コマンド実行時の各設問は最初の 2 つ以外はデフォルト値にしています。

```bash
$ mkdir ~/java-sample
$ cd ~/java-sample
$ gradle init
Starting a Gradle Daemon (subsequent builds will be faster)

Select type of project to generate:
  1: basic
  2: application
  3: library
  4: Gradle plugin
Enter selection (default: basic) [1..4] 1

Select build script DSL:
  1: Groovy
  2: Kotlin
Enter selection (default: Groovy) [1..2] 1

Generate build using new APIs and behavior (some features may change in the next minor release)? (default: no) [yes, no]

Project name (default: java-sample):

> Task :init
Get more help with your project: Learn more about Gradle by exploring our samples at https://docs.gradle.org/7.4.1/samples

BUILD SUCCESSFUL in 16s
2 actionable tasks: 2 executed
```

`gradle init` コマンド実行後、ディレクトリ構成は以下のようになります。

```text
.
├── build.gradle
├── gradle
│   └── wrapper
│       ├── gradle-wrapper.jar
│       └── gradle-wrapper.properties
├── gradlew
├── gradlew.bat
└── settings.gradle
```

### Lambda 関数ハンドラーの作成

今回は、[Lambda のドキュメント](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/java-handler.html)に記載されている[こちらのサンプル](https://github.com/awsdocs/aws-lambda-developer-guide/blob/main/sample-apps/java-basic/src/main/java/example/Handler.java)を実装してみます。

まず、`build.gradle` ファイルを以下のように修正します。
`dependencies` に今回使用するライブラリを定義します。
また、`task` でデプロイパッケージ(.zip ファイルアーカイブ)を作成するタスクを定義します。

```groovy
plugins {
    id 'java'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation 'com.google.code.gson:gson:2.9.0'

    implementation 'com.amazonaws:aws-lambda-java-core:1.2.1'
}

task buildZip(type: Zip) {
    from compileJava
    from processResources
    into('lib') {
        from configurations.runtimeClasspath
    }
}

build.dependsOn buildZip
```

次に、Lambda ハンドラー関数用の Java ファイルを作成して[こちらのサンプル](https://github.com/awsdocs/aws-lambda-developer-guide/blob/main/sample-apps/java-basic/src/main/java/example/Handler.java)を作成します。

```bash
mkdir src/main/java/sample
touch src/main/java/sample/App.java
```

```java fn=src/main/java/sample/App.java
package sample;

import com.amazonaws.services.lambda.runtime.Context;
import com.amazonaws.services.lambda.runtime.RequestHandler;
import com.amazonaws.services.lambda.runtime.LambdaLogger;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;

import java.util.Map;

public class App implements RequestHandler<Map<String, String>, String> {
  Gson gson = new GsonBuilder().setPrettyPrinting().create();

  @Override
  public String handleRequest(Map<String, String> event, Context context) {
    String response = new String("200 OK");
    LambdaLogger logger = context.getLogger();
    // log execution details
    logger.log("ENVIRONMENT VARIABLES: " + gson.toJson(System.getenv()));
    logger.log("CONTEXT: " + gson.toJson(context));
    // process event
    logger.log("EVENT: " + gson.toJson(event));
    logger.log("EVENT TYPE: " + event.getClass().toString());
    return response;
  }
}
```

### デプロイパッケージの作成

`gradle build` コマンドを実行してデプロイパッケージを作成します。

```bash
gradle build
```

`build/distributions` ディレクトリに zip 形式のデプロイパッケージが作成されます。
作成されたデプロイパッケージの中身は以下のようになっているかと思います。

```bash
$ unzip -l build/distributions/java-sample.zip
Archive:  build/distributions/java-sample.zip
  Length      Date    Time    Name
---------  ---------- -----   ----
        0  03-21-2022 22:51   sample/
     2686  03-21-2022 22:51   sample/App.class
     1381  03-21-2022 22:51   previous-compilation-data.bin
        0  03-21-2022 22:51   lib/
   249277  03-20-2022 23:20   lib/gson-2.9.0.jar
     7515  03-20-2022 22:45   lib/aws-lambda-java-core-1.2.1.jar
---------                     -------
   260859                     6 files
```

## Lambda 関数の作成と実行

作成したデプロイパッケージを使って AWS マネジメントコンソールから Lambda 関数を作成することもできますが、今回は AWS CLI を使って Lambda 関数の作成をします。

```bash
aws lambda create-function --function-name java-sample \
--zip-file fileb://build/distributions/java-sample.zip --handler sample.App::handleRequest --runtime java11 \
--role <IAM ロール arn>
```

Lambda 関数を実行して、エラーが出ず以下のように出力されれば成功です。
また、Lambda 関数の CloudWatch Logs のロググループに `payload` の値などが出力されているはずです。

```bash
$ aws lambda invoke --function-name java-sample  \
--payload '{"text":"Hello"}' response.txt --cli-binary-format raw-in-base64-out
{
    "StatusCode": 200,
    "ExecutedVersion": "$LATEST"
}
```

## 参考情報

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/java-handler.html>

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/java-package.html>


Java + Gradle で Lambda 関数用のデプロイパッケージを作成する


## SQS による Lambda 関数のトリガー時に受信したメッセージが削除されず無限ループしてしまう

Lambda 関数の実行ロールに `sqs:DeleteMessage` へのアクセス許可あるか確認する。

[Amazon SQS での Lambda の使用 \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-sqs.html)

> 関数が正常にバッチを処理すると、Lambda はキューからそのメッセージを削除します。

上記の記述のように、SQS による Lambda 関数のトリガー時は Lambda 関数の処理が正常に完了した際に、Lambda によりキューからメッセージが自動削除されます。
しかし、以下の記述のように、キューからメッセージにを削除するには、Lambda 関数の実行ロールに `sqs:DeleteMessage` へのアクセス許可が必要です。

[AWS Lambda 関数 $コンソール$ をトリガーするキューの設定 \- Amazon Simple Queue Service](https://docs.aws.amazon.com/ja_jp/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-configure-lambda-function-trigger.html)

> Lambda 実行ロールに以下の許可が含まれている必要があります:
> ・sqs\:DeleteMessage
> ・sqs\:GetQueueAttributes
> ・sqs\:ReceiveMessage


AWS Lambda Tips 集


## Amplify CLI でカスタムリソースとして Lambda をトリガーする SQS キューを作成する

Amplify CLI では `amplify add function` のような SQS を追加するコマンドは存在しません。
また、 `amplify add function` 実行時に、Lambda 関数のトリガー設定に関する以下のような質問が出ますが選択肢として SQS はありません。

```bash
$ amplify add function
? Choose the function template that you want to use: Lambda trigger
? What event source do you want to associate with Lambda trigger? (Use arrow keys)
❯ Amazon DynamoDB Stream
  Amazon Kinesis Stream
```

SQS のような Amplify CLI ではサポートされていない他のリソースを作成する場合は、「カスタム」機能を利用する必要があります。[^1]
この「カスタム」機能では、カスタムリソースの定義方法として AWS CDK[^2] と CloudFormation[^3] の 2 種類がありますがそれぞれの方法で Lambda 関数をトリガーする SQS キューの作成と設定をしてみます。

[^1]: [AWS CDK または CloudFormation を使用し、カスタム AWS リソースで Amplify バックエンドを拡張する新機能「カスタム」のご紹介 \| Amazon Web Services ブログ](https://aws.amazon.com/jp/blogs/news/extend-amplify-backend-with-custom-aws-resource-using-aws-cdk-or-cloudformation/)
[^2]: [Custom AWS resources \- Use CDK to add custom AWS resources \- AWS Amplify Docs](https://docs.amplify.aws/cli/custom/cdk/)
[^3]: [Custom AWS resources \- Use CloudFormation to add custom AWS resources \- AWS Amplify Docs](https://docs.amplify.aws/cli/custom/cloudformation/)

## Amplify CLI でカスタムリソースとして Lambda をトリガーする SQS キューを作成する手順

### 開発環境

- Amplify CLI: 7.6.22

### 作業ディレクトリの作成と初期化

まず、作業ディレクトリを作成し、Amplify プロジェクトを初期化します。

```bash
mkdir ~/sqs-lambda
cd ~/sqs-lambda
amplify init -y
```

### Lambda 関数の作成と SQS へのアクセス許可の付与

`amplify add function` コマンドで Lambda 関数を作成します。
取り敢えずここでは実行できればいいの、Hello World テンプレートを使用します。

```bash
$ cd ~/sqs-lambda
$ amplify add function
? Select which capability you want to add: Lambda function (serverless function)
? Provide an AWS Lambda function name: handleNotifySQS
? Choose the runtime that you want to use: NodeJS
? Choose the function template that you want to use: Hello World

Available advanced settings:
- Resource access permissions
- Scheduled recurring invocation
- Lambda layers configuration
- Environment variables configuration
- Secret values configuration

? Do you want to configure advanced settings? No
? Do you want to edit the local lambda function now? No
```

`amplify/backend` ディレクトリに Lambda 関数(`handleNotifySQS`)が追加されます。

```text
.
└── amplify
    └── backend
        └── function
            └── handleNotifySQS
                ├── amplify.state
                ├── custom-policies.json
                ├── dist
                │   └── latest-build.zip
                ├── function-parameters.json
                ├── handleNotifySQS-cloudformation-template.json
                └── src
                    ├── event.json
                    ├── index.js
                    ├── node_modules
                    ├── package.json
                    └── yarn.lock
```

Lambda 関数には SQS キューからメッセージを読み取るためのアクセス許可が必要です。
付与するアクセス許可は AWS マネージドポリシーの AWSLambdasqsqueueExecutionRole[^4] を参考にします。
CloudWatch Logs に関するアクセス許可はすでに定義済みなので、残りの以下の 3 つのアクションのアクセス許可を追加します。

- `sqs:ReceiveMessage`
- `sqs:DeleteMessage`
- `sqs:GetQueueAttributes`

[^4]: [AWS Lambda 実行ロール \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/ja_jp/lambda/latest/dg/lambda-intro-execution-role.html#permissions-executionrole-features)

```yaml fn=amplify/backend/function/handleNotifySQS/handleNotifySQS-cloudformation-template.json
'lambdaexecutionpolicy':
  {
    'DependsOn': ['LambdaExecutionRole'],
    'Type': 'AWS::IAM::Policy',
    'Properties':
      {
        'PolicyName': 'lambda-execution-policy',
        'Roles': [{ 'Ref': 'LambdaExecutionRole' }],
        'PolicyDocument':
          {
            'Version': '2012-10-17',
            'Statement':
              [
                {
                  'Effect': 'Allow',
                  'Action':
                    [
                      'logs:CreateLogGroup',
                      'logs:CreateLogStream',
                      'logs:PutLogEvents',
                    ],
                  'Resource':
                    {
                      'Fn::Sub':
                        [
                          'arn:aws:logs:${region}:${account}:log-group:/aws/lambda/${lambda}:log-stream:*',
                          {
                            'region': { 'Ref': 'AWS::Region' },
                            'account': { 'Ref': 'AWS::AccountId' },
                            'lambda': { 'Ref': 'LambdaFunction' },
                          },
                        ],
                    },
                },
                {
                  'Effect': 'Allow',
                  'Action':
                    [
                      'sqs:ReceiveMessage',
                      'sqs:DeleteMessage',
                      'sqs:GetQueueAttributes',
                    ],
                  'Resource': '*',
                },
              ],
          },
      },
  }
```

### CloudFormation で SQS をカスタムリソースとして作成する方法

`amplify add custom` コマンドでカスタムリソースを作成します。
カスタムリソースの定義方法として AWS CloudFormation を選択してください。

```bash
$ cd ~/sqs-lambda
$ amplify add custom
✔ How do you want to define this custom resource? · AWS CloudFormation
✔ Provide a name for your custom resource · notifySQSByCfn
✔ Do you want to access Amplify generated resources in your custom CloudFormation file? (y/N) · yes
? Select the categories you want this custom resource to have access to. function
✅ Created skeleton CloudFormation stack in amplify/backend/custom/notifySQSByCfn directory
✔ Do you want to edit the CloudFormation stack now? (Y/n) · no
```

`amplify/backend/custorm` ディレクトリにカスタムリソース(`notifySQSByCfn`)が追加されます。

```text
.
└── amplify
    └── backend
        └── custom
            └── notifySQSByCfn
                └── notifySQSByCfn-cloudformation-template.json
```

json 形式の CloudFormation テンプレートで SQS キューと Lambda のイベントソースマッピングを定義します。

```json fn=amplify/custom/notifySQSByCfn/notifySQSByCfn-cloudformation-template.json
{
  "AWSTemplateFormatVersion": "2010-09-09",
  "Parameters": {
    "env": {
      "Type": "String"
    },
    "functionhandleNotifySQSName": {
      "Type": "String",
      "Description": "Input parameter describing Name attribute for function/handleNotifySQS resource"
    },
    "functionhandleNotifySQSArn": {
      "Type": "String",
      "Description": "Input parameter describing Arn attribute for function/handleNotifySQS resource"
    },
    "functionhandleNotifySQSRegion": {
      "Type": "String",
      "Description": "Input parameter describing Region attribute for function/handleNotifySQS resource"
    },
    "functionhandleNotifySQSLambdaExecutionRole": {
      "Type": "String",
      "Description": "Input parameter describing LambdaExecutionRole attribute for function/handleNotifySQS resource"
    }
  },
  "Resources": {
    "NotifySQSByCfn": {
      "Type": "AWS::SQS::Queue"
    },
    "LambdaFunctionEventSourceMapping": {
      "Type": "AWS::Lambda::EventSourceMapping",
      "Properties": {
        "BatchSize": 10,
        "Enabled": true,
        "EventSourceArn": {
          "Fn::GetAtt": ["NotifySQSByCfn", "Arn"]
        },
        "FunctionName": {
          "Ref": "functionhandleNotifySQSArn"
        }
      }
    }
  },
  "Outputs": {}
}
```

### AWS SDK で SQS をカスタムリソースとして作成する方法

`amplify add custom` コマンドでカスタムリソースを作成します。
カスタムリソースの定義方法として AWS CDK を選択してください。

```bash
$ cd ~/sqs-lambda
$ amplify add custom
✔ How do you want to define this custom resource? · AWS CDK
✔ Provide a name for your custom resource · notifySQSByCDK
✅ Created skeleton CDK stack in amplify/backend/custom/notifySQSByCDK directory
✔ Do you want to edit the CDK stack now? (Y/n) · no
```

`amplify/backend/custorm` ディレクトリにカスタムリソース(`notifySQSByCDK`)が追加されます。

```text
.
└── amplify
    └── backend
        └── custom
            └── notifySQSByCDK
                ├── build
                │   ├── cdk-stack.js
                │   └── notifySQSByCDK-cloudformation-template.json
                ├── cdk-stack.ts
                ├── node_modules
                ├── package.json
                ├── tsconfig.json
                └── yarn.lock
```

`package.json` を編集して、必要なパッケージを追加してついでに使わないパッケージを削除します。
`aws-sdk` のバージョンが `1.124` と古いですが、今回やることには支障がないのでそのままで行きます。

```json fn=amplify/custom/notifySQSByCDK/package.json
{
  "name": "custom-resource",
  "version": "1.0.0",
  "description": "",
  "scripts": {
    "build": "tsc",
    "watch": "tsc -w",
    "test": "echo \"Error: no test specified\" && exit 1"
  },
  "dependencies": {
    "@aws-amplify/cli-extensibility-helper": "^2.0.0",
    "@aws-cdk/core": "~1.124.0",
    "@aws-cdk/aws-sqs": "~1.124.0",
    "@aws-cdk/aws-lambda": "~1.124.0"
  },
  "devDependencies": {
    "typescript": "^4.2.4"
  }
}
```

`package.json` を編集したら、パッケージを再インストールします。

```bash
cd ~/sqs-lambda/amplify/custom/notifySQSByCDK
yarn install --check-files
```

スタックファイル(`cdk-stack.ts`)に SQS キューと Lambda のイベントソースマッピングを定義します。

```typescript fn=amplify/custom/notifySQSByCDK/cdk-stack.ts
import * as cdk from '@aws-cdk/core'
import * as AmplifyHelpers from '@aws-amplify/cli-extensibility-helper'
import { AmplifyDependentResourcesAttributes } from '../../types/amplify-dependent-resources-ref'
import { Queue } from '@aws-cdk/aws-sqs'
import { Function, EventSourceMapping } from '@aws-cdk/aws-lambda'

export class cdkStack extends cdk.Stack {
  constructor(
    scope: cdk.Construct,
    id: string,
    props?: cdk.StackProps,
    amplifyResourceProps?: AmplifyHelpers.AmplifyResourceProps
  ) {
    super(scope, id, props)
    /* Do not remove - Amplify CLI automatically injects the current deployment environment in this input parameter */
    new cdk.CfnParameter(this, 'env', {
      type: 'String',
      description: 'Current Amplify CLI env name',
    })

    const queue = new Queue(this, 'notifySQSByCDK', {})

    const dependencies: AmplifyDependentResourcesAttributes =
      AmplifyHelpers.addResourceDependency(
        this,
        amplifyResourceProps.category,
        amplifyResourceProps.resourceName,
        [{ category: 'function', resourceName: 'handleNotifySQS' }]
      )

    const lambdaArn = cdk.Fn.ref(dependencies.function.handleNotifySQS.Arn)
    const target = Function.fromFunctionArn(this, 'handleNotifySQS', lambdaArn)
    const eventSourceMapping = new EventSourceMapping(
      this,
      'NotifySQSByCDKEventSourceMapping',
      {
        target,

        // the properties below are optional
        batchSize: 10,
        enabled: true,
        eventSourceArn: queue.queueArn,
      }
    )
  }
}
```

スタックファイル(`cdk-stack.ts`) を編集したら、`amplify build` コマンドでビルドを実行します。

```bash
cd ~/sqs-lambda
amplify build
```

### Lambda 関数と SQS のデプロイ

`amplify push` コマンドでデプロイを実行します。

```bash
cd ~/sqs-lambda
amplify push
```

AWS マネジメントコンソールで Lambda 関数と SQS キューが作成されていることを確認します。

![Lambda 一覧](/images/posts/tech-posts/1645975738/lambda_list.png)

![SQS 一覧](/images/posts/tech-posts/1645975738/sqs_list.png)

### 動作確認

動作確認してみます。
まず、各 SQS キューからテストメッセージを送信します。

![テストメッセージ1](/images/posts/tech-posts/1645975738/test_from_notify_sqs_by_cfn.png)

![テストメッセージ2](/images/posts/tech-posts/1645975738/test_from_notify_sqs_by_cdk.png)

テストメッセージ送信後、Lambda 関数の CloudWatch Logs で送信したメッセージが確認できれば動作確認完了です。

![テスト結果1](/images/posts/tech-posts/1645975738/cw_from_notify_sqs_by_cfn.png)

![テスト結果2](/images/posts/tech-posts/1645975738/cw_from_notify_sqs_by_cdk.png)


Amplify CLI でカスタムリソースとして Lambda をトリガーする SQS キューを作成する


## 概要

Lambda から AWS CLI コマンドを利用できるようにするため、Lambda レイヤーに AWS CLI を追加します。
本記事では、デプロイパッケージの作成方法として 2 通り紹介します。

## Lambda レイヤーに AWS CLI を追加するためのデプロイパッケージ作成方法と手順

### 方法 1: AWS CLI のインストーラーを使ってデプロイパッケージ作成する

```text fn=最終的なデプロイパッケージ( zip ファイルアーカイブ)のフォルダ構成
.
└── bin
    ├── aws
    └── 省略(色々入ります)
```

#### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir ~/aws_cli_layer
cd ~/aws_cli_layer
mkdir aws-cli aws-bin bin
```

#### AWS CLI インストーラのダウンロードとインストール

`bin` ディレクトリに AWS CLI のバイナリーファイルなどを追加します。

```bash
cd ~/aws_cli_layer

# wget もしくは curl いづれかのコマンドで AWS CLI のインストールファイルをダウンロードします。
wget https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip
curl -O https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip

# ファイルを解凍します。
unzip awscli-exe-linux-x86_64.zip

# 作業用ディレクトリにインストールします。
./aws/install -i ~/aws_cli_layer/aws-cli -b ~/aws_cli_layer/aws-bin

# aws コマンドのバイナリーファイルなどが入ったディレクトリの中身を全てコピーします。
cp -r ./aws-cli/v2/current/dist/* ./bin
```

#### デプロイパッケージ化 ( zip ファイルアーカイブ )

```bash
cd ~/aws_cli_layer
zip -r9 aws_cli_layer.zip bin
```

### 方法 2: aws-lambda-layer-awscli リポジトリを使ってデプロイパッケージ作成する

以下の `aws-lambda-layer-awscli` という AWS 公式のリポジトリに AWS CLI を含めた Lambda レイヤーを作成するためのブランチがあります。
`aws` コマンドだけでなく、`jq` コマンドなども含まれています。

<https://github.com/aws-samples/aws-lambda-layer-awscli>

#### aws-lambda-layer-awscli リポジトリのクローンとデプロイパッケージ作成 ( zip ファイルアーカイブ )

```bash
# aws-lambda-layer-awscli リポジトリのクローンします。
git clone https://github.com/aws-samples/aws-lambda-layer-awscli.git
cd aws-lambda-layer-awscli

# ブランチを awscli-v2-python37 に切り替えます。
git checkout awscli-v2-python37

# ビルドの実行をします。
# ビルドが完了すると、カレントディレクトリに layer.zip が作成されます。これがデプロイパッケージとなります。
make
```

## Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

## 動作確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行してみます。
使用するカスタムランタイムはなんでもいいですが、本記事ではカスタムランタイムである Amazon Linux 2 を使用します。
特にエラーが発生せず、実行結果のログに AWS CLI のバージョンの表示と、指定した S3 バケットにファイルが転送されていれば成功です。

:::warning

方法 1 で作成した Lambda レイヤーは Lambda の全てランタイムがサポートするディレクトリ構造のため、パスを指定しなくても aws コマンドが実行できます。
しかし、方法 2 で作成した Lambda レイヤーは Lambda のランタイムがサポートするディレクトリ構造で作成されていないため、aws コマンドの実行にはパスを含める必要があります。

:::

```hello.sh fn=方法 1 で作成した Lambda レイヤーの場合
function handler () {
    EVENT_DATA=$1
    aws --version
    aws s3 cp ./bootstrap s3://xxxxxxxxxxxxxx
    RESPONSE="{\"statusCode\": 200, \"body\": \"Hello from Lambda!\"}"
    echo $RESPONSE
}
```

```hello.sh fn=方法 2 で作成した Lambda レイヤーの場合
function handler () {
    EVENT_DATA=$1
    /opt/awscli/aws --version
    /opt/awscli/aws s3 cp ./bootstrap s3://xxxxxxxxxxxxxx
    RESPONSE="{\"statusCode\": 200, \"body\": \"Hello from Lambda!\"}"
    echo $RESPONSE
}
```

![実行結果](/images/posts/tech-posts/1641911694/test_result.png)

## 参考文献

<https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-cliv2-linux.html>

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html>


Lambda レイヤーにライブラリを追加する ( AWS CLI 編)


## 概要

Lambda の Python ランタイムから URLExtract モジュールを利用できるようにするため、Lambda レイヤーに URLExtract を追加します。

## Lambda レイヤーに URLExtract モジュールを追加する手順

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/urlextract_layer/python
```

### urlextract インストール

`python` ディレクトリに `urlextract` をインストールします。

```bash
cd ~/urlextract_layer
pip install urlextract -t python
```

### デプロイパッケージ化( zip ファイルアーカイブ)

```bash
cd ~/urlextract_layer
zip -r9 urlextract_layer.zip python
```

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

### Read-only file system: '/home/sbx_user1051'

:::warning

URLExtract は書き込み可能なキャッシュディレクトリーを必要とします。
利用するキャッシュディレクトリーは URLExtract インスタンスの初期化時に `cache_dir` パラメータで指定することができます。

一方で、Lambda の環境では書き込み可能なディスク領域は、`/tmp` ディレクトリ内のみとなっています。
そのため、そのまま URLExtract を利用すると、ホームディレクトリ( `/home/sbx_user1051` ) に書き込もうとして、`Read-only file system: '/home/sbx_user1051'` エラーが発生します。

解決方法としては、利用するキャッシュディレクトリーとして `/tmp` ディレクトリを使用するようにすることで回避できます。

:::

```py
import json
from urlextract import URLExtract

def lambda_handler(event, context):
    extractor = URLExtract(cache_dir='/tmp')
```


Lambda レイヤーにライブラリを追加する ( URLExtract 編)


Lambda の Python ランタイムで標準で利用可能なモジュールを `help("modules")` を使って調べてみました。

## Lambda の Python ランタイムで標準で利用可能なモジュール

### Lambda の Python ランタイムが Python 3.9 の場合

:::details[利用可能なモジュール]

```text
__future__ _thread gettext s3transfer
_abc _threading_local glob sched
_aix_support _tracemalloc graphlib secrets
_ast _warnings grp select
_asyncio _weakref gzip selectors
_bisect _weakrefset hashlib setuptools
_blake2 _xxsubinterpreters heapq shelve
_bootlocale _xxtestfuzz hmac shlex
_bootsubprocess _zoneinfo html shutil
_bz2 abc http signal
_codecs aifc idlelib simplejson
_codecs_cn antigravity imaplib site
_codecs_hk argparse imghdr six
_codecs_iso2022 array imp smtpd
_codecs_jp ast importlib smtplib
_codecs_kr asynchat inspect sndhdr
_codecs_tw asyncio io socket
_collections asyncore ipaddress socketserver
_collections_abc atexit itertools spwd
_compat_pickle audioop jmespath sqlite3
_compression awslambdaric json sre_compile
_contextvars base64 keyword sre_constants
_crypt bdb lambda_function sre_parse
_csv binascii lib2to3 ssl
_ctypes binhex linecache stat
_ctypes_test bisect locale statistics
_curses bootstrap logging string
_curses_panel boto3 lzma stringprep
_datetime botocore mailbox struct
_dbm builtins mailcap subprocess
_decimal bz2 marshal sunau
_distutils_hack cProfile math symbol
_elementtree calendar mimetypes symtable
_functools cgi mmap sys
_gdbm cgitb modulefinder sysconfig
_hashlib chunk multiprocessing syslog
_heapq cmath netrc tabnanny
_imp cmd nis tarfile
_io code nntplib telnetlib
_json codecs ntpath tempfile
_locale codeop nturl2path termios
_lsprof collections numbers test
_lzma colorsys opcode textwrap
_markupbase compileall operator this
_md5 concurrent optparse threading
_multibytecodec configparser os time
_multiprocessing contextlib ossaudiodev timeit
_opcode contextvars parser tkinter
_operator copy pathlib token
_osx_support copyreg pdb tokenize
_peg_parser crypt pickle trace
_pickle csv pickletools traceback
_posixshmem ctypes pip tracemalloc
_posixsubprocess curses pipes tty
_py_abc dataclasses pkg_resources turtle
_pydecimal datetime pkgutil turtledemo
_pyio dateutil platform types
_queue dbm plistlib typing
_random decimal poplib unicodedata
_sha1 difflib posix unittest
_sha256 dis posixpath urllib
_sha3 distutils pprint urllib3
_sha512 doctest profile uu
_signal email pstats uuid
_sitebuiltins encodings pty venv
_socket ensurepip pwd warnings
_sqlite3 enum py_compile wave
_sre errno pyclbr weakref
_ssl faulthandler pydoc webbrowser
_stat fcntl pydoc_data wsgiref
_statistics filecmp pyexpat xdrlib
_string fileinput queue xml
_strptime fnmatch quopri xmlrpc
_struct formatter random xxlimited
_symtable fractions re xxsubtype
_sysconfigdata__linux_x86_64-linux-gnu ftplib readline zipapp
_testbuffer functools reprlib zipfile
_testcapi gc resource zipimport
_testimportmultiple genericpath rlcompleter zlib
_testinternalcapi getopt runpy zoneinfo
_testmultiphase getpass runtime_client
```

:::

### Lambda の Python ランタイムが Python 3.8 の場合

:::details[利用可能なモジュール]

```text
__future__ _tracemalloc gzip s3transfer
_abc _warnings hashlib sched
_ast _weakref heapq secrets
_asyncio _weakrefset hmac select
_bisect _xxsubinterpreters html selectors
_blake2 _xxtestfuzz http setup
_bootlocale abc idlelib setuptools
_bz2 aifc imaplib shelve
_codecs antigravity imghdr shlex
_codecs_cn argparse imp shutil
_codecs_hk array importlib signal
_codecs_iso2022 ast index site
_codecs_jp asynchat inspect six
_codecs_kr asyncio io smtpd
_codecs_tw asyncore ipaddress smtplib
_collections atexit itertools sndhdr
_collections_abc audioop jmespath socket
_compat_pickle base64 json socketserver
_compression bdb keyword spwd
_contextvars binascii lambda_internal sqlite3
_crypt binhex lambda_runtime_client sre_compile
_csv bisect lambda_runtime_exception sre_constants
_ctypes bootstrap lambda_runtime_marshaller sre_parse
_ctypes_test boto3 lib2to3 ssl
_curses botocore linecache stat
_curses_panel builtins locale statistics
_datetime bz2 logging string
_dbm cProfile lzma stringprep
_decimal calendar mailbox struct
_distutils_hack cgi mailcap subprocess
_dummy_thread cgitb marshal sunau
_elementtree chunk math symbol
_functools cmath mimetypes symtable
_gdbm cmd mmap sys
_hashlib code modulefinder sysconfig
_heapq codecs multiprocessing syslog
_imp codeop netrc tabnanny
_io collections nis tarfile
_json colorsys nntplib telnetlib
_locale compileall ntpath tempfile
_lsprof concurrent nturl2path termios
_lzma configparser numbers test
_markupbase contextlib opcode textwrap
_md5 contextvars operator this
_multibytecodec copy optparse threading
_multiprocessing copyreg os time
_opcode crypt ossaudiodev timeit
_operator csv parser tkinter
_osx_support ctypes pathlib token
_pickle curses pdb tokenize
_posixshmem dataclasses pickle trace
_posixsubprocess datetime pickletools traceback
_py_abc dateutil pip tracemalloc
_pydecimal dbm pipes tty
_pyio decimal pkg_resources turtle
_queue difflib pkgutil turtledemo
_random dis platform types
_sha1 distutils plistlib typing
_sha256 doctest poplib unicodedata
_sha3 dummy_threading posix unittest
_sha512 email posixpath urllib
_signal encodings pprint urllib3
_sitebuiltins ensurepip profile uu
_socket enum pstats uuid
_sqlite3 errno pty venv
_sre faulthandler pwd warnings
_ssl fcntl py_compile wave
_stat filecmp pyclbr weakref
_statistics fileinput pydoc webbrowser
_string fnmatch pydoc_data wsgiref
_strptime formatter pyexpat xdrlib
_struct fractions queue xml
_symtable ftplib quopri xmlrpc
_sysconfigdata__linux_x86_64-linux-gnu functools random xxlimited
_testbuffer gc rapid_client xxsubtype
_testcapi genericpath re zipapp
_testimportmultiple getopt readline zipfile
_testinternalcapi getpass reprlib zipimport
_testmultiphase gettext resource zlib
_thread glob rlcompleter
_threading_local grp runpy
```

:::

### Lambda の Python ランタイムが Python 3.7 の場合

:::details[利用可能なモジュール]

```text
__future__ _xxtestfuzz hashlib s3transfer
_abc abc heapq sched
_ast aifc hmac secrets
_asyncio antigravity html select
_bisect argparse http selectors
_blake2 array idlelib setuptools
_bootlocale ast idna shelve
_bz2 asynchat imaplib shlex
_codecs asyncio imghdr shutil
_codecs_cn asyncore imp signal
_codecs_hk atexit importlib site
_codecs_iso2022 audioop inspect six
_codecs_jp base64 io smtpd
_codecs_kr bdb ipaddress smtplib
_codecs_tw binascii itertools sndhdr
_collections binhex jmespath socket
_collections_abc bisect json socketserver
_compat_pickle bootstrap keyword spwd
_compression boto3 lambda_function sqlite3
_contextvars botocore lambda_runtime_client sre_compile
_crypt builtins lambda_runtime_exception sre_constants
_csv bz2 lambda_runtime_marshaller sre_parse
_ctypes cProfile lib2to3 ssl
_ctypes_test calendar linecache stat
_curses certifi locale statistics
_curses_panel cgi logging string
_datetime cgitb lzma stringprep
_dbm chardet macpath struct
_decimal charset_normalizer mailbox subprocess
_dummy_thread chunk mailcap sunau
_elementtree cmath marshal symbol
_functools cmd math symtable
_gdbm code mimetypes sys
_hashlib codecs mmap sysconfig
_heapq codeop modulefinder syslog
_imp collections multiprocessing tabnanny
_io colorsys netrc tarfile
_json compileall nis telnetlib
_locale concurrent nntplib tempfile
_lsprof configparser ntpath termios
_lzma contextlib nturl2path test
_markupbase contextvars numbers test_bootstrap
_md5 copy opcode test_lambda_runtime_client
_multibytecodec copyreg operator test_lambda_runtime_marshaller
_multiprocessing crypt optparse textwrap
_opcode csv os this
_operator ctypes ossaudiodev threading
_osx_support curses parser time
_pickle dataclasses pathlib timeit
_posixsubprocess datetime pdb tkinter
_py_abc dateutil pickle token
_pydecimal dbm pickletools tokenize
_pyio decimal pip trace
_queue difflib pipes traceback
_random dis pkg_resources tracemalloc
_sha1 distutils pkgutil tty
_sha256 doctest platform turtle
_sha3 dummy_threading plistlib turtledemo
_sha512 easy_install poplib types
_signal email posix typing
_sitebuiltins encodings posixpath unicodedata
_socket ensurepip pprint unittest
_sqlite3 enum profile urllib
_sre errno pstats urllib3
_ssl faulthandler pty uu
_stat fcntl pwd uuid
_string filecmp py_compile venv
_strptime fileinput pyclbr warnings
_struct fnmatch pydoc wave
_symtable formatter pydoc_data weakref
_sysconfigdata_m_linux_x86_64-linux-gnu fractions pyexpat webbrowser
_testbuffer ftplib queue wsgiref
_testcapi functools quopri xdrlib
_testimportmultiple gc random xml
_testmultiphase genericpath re xmlrpc
_thread getopt readline xxlimited
_threading_local getpass reprlib xxsubtype
_tracemalloc gettext requests zipapp
_warnings glob resource zipfile
_weakref grp rlcompleter zipimport
_weakrefset gzip runpy zlib
```

:::

### Lambda の Python ランタイムが Python 3.6 の場合

:::details[利用可能なモジュール]

```text
__future__ array idna secrets
_ast ast imaplib select
_asyncio asynchat imghdr selectors
_bisect asyncio imp setuptools
_blake2 asyncore importlib shelve
_bootlocale atexit inspect shlex
_bz2 audioop io shutil
_codecs base64 ipaddress signal
_codecs_cn bdb itertools site
_codecs_hk binascii jmespath six
_codecs_iso2022 binhex json smtpd
_codecs_jp bisect keyword smtplib
_codecs_kr bootstrap lambda_function sndhdr
_codecs_tw boto3 lib2to3 socket
_collections botocore liblambdaio socketserver
_collections_abc builtins liblambdaipc spwd
_compat_pickle bz2 liblambdalog sqlite3
_compression cProfile liblambdaruntime sre_compile
_crypt calendar linecache sre_constants
_csv certifi locale sre_parse
_ctypes cgi logging ssl
_ctypes_test cgitb lzma stat
_curses chardet macpath statistics
_curses_panel chunk macurl2path string
_datetime cmath mailbox stringprep
_decimal cmd mailcap struct
_dummy_thread code marshal subprocess
_elementtree codecs math sunau
_functools codeop mimetypes symbol
_hashlib collections mmap symtable
_heapq colorsys modulefinder sys
_imp compileall multiprocessing sysconfig
_io concurrent netrc syslog
_json configparser nis tabnanny
_locale contextlib nntplib tarfile
_lsprof copy ntpath telnetlib
_lzma copyreg nturl2path tempfile
_markupbase crypt numbers termios
_md5 csv opcode test
_multibytecodec ctypes operator textwrap
_multiprocessing curses optparse this
_opcode datetime os threading
_operator dateutil ossaudiodev time
_osx_support dbm parser timeit
_pickle decimal pathlib tkinter
_posixsubprocess difflib pdb token
_pydecimal dis pickle tokenize
_pyio distutils pickletools trace
_random doctest pip traceback
_sha1 dummy_threading pipes tracemalloc
_sha256 easy_install pkg_resources tty
_sha3 email pkgutil turtle
_sha512 encodings platform turtledemo
_signal ensurepip plistlib types
_sitebuiltins enum poplib typing
_socket errno posix unicodedata
_sqlite3 faulthandler posixpath unittest
_sre fcntl pprint urllib
_ssl filecmp profile urllib3
_stat fileinput pstats uu
_string fnmatch pty uuid
_strptime formatter pwd venv
_struct fractions py_compile warnings
_symtable ftplib pyclbr wave
_sysconfigdata_m_linux_x86_64-linux-gnu functools pydoc weakref
_testbuffer gc pydoc_data webbrowser
_testcapi genericpath pyexpat wsgi
_testimportmultiple getopt queue wsgiref
_testmultiphase getpass quopri xdrlib
_thread gettext random xml
_threading_local glob re xmlrpc
_tracemalloc grp readline xxlimited
_warnings gzip reprlib xxsubtype
_weakref hashlib resource zipapp
_weakrefset heapq rlcompleter zipfile
abc hmac runpy zipimport
aifc html runtime zlib
antigravity http s3transfer
argparse idlelib sched
```

:::


Lambda の Python ランタイムで標準で利用可能なモジュール


## 概要

Lambda から Terraform コマンドを利用できるようにするため、Lambda レイヤーに Terraform を追加します。

## Lambda レイヤーに Terraform を追加する手順

```text fn=最終的なデプロイパッケージ( zip ファイルアーカイブ)のフォルダ構成
.
└── bin
    └── terraform
```

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/terraform_layer/bin
```

### Terraform のダウンロード

`bin` ディレクトリに Terraform のバイナリーファイルを追加します。

```bash
cd ~/terraform_layer/bin

# wget もしくは curl いづれかのコマンドで Terraform のバイナリーファイルをダウンロードします。
# Lamda レイヤーを使用する Lambda 関数の アーキテクチャが x86_64 の場合は以下の URL からダウンロードします。
wget https://releases.hashicorp.com/terraform/1.1.2/terraform_1.1.2_linux_amd64.zip
curl -O https://releases.hashicorp.com/terraform/1.1.2/terraform_1.1.2_linux_amd64.zip

# Lamda レイヤーを使用する Lambda 関数の アーキテクチャが arm64 の場合は以下の URL からダウンロードします。
wget https://releases.hashicorp.com/terraform/1.1.2/terraform_1.1.2_linux_arm64.zip
curl -O https://releases.hashicorp.com/terraform/1.1.2/terraform_1.1.2_linux_arm64.zip

# ファイルを解凍します。
unzip terraform_1.1.2_linux_amd64.zip

# 実行権限を付与しておきます。
chmod 755 terraform
```

### デプロイパッケージ化( zip ファイルアーカイブ)

```bash
cd ~/terraform_layer
zip -r9 terraform_layer.zip bin
```

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

## 動作確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行してみます。
使用するカスタムランタイムはなんでもいいですが、本記事ではカスタムランタイムである Amazon Linux 2 を使用します。
特にエラーが発生せず、実行結果のログに terraform のバージョンが表示されていれば成功です。

```hello.sh
function handler () {
    EVENT_DATA=$1
    terraform --version
    RESPONSE="{\"statusCode\": 200, \"body\": \"Hello from Lambda!\"}"
    echo $RESPONSE
}
```


Lambda レイヤーにライブラリを追加する ( Terraform 編)


## 概要

Lambda レイヤーのデプロイパッケージの作成後の基本的な Lambda レイヤーの作成手順をまとめました。
サンプルとしてこちらの記事で作成した Lambda レイヤーを使用します。

<https://blog.grasswake.me/tech-posts/1639995611>

## Lamda レイヤーについて

[Lambda レイヤーの作成と共有 \- AWS Lambda](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html#configuration-layers-path)

> ライブラリの依存関係をレイヤーに含める
> Lambda ランタイムごとに、PATH 変数に /opt ディレクトリ内の特定のフォルダが含まれます。レイヤー .zip ファイルアーカイブに同じフォルダ構造を定義すると、関数コードはパスを指定しなくても、レイヤーコンテンツにアクセスできます。

上記の記述のように、Lambda レイヤーにアップロードする zip ファイルアーカイブに特定のディレクトリにライブラリなどの依存関係を含めておくだけで、パスを指定しなくてもそれを利用することができます。
Lambda レイヤーを使用すると、他の Lambda 関数とのコードの共有と責任の分離ができます。
個人的には、ちょっとでもデプロイパッケージが大きいと、Lmabda のコンソールでコードを修正できなくなるので、外部ライブラリを使用する時点で他の Lambda 関数と共有する・しない関係なく Lambda レイヤー化しています。

## Lambda レイヤーの作成手順 ( AWS マネジメントコンソール編 )

### Lambda レイヤーの作成

Lambda コンソールのナビゲーションから「レイヤー」を選択して、「レイヤー」ページを開き、「レイヤーの作成」を選択します。

![Lambdaコンソール](/images/posts/tech-posts/1640005577/layer_page.png)

Lambda レイヤーの `名前`と「互換性のあるランタイム - オプション」を入力、「デプロイパッケージ」のアップロードを行います。
「互換性のあるランタイム - オプション」は複数選択可能で、この Lambda レイヤーを利用する予定の Lambda 関数のランタイムを選択します。ここで選択したランタイムを使用している Lambda 関数に対して、Lambda レイヤーを追加することができます。
デプロイパッケージ ( .zip ファイル ) をアップロードします。

:::info
画面に明記されているように、デプロイパッケージ ( .zip ファイル ) のサイズが 10 MB を超える場合は、Amazon S3 経由でアップロードするのを推奨しているようです。
:::

:::warning
Lambda 関数に指定可能なカスタムランタイムは、2021/12/20 時点では「Amazon Linux 1」と「Amazon Linux 2」の 2 種類が選択できます。
しかし、2021/12/20 時点では AWS マネジメントコンソールを使用して、Lambda レイヤーを作成する際に、「互換性のあるランタイム - オプション」で「カスタムランタイム」という選択肢しかありませんでした。
この「カスタムランタイム」とは「Amazon Linux 1」を指しており、「Amazon Linux 2」は選択できませんでした。
一方で、AWS CLI で Lambda レイヤーを作成する際は、「Amazon Linux 2」を選択可能です。
そのため、ランタイム環境が「Amazon Linux 2」の Lambda 関数で使用する Lambda レイヤーを使用したい場合は、AWS CLI で Lambda レイヤーを作成してください。
:::

![Lambdaレイヤー作成](/images/posts/tech-posts/1640005577/layer_zip.png)

Amazon S3 を使用したアップロードを行う場合は、Amazon S3 に アップロードしたデプロイパッケージ ( .zip ファイル ) のオブジェクト URL を入力します。

![S3の場合](/images/posts/tech-posts/1640005577/layer_s3.png)

### Lambda 関数に Lambda レイヤーを追加

対象の Lambda 関数のコンソールの「コード」タブを選択し、「レイヤーの追加」を選択します。

![レイヤーの追加](/images/posts/tech-posts/1640005577/layer_add_start.png)

「レイヤーソース」としてカスタムレイヤーを選択し、追加する Lambda レイヤーとバージョンを選択し、「追加」を選択します。

![レイヤーの追加中](/images/posts/tech-posts/1640005577/layer_adding.png)

追加が完了です。

![レイヤー追加完了](/images/posts/tech-posts/1640005577/layer_add_comp.png)

## Lambda レイヤーの作成手順 ( AWS CLI 編 )

### Lambda レイヤーの作成・更新

Lambda レイヤーを作成または更新する場合は、`publish-layer-version` コマンドを使用します。

:::info
ランタイム環境「Amazon Linux 2」を対象とした Lambda レイヤーを作成したい場合は、`--compatible-runtimes` オプションで `provided.al2` を指定してください。
:::

なお、デプロイパッケージ (.zip ファイルアーカイブ) のサイズ上限は 50 MB です。
デプロイパッケージ (.zip ファイルアーカイブ) が 50 MB 以下であれば、`publish-layer-version` コマンドで直接アップロードできます。
50 MB を超える場合は、一旦 S3 にアップロードして、格納した場所を `publish-layer-version` コマンドで指定します。

```bash fn=直接アップロードする場合
aws lambda publish-layer-version --layer-name jq_layer \
  --zip-file fileb://jq_layer.zip \
  --compatible-runtimes provided
```

```bash fn=S3 経由の場合
aws s3 cp jq_layer.zip s3://<バケット名>
aws lambda publish-layer-version --layer-name jq_layer \
  --content S3Bucket=<バケット名>,S3Key=jq_layer.zip \
  --compatible-runtimes provided
```

### Lambda 関数を新規に作成する際に Lambda レイヤーを追加する

Lambda 関数を作成する `create-function` コマンドの `--layer` オプションに追加したい Lambda レイヤーの ARN を指定します。

```bash fn=直接アップロードする場合
aws lambda create-function --function-name sample_function \
  --handler function.handler \
  --runtime provided \
  --role arn:aws:iam::xxxxxxxxxxxxxxxxxx:role/lambda-role \
  --zip-file fileb://function.zip \
  --layers arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxxxxxxxx::layer:jq_layer:1
```

```bash fn=S3 経由の場合
aws s3 cp jq_layer.zip s3://<バケット名>
aws lambda create-function --function-name sample_function \
  --handler function.handler \
  --runtime provided \
  --role arn:aws:iam::xxxxxxxxxxxxxxxxxx:role/lambda-role \
  --content S3Bucket=<バケット名>,S3Key=jq_layer.zip \
  --layers arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxxxxxxxx::layer:jq_layer:1
```

### 作成済みの Lmabda 関数に Lambda レイヤーを追加する

作成済みの Lambda 関数の設定を更新する `update-function-configuration` コマンドの `--layer` オプションに追加したい Lambda レイヤーの ARN を指定します。

```bash
aws lambda update-function-configuration --function-name sample_function-runtime \
  --layers arn:aws:lambda:ap-northeast-1:xxxxxxxxxxxxxxxxxx::layer:jq_layer:1
```

### Lambda 関数を直接実行する

```bash
aws lambda invoke --function-name bash-runtime --payload '{"text":"Hello"}' response.txt
```


Lambda レイヤーの作成手順


## 概要

Lambda から jq コマンドを利用できるようにするため、Lambda レイヤーに jq を追加します。

## Lambda レイヤーに jq を追加する手順

```text fn=最終的なデプロイパッケージ( zip ファイルアーカイブ)のフォルダ構成
.
└── bin
    └──jq
```

### 作業用ディレクトリとレイヤーパスの作成

```bash
mkdir -p ~/jq_layer/bin
```

### jq のダウンロード

bin ディレクトリに jq のバイナリーファイルを追加します。

```bash
cd ~/jq_layer/bin

# 以下の wget もしくは curl いづれかのコマンドで jq のバイナリーファイルをダウンロードします。
wget https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64  -O jq
curl -Lo jq https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64

# 実行権限を付与しておきます。
chmod 755 jq
```

### デプロイパッケージ化( zip ファイルアーカイブ)

```bash
cd ~/jq_layer
zip -r9 jq_layer.zip bin
```

### Lambda レイヤーの作成

デプロイパッケージを使用した Lambda レイヤーの作成手順はこちらにまとめてあります。

<https://blog.grasswake.me/tech-posts/1640005577>

## 動作確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行してみます。
使用するカスタムランタイムはなんでもいいですが、本記事ではカスタムランタイムである Amazon Linux 2 を使用します。
特にエラーが発生せず、実行結果のログに jq のバージョンが表示されていれば成功です。

```hello.sh
function handler () {
    EVENT_DATA=$1
    jq --version
    RESPONSE="{\"statusCode\": 200, \"body\": \"Hello from Lambda!\"}"
    echo $RESPONSE
}
```


Lambda レイヤーにライブラリを追加する ( jq 編)


## 困ったこと

AWS マネジメントコンソールから 別の AWS アカウントの Lambda 関数を AppSync のデータソースとして設定する方法がわからなかった。

## AWS AppSync のデータソースとして Lambda 関数の ARN を入力するには？

解決は至って簡単でした。

AppSync のデータソースとして Lambda 関数を選択する際は以下のような画面となります。

![ドロップダウン](/images/posts/tech-posts/1639899963/dropdown.png)

上記画面の 「関数の ARN」項目の下部に「関数が表示されませんか？」というリンクが表示されています。
そのリンクをクリックすると、以下のように「関数の ARN」の入力フォームがドロップダウンからテキストボックスに切り替わり、Lambda 関数の ARN を直接入力できるようになります。

![テキストボックス](/images/posts/tech-posts/1639899963/input.png)

ARN を直接入力できるので、別の AWS アカウントの Lambda 関数だけでなく、Lambda 関数のバージョンやエイリアスも使用できるます。
エイリアスを指定できるので、もちろん Provisioned Concurrency が適応された Lambda 関数もデータソースとして利用できます。
自分はこのリンクをクリックしたら AWS ドキュメントにでも飛ばされるのとかと思っていました。。。


AWS AppSync のデータソースとして Lambda 関数の ARN を入力するには


AWS Lambda から cx_Oracle という Python モジュールを使用して RDS(OracleDB) へ接続してみたので、その手順をまとめました。

## Lambda から Python で RDS (OracleDB) へ接続する (cx_Oracle 編)

Lambda 関数から `cx_Oracle` を利用するための Lambda レイヤーを作成します。
`cx_Oracle` のドキュメントでは以下のように記載しています。

[Introduction to cx_Oracle — cx_Oracle 8\.3\.0 documentation](https://cx-oracle.readthedocs.io/en/latest/user_guide/introduction.html)

> Python programs call cx_Oracle functions. Internally cx_Oracle dynamically loads Oracle Client libraries to access OracleDB.
> ...
> On Linux, the libaio (sometimes called libaio1) package is needed.

上記の記述のように、`cx_Oracle` は内部的に `Oracle Client libraries` を動的にロードして、Oracle データベースにアクセスまた、`libaio(libaio1)` パッケージも必要です。
そのため、Lambda レイヤーには `cx_Oracle` と `Oracle Client libraries` と `libaio(libaio1)` を含める必要があります。

## Lambda から Python で RDS (OracleDB) へ cx_Oracle を使って接続する手順

### 前提条件

- 動作確認環境
  - Lambda Runtime: Python3.7, Python3.8, Python3.9
  - RDS(OracleDB): Oracle 19.0.0.0.ru-2021-07.rur-2021-07.r1
- 作業環境
  - EC2 (Amazon Linux2)
    - Python 3.7 と `libaio1` がすでにインストールされているためお勧めです。
- cx_Oracle 8.3
- Oracle Client libraries 19.13

### 作業ディレクトリの作成

```bash fn=~
mkdir ~/oracle_layer
cd ~/oracle_layer
mkdir python/ lib/
```

### cx_Oracle モジュールのインストール

pip コマンドに -t オプションを指定して python ディレクトリに `cx_Oracle` モジュールをインストールします。

```bash fn=~/oracle_layer
pip install cx_Oracle -t python/
```

### Oracle Client libraries のインストール

Oracle Client libraries をダウンロードして lib ディレクトリに展開します。
Oracle Client libraries は[ここから](https://www.oracle.com/jp/database/technologies/instant-client/linux-x86-64-downloads.html)ダウンロードします。

```bash fn=~/oracle_layer
wget https://download.oracle.com/otn_software/linux/instantclient/1913000/instantclient-basic-linux.x64-19.13.0.0.0dbru.zip -O oracle_client_lib.zip
unzip -j oracle_client_lib.zip -d lib/
```

### libaio1 を lib ディレクトリにコピーする

```bash fn=~/oracle_layer
cp /lib64/libaio.so.1 lib/libaio.so.1
```

### デプロイパッケージを作成する

```bash fn=~/oracle_layer
zip -r -y layer.zip python/ lib/
```

:::warning
lib ディレクトリ内の Oracle Client libraries は一部のファイルがシンボリックリンクです。
シンボリックリンクのまま格納する必要があるため、-y オプションを忘れずに。
-y オプションの替わりに --symlinks オプションでもいいです。
:::

### Lambda レイヤーの作成

#### Lambda レイヤーの作成パターンその 1: デプロイパッケージを S3 にアップロードしてそれを使用する

```bash fn=~/oracle_layer
aws s3 cp oracle_layer.zip s3://lambda_layer/oracle_layer.zip
aws lambda publish-layer-version \
    --layer-name cx_Oracle \
    --description "cx_Oracle layer" \
    --content S3Bucket=lambda_layer,S3Key=oracle_layer.zip \
    --compatible-runtimes python3.7 python3.8 python3.9
```

#### Lambda レイヤーの作成パターンその 2: ローカルにあるデプロイパッケージを使用する

```bash fn=~/oracle_layer
aws lambda publish-layer-version \
    --layer-name cx_Oracle \
    --description "cx_Oracle layer" \
    --zip-file fileb://oracle_layer.zip \
    --compatible-runtimes python3.7 python3.8 python3.9
```

### 接続確認

作成した Lambda レイヤーを使用する Lambda 関数を作成し、テスト実行して接続確認してみます。
特にエラーが発生しなければ成功です。

```py
import cx_Oracle

def lambda_handler(event, context):
    connection = cx_Oracle.connect(<username>, <password>, <hostname>)
```

## 参考文献

<https://cx-oracle.readthedocs.io/en/latest/user_guide/introduction.html>

<https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/configuration-layers.html>


AWS Lambda の記事一覧