ceatant – Ceatant Official Blog

ALBのログをS3に出すAWS CloudFormationテンプレート

Posted on 2021/07/09 by ceatant

Posted in aws, cloudformation, tech

当社はインフラ、バックエンド、フロントエンドすべてをこなすフルスタックな開発会社ですが（ハード面も若干ハンダ付け、600Vまでの電気工事も。あまりやりませんが）AWSの保守や構築のみという依頼も多いです。CloudFormationも使っていますが先日、Application Load BalancerのログをS3に出すためのテンプレートを書いたところ何故かAccess Denied for bucket. Please check S3bucket permission (Service: AmazonElasticLoadBalancing; Status Code: 400; Error Code: InvalidConfigurationRequest)とか出てスタック作成に失敗。何故かこれがなかなか直せなくてハマるという罠を経験しました。一体どこを間違えたのか。

ぐぐるといくつか似たようなテンプレートの例が見つかったので試しにそのまま真似してみても同じエラー。yml内の記述の仕方に細かい違いはあるものの、どれも合ってるように見えたんですがね…。

https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/load-balancer-access-logs.html
上記参考にコンソールからバケットを作ってみると動くので、CloudFormationテンプレートをエラーが出なくなるまで削ってそこから記述を追加していくというやり方で、試行錯誤の末動くものができ上がりました。想定外に時間がかかってイラっとしたので、動いたものを以下に貼っておきます。

Resources:
  CeatantLogBucket:
    Type: AWS::S3::Bucket
    DeletionPolicy: Delete
    Properties:
      BucketName: !Sub "ceatant-${Environment}-log"
      LifecycleConfiguration:
        Rules:
          - Id: AutoDelete
            Status: Enabled
            ExpirationInDays: 365
      PublicAccessBlockConfiguration:
        BlockPublicAcls: True
        BlockPublicPolicy: True
        IgnorePublicAcls: True
        RestrictPublicBuckets: True
 
  CeatantLogBucketPolicy:
    Type: AWS::S3::BucketPolicy
    Properties:
      Bucket: !Ref CeatantLogBucket
      PolicyDocument:
        Id: AlblogsBucketPolicy
        Version: "2012-10-17"
        Statement:
          - Sid: AWSConsoleStmt
            Effect: Allow
            Action: s3:PutObject
            Resource: !Join
              - ''
              - - 'arn:aws:s3:::'
                - !Ref CeatantLogBucket
                - '/*/AWSLogs/'
                - !Ref AWS::AccountId
                - '/*'
            Principal:
              AWS: "582318560864"
          - Sid: AWSLogDeliveryWrite
            Effect: Allow
            Action: s3:PutObject
            Resource: !Join
              - ''
              - - 'arn:aws:s3:::'
                - !Ref CeatantLogBucket
                - '/*/AWSLogs/'
                - !Ref AWS::AccountId
                - '/*'
            Principal:
              Service: delivery.logs.amazonaws.com
            Condition:
              StringEquals:
                s3:x-amz-acl: bucket-owner-full-control
          - Sid: AWSLogDeliveryAclCheck
            Effect: Allow
            Action: s3:GetBucketAcl
            Resource: !Join
              - ''
              - - 'arn:aws:s3:::'
                - !Ref CeatantLogBucket
            Principal:
              Service: delivery.logs.amazonaws.com

ALBとNLBで記述が若干違うらしいのですがこれはALB用のものです。ポリシーのうち一つのPrincipalにelb-account-idが入るのですがこれはリージョン毎に固定の値がIDになっていて初見でわかりにくいポイント。上記公式ドキュメントに表が載っていて、ap-northeast-1の場合は582318560864になります。

これで後はAWS::ElasticLoadBalancingV2::LoadBalancerのaccess_logs.s3.enabledをTrueに、access_logs.s3.bucketで上記バケットを指定、access_logs.s3.prefixを適当に指定してやれば出力できました。やれやれ。ただそれだけのことなんですが、記録を残しておきます。

LINEのMessage APIを使って、Slackへの書き込みを通知させる（後編）

Posted on 2017/09/28 by ceatant

Posted in tech

LINEのMessage APIを使って、Slackへの書き込みを通知させる（前編）
LINEのMessage APIを使って、Slackへの書き込みを通知させる（中編）

前回までSlackからデータを受け取りLINEのAPIを叩くPythonスクリプトを書いたわけですが、重要なパラメータが一つ残っています。line_bot_api.push_messageの送信先です。

ここの指定はLINEメッセージの送り先（個人またはグループ）の「送信先識別子」というものが必要で、LINEのIDとは別物。これはLINEのWebhook経由で確認するしかないようですが、POSTされた値を取り出すだけのPHPスクリプトをWebhookに仕掛けて呼び出しても、何故か値が取れないので調べていたら、以下のサイトに正解が。

POSTで来るのですが$_POSTには入って来ず、以下のようにphp://inputを見るのが正解とのこと。

<?php
ob_start();
$raw = file_get_contents('php://input');
var_dump(json_decode($raw,1));
$raw = ob_get_clean();
file_put_contents('/tmp/dump.txt', $raw."\n=====================================\n", FILE_APPEND);
echo "OK";

これでWebhookが呼ばれるようにLINEで何かアクションを起こすと、送られたパラメータが/tmp/dump.txtに入ります。これで発言者のuserIdが取れ、グループで発言するとgroupIdもわかります。これが送信先識別子となるので、前回のPythonのスクリプト内でline_bot_api.push_messageの送信先に指定します。

メッセージを複数人に送りたい場合、各ユーザーの送信先識別子宛てに送ってもいいのですが、今回は送りたい（受け取りたい）メンバーが参加するグループを作りそこに流すことにしました。よってGroupIDを送信先に指定します。

とりあえずこれで「/line 送りたいテキスト」のようにSlackで書き込むととLINEの指定グループにBOTが書き込みをする所までできました。あとはSlackのグループ内に書き込まれる情報を調整します。

【Slack】Custom slash commandsを使う – Qiita
http://qiita.com/nyata/items/d2f4f648103ef41abbe5

以上を参考に、Pythonでは

return jsonify(text="", response_type="in_channel")

のようにしておくと、「/line 送りたいテキスト」と打った時に「送りたいテキスト」のみSlackの窓には表示され、違和感ない形となりました。

これでシステムはほぼ完成。あとはこのPythonをgunicornでdaemonとして起動しておきます。例としてslack2line.pyという名前にした場合、

gunicorn slack2line:app -b 0.0.0.0:5000 --daemon --keyfile /etc/letsencrypt/live/example.com/privkey.pem --certfile /etc/letsencrypt/live/example.com/fullchain.pem

のようにします。SSLで使う場合はこのように鍵ファイルと証明書ファイルの指定が必要でした。証明書はフルパスで環境に合わせて指定してください。改行されて見えていますが1行です。

LINEのMessage APIを使って、Slackへの書き込みを通知させる（中編）

Posted on 2017/09/13 by ceatant

Posted in tech

前回の続きです。

前回のあらすじ：Slackの通知機能が不安定で、新着書き込みに気付かないことがある→書き込みあったらLINEに飛ばしてみよう！→サーバーを用意し、PythonとLINE Bot SDKをインストール

前回書ききれなかったのですが、Slackからの通知はoutgoing webhooksではなくslash commandsを今回使いました。前者は全発言をトリガーにできるのですが、プライベートチャンネルでは後者しか使えないらしい（弊社の場合それでは困る）ので。slash commandsではコマンドに続くメッセージしか送信されませんが、よく考えたら会話のきっかけだけ通知されれば今回の目的には十分なので、それで丁度いいかと思いました。

よって、Slackにブラウザログインして管理ページに行き、slash commandsに以下のスクリプトに繋がるURLを設定しておきます。

Slackからデータを受け取りLINEのAPIを叩くPythonのスクリプトはこんな感じにしてみました。前回貼ったものです。

from linebot import LineBotApi
from linebot.models import TextSendMessage
from linebot.exceptions import LineBotApiError
from flask import Flask, request, jsonify
 
line_bot_api = LineBotApi('CHANNEL ACCCES TOKEN')
 
app = Flask(__name__)
@app.route('/', methods=['POST'])
 
def slack_push():
    if request.method == 'POST':
        try:
            linkUrl = 'https://example.com/slackredirect.php?team_id=' + request.form["team_id"]
            if request.form["channel_name"] == 'directmessage':
                linkUrl = linkUrl + '&user_id=' + request.form["user_id"]
            else:
                linkUrl = linkUrl + '&channel_id=' + request.form["channel_id"]
            line_bot_api.push_message('GROUP ID', TextSendMessage(
                text = request.form["user_name"] + ":\n" + request.form["text"] + "\n" + linkUrl)
            )
            return jsonify(text = "", response_type = "in_channel")
        except LineBotApiError as e:
            return e
    return "good"
 
if __name__ == '__main__':
    app.run(host='0.0.0.0', ssl_context=('/etc/letsencrypt/live/example.com/fullchain.pem', '/etc/letsencrypt/live/example.com/privkey.pem'))

簡単に解説。
・CHANNEL ACCCES TOKENの部分にはLINE側の管理ページで取得したChannel Access Tokenを入れる
・Flask（Webフレームワーク）でSlackからのPOSTを受け取る
・受け取ったデータからteam_id、channel_name、user_id、channel_idなどを取り出し、ダイレクトメッセージかどうかで出力パラメータを変える（LINEからSlackアプリを開くURLを生成するため←これはなくてもいいがあると便利なので付けた）
・push_messageでGROUP ID（後述）宛てに、Slackで発言したユーザー名とテキストと、Slackでそのチャンネルを開くためのURLを送信
・{text:””, response_type:”in_channel”}のJSONを返すと、コマンドを送ったSlack側ではテキストがそのまま普通に表示される
・Flaskはhost=’0.0.0.0’で起動し外部から接続を受け付けるように
・SSLで接続できるようssl_contextを上記のように（もちろん実際に合わせて）設定しておく

上で出てくるslackredirect.phpはSlackアプリを開くURLスキームにリダイレクトするだけのものです。slack://で始まるURLスキームはLINE上ではリンクにならないので、httpsでリンクにしてブラウザを噛ませることでLINEから1タップでSlackの発言があった部屋を開くようにしています。

<?php
 
parse_str($_SERVER['QUERY_STRING'], $params);
if (isset($params['user_id']) && isset($params['team_id'])){
    header("Location: slack://user?team={$params['team_id']}&id={$params['user_id']}");
}
elseif (isset($params['channel_id']) && isset($params['team_id'])){
    header("Location: slack://channel?team={$params['team_id']}&id={$params['channel_id']}");
}
exit;

上記のように、Slackで指定の部屋を開くURLスキームは
ダイレクトメッセージの場合 {TEAM_ID}&id={USER_ID}
チャンネル（グループ）の場合 {TEAM_ID}&id={CHANNEL_ID}
です。このPHP内ではuser_idとchannel_idどちらが定義されているかで判定しています。

続く。

LINEのMessage APIを使って、Slackへの書き込みを通知させる（前編）

Posted on 2017/09/12 by ceatant

Posted in tech

弊社はどのチャットサービスを使うか慢性的に悩んでいるところがあるのですが、とりあえず今はSlackを使っています。ところがこのSlack、全ての発言で常時通知が出る設定にしていても（何度も見直した）、何故か出たり出なかったりするという問題（不具合？）がメンバー内で起きており、声かけに何時間も気付かない…ということが多発しています。

ネットで調べても関連情報が見当たらないので、Slackに書き込みがあったら、LINE Botから通知が来る仕組みを作ってみました。メモも兼ねて以下駆け足で説明します。

slackの投稿をLINEで通知させる | UEQareer
https://ueqareer.net/2141
こちらの記事をおおいに参考にさせていただきました。

Messaging APIのご紹介 | LINE Business Center
https://business.line.me/ja/services/bot
まずはこちらから「Developer Trialを始める」でアカウントを作ります。弊社では以前Botの実験をしようとアカウントを作っていました。アカウントができたらAPIを有効化し、Channel Access Tokenを手に入れておきます。

LINEのBot用SDKは各言語版が用意されていますがここではPythonでやります。サーバーが必要なのでVPSや自宅サーバーなどを１つ用意し、Python3を使えるようにします。以下はCentOS7にPython3.6を入れる例。

yum install https://centos7.iuscommunity.org/ius-release.rpm
yum install python36u python36u-libs python36u-devel python36u-pip
ln -s /bin/python3.6 /bin/python3
unlink /bin/python
ln -s /bin/python3 /bin/python
unlink /bin/pip
ln -s /bin/pip3.6 /bin/pip

そして

pip install line-bot-sdk

でSDKが入りました。他に
flask (Pythonの軽量Webフレームワーク)
gunicorn (flaskをdaemonとして動作させる)
も必要なのでpipで入れておきましょう。

サーバー側でPythonのスクリプトを作ります。解説は後でします。

from linebot import LineBotApi
from linebot.models import TextSendMessage
from linebot.exceptions import LineBotApiError
from flask import Flask, request, jsonify
 
line_bot_api = LineBotApi('CHANNEL ACCCES TOKEN')
 
app = Flask(__name__)
@app.route('/', methods=['POST'])
 
def slack_push():
    if request.method == 'POST':
        try:
            linkUrl = 'https://example.com/slackredirect.php?team_id=' + request.form["team_id"]
            if request.form["channel_name"] == 'directmessage':
                linkUrl = linkUrl + '&user_id=' + request.form["user_id"]
            else:
                linkUrl = linkUrl + '&channel_id=' + request.form["channel_id"]
            line_bot_api.push_message('GROUP ID', TextSendMessage(
                text = request.form["user_name"] + ":\n" + request.form["text"] + "\n" + linkUrl)
            )
            return jsonify(text = "", response_type = "in_channel")
        except LineBotApiError as e:
            return e
    return "good"
 
if __name__ == '__main__':
    app.run(host='0.0.0.0', ssl_context=('/etc/letsencrypt/live/example.com/fullchain.pem', '/etc/letsencrypt/live/example.com/privkey.pem'))

続く。

WordPressの管理画面にログインできない15個目の理由

Posted on 2016/10/25 by ceatant

Posted in tech

あまり技術ネタではないのですが、サーバー管理・運用的なネタとして。

弊社ではゲームやシステム開発の案件が多いのですが、普通のWebサイトやWordPressの案件もよくあります。WordPressは弊社でも使っていて（このブログもそう、ちなみに超高速WordPress仮想マシン「KUSANAGI」上で動いています）、そのうち一つが突然管理画面にログインできなくなりました。正しいユーザー名とパスワードを入れても、再びログイン画面に戻されます。「パスワードが違う」などのメッセージもなし。

毎日普通に使っていただけで何かの追加や変更もしておらず、心当たりがまったくありません。まさに「何もしてないのに壊れた」というやつです。

クッキー削除などをやってみても症状は変わりません。「WordPress ログインできない」などで日英両語で検索するなどして解決策を探しました。公式サイトには以下をチェックするようにとの情報があり、他の記事も似たような感じでした。

1 Cookie の有効化
2 WordPress マルチサイトネットワーク
3 プラグインの無効化
4 テーマの無効化
5 ログイン画面用ファイルの新規作成
6 Users テーブルの編集
7 パスワード関連の問題
8 サイト URL リダイレクト
9 サブドメインまたはサブディレクトリ
10 セキュア HTTPS
11 “Headers Already Sent” エラーの解決
12 URL 設定の確認
13 ファイアウォールの確認
14 それでもうまくいかない時は

ログインができない場合 – WordPress Codex 日本語版
http://wpdocs.osdn.jp/Login_Trouble

で、詳細飛ばしますが（上記14個を全部試してはいません）、結論としては以上どれにも当てはまらない、しょーもない理由でした。原因は「サーバーで動いていたclamscanのtmpファイルが巨大になりすぎてルートパーティションの使用率が100%になっていた」でした。要は「ディスクが一杯になり、PHPのセッション処理ができなくなっていた」ということになります。

なぜこんなことになってしまったのかは調査する時間がなく不明のままですが、取り急ぎプロセスをkillして/tmp以下の該当ファイルを削除すると、ログインできるようになりました。WordPress全然関係なかった。

小ネタですが、こういうこともあるということで書き留めておきます。他に同じ目に遭う人がいないとも限らないので。

次ページへ »