Docker ( AmazonLinux2 ) 上で Perl から Headless Chrome を操作する

Perl で Headless Chrome を操作する日本語記事がほぼないし、しかもそれを Docker 内で動かすという例がなかったので書いておくことにする。

全部のファイルと、動かし方は gist にまとめておいた。

https://gist.github.com/takaya1992/6fc6878fb936559344fac068ab6e90f2

抜粋して一部を書いておく。

まずは、Dockerfile

FROM amazonlinux:2

WORKDIR /app

RUN yum update -y \
  && yum install -y perl perl-core perl-App-cpanminus gcc expat-devel \
  && rm -rf /var/cache/yum/* \
  && yum clean all \
  && cpanm Carton

COPY google-chrome.repo /etc/yum.repos.d/google-chrome.repo
RUN yum install -y google-chrome-stable unzip wget lsof ipa-gothic-fonts ipa-mincho-fonts

RUN CHROME_MAJOR_VERSION=$(google-chrome --version | sed -E "s/.* ([0-9]+)(\.[0-9]+){3}.*/\1/") \
  && CHROME_DRIVER_VERSION=$(wget --no-verbose -O - "https://chromedriver.storage.googleapis.com/LATEST_RELEASE_${CHROME_MAJOR_VERSION}") \
  && echo "Using chromedriver version: "$CHROME_DRIVER_VERSION \
  && wget --no-verbose -O /tmp/chromedriver_linux64.zip https://chromedriver.storage.googleapis.com/$CHROME_DRIVER_VERSION/chromedriver_linux64.zip \
  && unzip /tmp/chromedriver_linux64.zip chromedriver -d /usr/local/bin/

先に断っておくと、サンプルとしてわかりやすく書いているので、Dockerfile を書く上でのベストプラクティスは守っていない。 前半は、Perl とそれに必要なパッケージのインストールなのでとくに説明はしない。

重要なのは後半の Chrome と ChromeDriver のインストール部分で、Chrome のインストールから説明していく。

Chrome のインストール

まずは、Chromeリポジトリを追加するために設定ファイルをコピーしてくる。google-chrome.repo の中身は以下のようになってる。

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

これを /etc/yum.repo.d/ 以下に置くことで、yum のパッケージ検索対象になる。 Chromegoogle-chrome-stable というパッケージ名で登録されている。

残りの Chrome と一緒にインストールしてるパッケージは、次の ChromeDriver のインストールに必要なもの ( unzip, wget )と、Chrome を起動するのに必要なもの ( lsof ) 、Chrome で日本語を表示する際に必要なフォント ( ipa-gothic-fonts, ipa-mincho-fonts ) 。

ChromeDriver のインストール

Chrome を外から操作するために ChromeDriver を使う。
ChromeDriver はブラウザを操作するための WebDriver という仕様に基づいて実装されており、ChromeDriver を起動すると HTTP サーバーが立ち上がり JSON API でブラウザを操作できる。
他のブラウザ、例えば Firefox では geckodriver というドライバーが用意されている。
この WebDriver を使って各ブラウザを操作できるのが Selenium である。

話がそれたけど、ChromeDriver をインストールする。 ChromeDriver は Chrome のバージョンに合ったバージョンをインストールする必要がある。 そのため、 Chrome のバージョンを確認しそのバージョンに対応する ChromeDriver のバージョンを取得し、ダウンロードしている。

Perl から Headless な Chrome を操作する

直接 Docker を実行するのも面倒なので、docker-compose.yml を用意して Docker Compose で操作できるようにしてある。

$ docker-compose build

でビルドして、

$ docker-compose run --rm app /bin/bash

で Docker コンテナ内に入る。

cpanfile を用意しているので Docker コンテナ内で以下のコマンドを実行して必要なパッケージ ( Selenium::Remote::Driver ) をインストールしておく。

$ carton install

以下のスクリプトcarton exec -- perl selenium_chrome_test.pl で実行すると、 Google と表示されれば成功。

use strict;
use warnings;
use utf8;

use feature qw/say/;

use Selenium::Chrome;

# Selenium を介さず直接 chromedriver 経由で Chrome を操作する
my $driver = Selenium::Chrome->new(
    extra_capabilities => {
        'goog:chromeOptions' => {
            args => [ 'headless', 'disable-gpu', 'window-size=1920,1080', 'no-sandbox' ],
        }
    }
);

$driver->get('https://www.google.com');

say $driver->get_title();  # => Google

$driver->shutdown_binary();

Headless な Chrome として実行するポイントは、Selenium::Chrome->new 時のオプションで headless を指定すること。

順番に説明していく。
まず、インストールした Selenium::Remote::Driver にはいくつかのパッケージが含まれていて、 Selenium::Chrome もその一つ。
Selenium::ChromeSelenium を介さずに前述した ChromeDriver に直接アクセスし、API をコールして Chrome の操作を行う。

Selenium::Chrome に渡した goog:chromeOptions は、ChromeDriver へセッションを作成する際に渡され、 goog:chromeOptions 内の args 配列は Chrome 起動時の引数として設定される。
headless を指定するとヘッドレスな Chrome として起動される。
disable-gpuheadless 指定時に追加で指定することが推奨されるオプションである。
window-size はその名の通りウィンドウのサイズを指定している。これは必須ではない。
最後に no-sandboxChromeサンドボックスを無効化するオプション。詳しく調べられていないけど、これをつけないと実行できなかった。セキュリティはゆるくなるので信用できないサイトを開かないように注意する。

【脱jQuery】jQuery の width, height の取得を Pure JavaScript に置き換える

jQuery は window や document 、element に対して幅 ( width, innerWidth, outerWidth ) と高さ ( height, innerHeight, outerHeight ) の取得ができる。 element に対して width や height を取得するための互換コードを紹介してる記事が多いが、 windowdocument に対しての取得について触れてる記事がなさそうだったので、調べてみた。

jQuery 3.5 をベースに調査している。

$(window) に対しての width, height の取得

jQueryソースコードではこの部分 https://github.com/jquery/jquery/blob/7a0a850f3d41c0412609c1d32b1e602d4afe2f4e/src/dimensions.js#L23-L29

$(window).width

document.documentElement.clientWidth

window に対しての width の取得なのに、いきなり document が出てくるのでびっくりすると思うが、間違いではない。

window には width プロパティはなく、 innerWidthouterWidth しかない。 また、window.innerWidthスクロールバーを含む ウィンドウのビューポートの幅を返す。

https://developer.mozilla.org/ja/docs/Web/API/Window/innerWidth

たいていの場合、取得したいのは描画が可能なエリア、つまりスクロールバーを除いた幅なので、その利用者側の意図と JavaScript の使用の差を jQuery が吸収してくれている結果。

逆に、スクロールバーを含めたウィンドウのビューポートの幅を取得したい場合は window.innerWidth を使うことになる。

$(window).innerWidth

document.documentElement.clientWidth

$(window).innerWidth で取得できる値は、 $(window).width と同じである。

$(window).outerWidth

window.innerWidth

$(window).innerWidth はスクロールバーを含めた幅が返ってくる。

window.outerWidth はブラウザの外側の幅(サイドバーやその他ブラウザのUIを含めたもの)を返すので注意する。

$(window).height

document.documentElement.clientHeight

詳細は $(window).width と同じで、widthheight に読み替えれば大丈夫。

$(window).innerHeight

document.documentElement.clientHeight

$(window).innerHeight で取得できる値は、 $(window).height と同じである。

$(window).outerHeight

window.innerHeight

詳細は $(window).outerWidth と同じで、widthheight に読み替えれば大丈夫。

$(document) に対しての width, height の取得

jQueryソースコードではこの部分 https://github.com/jquery/jquery/blob/7a0a850f3d41c0412609c1d32b1e602d4afe2f4e/src/dimensions.js#L32-L42

$(document).width

Math.max(
  document.body.scrollWidth, document.documentElement.scrollWidth,
  document.body.offsetWidth, document.documentElement.offsetWidth,
  document.documentElement.clientWidth
)

$(document).innerWidth

$(document).width と同じ値を返す。

$(document).outerWidth

$(document).width と同じ値を返す。

$(document).height

Math.max(
  document.body.scrollHeight, document.documentElement.scrollHeight,
  document.body.offsetHeight, document.documentElement.offsetHeight,
  document.documentElement.clientHeight
)

$(document).innerHeight

$(document).height と同じ値を返す。

$(document).outerHeight

$(document).height と同じ値を返す。

友達の頼みでノートパソコンを見繕った

高校の時の友達から「パソコン買い替えたいんだけど、おすすめとか教えてくれない?」と連絡がきて「え〜俺も詳しくないし〜」とか思いつつ、なんだかんだ乗り気にヒアリングをしてよさげな端末を見繕ってしまった。

要望

  • スマホのバックアップ
  • 家で仕事(MS Officeを利用する)
  • 起動が速い
  • 小さい
  • 安い

要望を受けての想定スペック

  • HDDまたはSSD: 256GB以上
  • メモリ: 8GB(値段を抑えたければ4GB)
  • Office: あり。Office Home & Business であること
  • USB: USB type-A (USB type-C のみは避ける)
  • サイズ: 13〜15インチ (優先度低め)

選んだポイント

  • スマホのバックアップは子供の写真が多いだろうからできるだけストレージ容量の大きいもの。最低でも 256GB 以上がよさげ。
  • 速さにこだわるんだったら SSD 。ただし、容量に対して HDD よりは割高。コストを抑えつつストレージ容量を重視したい場合は HDD 。
  • メモリは 8GB 以上あれば Office の操作も快適。16GB はオーバースペック感。
  • 価格を抑えるためにメモリ 4GB という選択肢もあるけど、若干動作は遅くなる。
  • Office あり。Office Personal 2019 だと Powerpoint が含まれないので注意。
  • USB type-A のポートが最低1つ、できれば2つ以上あればOK。 type-Cは変換アダプタが必要な場面が多いので避ける。

選んだ商品

けっこうお高いのね。と言われ、スペックを落とせば少し価格も落ちるよといって、メモリを4GBに落としたもの。

それでもやっぱりそれくらいするのね。と言われ、MS Office の値段も含まれてるから本体価格にしたら普通に安いほうだよ。と言ったら、え。Officeって買うものなの?と聞かれ、なるほどーという気持ちになった。

そして、その高校の友達、高校生の頃にお付き合いをしたことがあり、さらに今のLINEのプロフィール画像が子供の写真になっていて、聞くといつのまにか結婚・出産をしておりとてもショックを受けた、ということを最後に記しておく。

GASでサイボウズ ガルーンの予定をSlackに通知する

今勤めている会社では、スケジューラーとしてサイボウズのガルーンを利用しています。
サイボウズにはKUNAIという公式のスマホアプリがあり、それが予定の更新や予定のn分前のリマインドを通知してくれます。
しかし、仕事中はスマホの通知には気づきづらく、それなりの頻度でガルーンをチェックする必要があります。

ガルーンが公式にブラウザ通知やSlack連携をサポートしてくれれば嬉しいんですがそんな機能もいまだなく、 またガルーンが提供するAPIはいままでSOAP APIしかなく、SOAPは扱いづらいためずっと自作も避けていました。

そんななか、いつのまにかガルーンのAPIREST APIが追加されていたので、予定のn分前になったらSlackに通知するGAS(Google Apps Script)を書いてみました。

Garoon Slack Notificator

github.com

使い方

使い方はGitHub Pagesで用意してみました。

takaya1992.com

サイボウズ ガルーンのREST APIを使ってみて

APIのユーザー認証方法がイケてないなと思いました。

developer.cybozu.io

ドキュメントを参照すると「パスワード認証」と「セッション認証」が用意されており、「パスワード認証」はIDパスワードを、:で連結した文字列をBASE64エンコードしたものをX-Cybozu-Authorizationヘッダーに乗せて、リクエストを送ります。 この「パスワード認証」のトークンの作り方はBASIC認証とまったく同じで、ただHTTPヘッダーが違うだけです。 生のIDとパスワードを扱うのはつらいので、リジェネレートしやすい別のAPIトークンを発行できたりとか、OAuthできるようになるととても嬉しいなと思います。

CSSのカラーコードを一括で短縮する

#fa05abのようにCSS等で指定するカラーコード。これは6桁または3桁の16進数で表現をしている。 6桁の場合はそれぞれ2桁ずつ、3桁の場合はそれぞれ1桁ずつを、RGBの順番にそれぞれの色の強さとして指定している。 6桁の指定で、2桁ずつ同じ文字を指定している場合は、3桁のカラーコードに短縮ができる。 例えば、#000000#000#ff00aa#f0aと。 このように短縮できるカラーコードを一括で変換したい事情があり、備忘録として残しておく。

変換

Macを想定。Linuxでもgsedsedと読み替えればOK。

GNU版のsedを使いたいので、brewでインストールしておく。

brew install gnu-sed

filelist.txtにファイルのパス一覧が入ってることを想定してるけど、ここはよしなに。

cat filelist.txt | xargs gsed -i -e 's/#\([0-9a-fA-F]\)\1\+\([0-9a-fA-F]\)\2\+\([0-9a-fA-F]\)\3\+/#\1\2\3/g'

macOSでVagrantのsshfsとGoogleのDriveFileStreamが共存できない

会社のMacGoogleのDriveFileStreamをインストールしたあと、Vagrantで開発環境を起動しようとしたらホスト側のディレクトリをマウントできずに起動に失敗してしまうようになった。

Vagrant起動時に出るエラー

Mounting SSHFS shared folder via reverse SSHFS mount failed. Please
look at the below output from from the processes that were run.

SSHFS command output:

mount_osxfuse: the file system is not available (255)

よく見てみると、Vagrantで使っているOSX_FUSEとDriveFileStreamで使っているDFSFUSEがかち合ってしまい、どちらか片方しか動作しないようだった。

ちなみに、Vagrantを先に起動しておいてDriveFileStreamを後から起動、そしてDriveFileStreamが起動失敗したときのエラーログ

ログファイルの場所: ~/Library/Application\ Support/Google/DriveFS/Logs/drive_fs.txt

2017-12-12T03:22:28ZE [123145566691328] stderr: mount_dfsfuse: the DFSFUSE file system is not available (255)
2017-12-12T03:22:28ZE [123145566691328] stderr: fuse: failed to mount file system: No such file or directory
2017-12-12T03:22:28ZE [123145569374208] mount.cc:92:Mount Could not mount fuse at /Volumes/GoogleDrive.

どうやったら回避できるかはまだ不明。

事業買収(譲渡)された時にエンジニアが確認・対応すべきチェックリスト

買収 Advent Calendar 2017 5日目の記事です。

自分が働いている会社または事業が買収(譲渡)されたときに、確認・対応すべきものをまとめてみました。
(ちゃんとまとめようと思ったんだけど、どうもやる気がでなくて箇条書きで…)
ちなみにこれは自分の経験談でもあります。

  • サービス内に記載している会社名、電話番号、 FAX番号、住所などの変更
  • 名刺の変更
  • 電話番号・FAX番号の変更、契約変更
    • 転送設定、期間、料金
  • 各種サービスのアカウント譲渡、名義変更
    • データセンターなどで運用しているオンプレなサーバ
    • AWS/GCP/Azure などのパブリッククラウドサービスで運用しているサーバ
      • アカウントの追加、アカウントへの移行、アカウントの切り離し
    • メール系インフラ(G Suiteや、Office 365など)
      • 転送設定、期間、料金
      • アカウント数での課金の場合、アカウント削除後同名のMLを作って、転送したい人をそのMLに登録するという手法をとることが多い。
    • AdobeやJetBrains IDE、その他契約中のソフトウェアについての契約、ライセンス
    • PC、携帯の入れ替え
      • 一時的にNASにバックアップ、または売却先にVPNを貼って売却先の共有ファイルサーバにアップロード
      • しっかりしているところだとVPNや共有ファイルサーバのアカウントは入社手続きがないと作れないので難しい場合がある
      • NASは2つ買っておいて、片方にバックアップしてもらって、受け渡し時にもう片方にコピーして両社が同じデータを持つようにして、不要なデータを持ち出していないかとかあのファイル貰ってないんだけど…と後からいざこざにならないように工夫をする場合もあるらしい。
    • その他会社支給品の返却