スクエニ ITエンジニア ブログ

ホシイ の記事一覧

  • クラウドからのオンプレ回帰に思うこと

    Apr 9, 2024 · Poem  ·
    Share on:
    クラウドからのオンプレ回帰に思うこと

    こんにちは、ホシイです。 近年、“オンプレ回帰” という言葉がよく聞かれるようになりました。 人々 (とシステム) は、クラウドからオンプレに帰ってきているのでしょうか? オンプレ回帰という話題において、場合によって話題の中心が必ずしも合致していないこともあるように感じています。大きくは、実際にクラウドからオンプレに移行を実施する・した人の観点と、それを大きな現象として観察している人の観点の差でもあるように思います。 今日は、これをじぶんの考えとしてま …

    この記事を読む

  • Docker を使って隔離 network を利用する

    Feb 3, 2024 · 2 min read · docker network  ·
    Share on:

    こんにちは、疑り深いホシイです。 複数の機能を組み合わせてシステムを構築するとき、それぞれの機能同士の通信は必要だがその他の通信は禁止したいということはよくあります。たとえば… 開発中のプログラムで、想定している以外の通信が無いことを確認したい 公開されているソフトウェア (OSS や container image 等) をちょっと試してみたいが、その素性が完全には確認できていないので、外部との通信を遮断した環境で実行してみたい 特に後者のような用途では、 …

    この記事を読む

  • 共有サーバーの NVIDIA GPU monitoring をお手軽に

    Jan 16, 2024 · AI/ML GPU O11y Observability Prometheus Grafana  ·
    Share on:

    こんにちは、ホシイです。 機械学習が業務に入り込んで、GPU つきの PC やサーバーを共有機として使用することが増えました。以前から自動テスト等の用途で需要はあったかと思いますが、急速に進んでいるように感じます。 今日は、こうやって増えてきたホストの GPU のみなさんが、元気よく働いている様子を確認しやすくする仕組みを用意してみたいと思います。 Observability に関しては以前、JMX MBean metrics の可視化を試す を書きました。また、Cloud …

    この記事を読む

  • 必要なぶんだけ GPU を使いたい。Kubernetes でやってみよう

    Dec 19, 2023 · GCP GKE Kubernetes AI/ML  ·
    Share on:
    必要なぶんだけ GPU を使いたい。Kubernetes でやってみよう

    こんにちは、ホシイです。 貧乏性なので、仕事中はたいてい費用のことを考えています。 今回は、機械学習インフラにも関連する記事です。AI に関しては SQUARE ENIX AI 技術ブログ もありますので、ご興味がありましたらぜひご覧ください！ GPU をお安く、好きなときに好きなだけ利用したい AI の話題花盛りの昨今、アプリケーションで GPU を利用する機会も増えてきました。GPU の用途もいろいろとありますが、最近でわたし周辺の需要として特に多いのは、機械学習です。ざ …

    この記事を読む

  • Kubernetes で Windows container を使う

    Nov 14, 2023 · Kubernetes Windows GKE  ·
    Share on:

    こんにちは、ホシイです。 みなさんは、どのように Kubernetes を活用されていますか。 そもそも Windows container とは 以前に、Docker でやってみる Windows container という記事を書きましたが、ここにいらしたあなたはもしかして、ご覧いただけたりしていますでしょうか。 ふだん Docker を使って container を利用しているというと、たいていは Linux application の利用ではないでしょうか。 …

    この記事を読む

  • Spanner change stream を streaming 処理する

    Sep 26, 2023 · GCP Dataflow Spanner  ·
    Share on:
    Spanner change stream を streaming 処理する

    データベースの変更に対して非同期で処理を追加したい こんにちは、ホシイです。 サーバーアプリケーションをつくっていて、あるデータが追加されたり変更されたときに、別の処理を追加したいということがよくあります。アプリケーションの実装を変更してそこに直接処理を追加することも出来ますが、その改修自体が難しかったり、テストの工数がとれなかったり、負荷増大につながる懸念があったりといった問題はよくついてまわるものです。 追加の処理が元の処理とおなじトランザクション内にある必要がない・多少 …

    この記事を読む

  • CloudNative Days 福岡 2023 参加とオフィス訪問記

    Sep 19, 2023 · event CloudNative 福岡  ·
    Share on:
    CloudNative Days 福岡 2023 参加とオフィス訪問記

    こんにちは 👋 ホシイです。 コロナウィルスによる感染はまだ続いている様子があるものの、自粛措置は落ち着き、対面の大規模な技術関連イベントも多く戻ってきました。 今回は、先日 8月3日 に福岡市で開催されました CloudNative Days Fukuoka 2023 に参加してきたレポートと、この機会を活用して福岡にある二社さまのオフィスを訪問させていただくことができましたので、その様子も合わせてお伝えいたします。 CloudNative Days Fukuoka …

    この記事を読む

  • JMX MBean metrics の可視化を試す

    Sep 5, 2023 · JMX Observability Kafka Prometheus  ·
    Share on:

    今回は Observability の例として、ふとしたきっかけで知った JMX MBean metrics を扱ってみます。 JMX (Java Management Extensions) というと、Java program の debug や一時的な状態確認のような用途の印象があったのですが、これを用いて metrics を公開する application があるのははじめて知りました。この仕組みを利用することにより、application 特有の指標情報を収集して可観 …

    この記事を読む

  • 祝・ITエンジニアブログ一周年 と CI/CD 開通

    Aug 22, 2023 · blog CI/CD git kubernetes google-cloud  ·
    Share on:

    こんにちは ㊗️ ホシイです。 当ブログ、ちょっと日が過ぎてしまいましたが、先日一周年を迎えました ㊗️ こうしてご訪問いただく皆様のおかげです。これからもよろしくお願いいたします。 当ブログの運用 そしてようやくついこのあいだなのですが、ブログ運営に大きな仕組みのアップデートをしました。今更感もありますが、自動 build からの自動での preview 環境への反映をようやく達成したのです。 git commit → push すると、それを trigger とし …

    この記事を読む

  • シリーズ・すこしずつがんばる streaming data 処理 (4) Apache Flink を試す

    Jun 13, 2023 · Flink  ·
    Share on:
    シリーズ・すこしずつがんばる streaming data 処理 (4) Apache Flink を試す

    シリーズ・すこしずつがんばる streaming data 処理の四回目です。 (初回はこちら) ステップを踏んですこしずつ進めていますので、ぜひ他の記事も見てみてください。 今回は、streaming data 処理の他の例として Apache Flink を試してみます。Flink を触るのは今回はじめてです。Beam の他にどんなものがあるのかな? と調べてみると思った以上にいろいろとあり、その中で 比較的シンプルそう・スケールする・比較的新しそう ということで選択しま …

    この記事を読む

  • シリーズ・すこしずつがんばる streaming data 処理 (3) カスタム処理を書く

    May 30, 2023 · GCP Dataflow Apache Beam  ·
    Share on:
    シリーズ・すこしずつがんばる streaming data 処理 (3) カスタム処理を書く

    シリーズ・すこしずつがんばる streaming data 処理 (前回、前々回) の三回目です。 Streaming で逐次処理をやってみる 前回の記事では、固定サイズのデータを一括処理するバッチ処理を扱いました。が、Apache Beam で実現できる streaming data の逐次処理は、見逃すことができない強力な機能です。batch ではあらかじめサイズのわかっている (有限の) データを一括で扱いますが、streaming ではサイズがわからない (無限の) …

    この記事を読む

  • 30分で入門する Helm

    Apr 25, 2023 · Kubnernetes Helm  ·
    Share on:

    Kubernetes の利用シーンは幅広い用途に広がり、長期計画でカスタムアプリケーションを開発してデプロイする以外にも、ぱっと cluster にアプリケーションを入れて使ってみるといったことも多く見られるようになりました。 単純なアプリケーションでは kubectl apply で済むものも多いですが、じゃっかん複雑な構成のものや、また変数を使って動作を変更したいときなどでは Helm がよく使われています。 時々 Kubernetes について話しているとき …

    この記事を読む

  • シリーズ・すこしずつがんばる streaming data 処理 (2) かんたんな処理の実行

    Apr 11, 2023 · GCP Dataflow Apache Beam  ·
    Share on:
    シリーズ・すこしずつがんばる streaming data 処理 (2) かんたんな処理の実行

    すこしずつがんばる streaming data 処理、前回 からのつづきです。 目指していることの概要などは前回の内容をご覧ください。 いちばんかんたんな pipeline を実装してみる さて、前回では定形として用意された template 機能から実行してみることで、Dataflow で処理を行うのがどのようなことかの感覚をつかみました。 今回はそこから一歩進んで、想定した仕様にカスタマイズして処理を書くことを目指してみます。 ハッキリ言ってここからが急にしんどいです。 …

    この記事を読む

  • シリーズ・すこしずつがんばる streaming data 処理

    Mar 28, 2023 · GCP Dataflow Apache Beam  ·
    Share on:
    シリーズ・すこしずつがんばる streaming data 処理

    パブリッククラウドでよくマネージドで提供されているサービスのうち、活用が大きなアドバンテージになると感じるものに、リアルタイムの逐次データ処理、streaming data 処理があります。これを実現するために、OSS はじめ多くのベンダーからもさまざまなものが提供されていますが、GCP で streaming data 処理といえばやっぱり Dataflow です。(独断と偏見) Streaming data 処理とは 単に streaming data 処理というとさまざ …

    この記事を読む

  • Docker でやってみる Windows container

    Mar 14, 2023 · 2 min read · docker windows container  ·
    Share on:

    Windows container …? ホシイです。 ふだんからひたすら container 技術についての情報を web で漁っていると、YouTube を開けば技術系の動画に混ざってコンテナ船舶 (実体) の動画もおすすめされるような状態であり、果てにはそれも視聴してしまいああこれはなるほどすごい技術だなあ。と感心したりなどする日々を過ごしております。 そんな日々の中であっても、なかなか気づかないことはあるものです。あるときふと Windows …

    この記事を読む

  • Chat AI と debug する Javascript 配列シャッフル

    Feb 21, 2023 · 1 min read · Javascript Debug  ·
    Share on:

    こんにちは、ホシイです。 これを読んでいるあなたは、自分が AI ではないという確たる自覚をお持ちでしょうか? 🤔 無作為に並べ替えがしたい コロナ禍以降、わたしの所属するチームでは、オンラインでデイリーミーティングをしています。日々の状況・情報の共有について、チームメンバーがひとりずつ順に数分話すのですが、毎日順番がおなじだとつまらないので順番を変えるようにしています。最初の頃は心のなかでテキトーに順を決めていたのですが、なにしろ面倒ですし、議論が盛り上がったときなどは抜け …

    この記事を読む

  • VS Code devcontainer で disk が遅すぎるのをなんとかしたい

    Feb 7, 2023 · 3 min read · VS Code devcontainer docker  ·
    Share on:

    開発作業を中心に様々な用途で非常に便利な devcontainer 機能ですが、container 内 workspace の disk 性能が遅すぎる問題のために実用に耐えないといったことがあります。 devcontainer において disk が遅いと感じるのはおそらく、host 側にある folder を開いて devcontainer を起動した際に、その folder が性能が低い filesystem で bind mount されるからです (と思っていま …

    この記事を読む

  • 15分でできる (ようになる) 環境構築

    Jan 31, 2023 · 1 min read · IaC  ·
    Share on:

    こんにちは、ChatGPT です。 嘘です。ただの情シス部員のホシイです。 エンジニア組織がある多くの会社ではよくあるように、弊社でも、エンジニアが自身の業務に係る内容を社内向けに発表する機会が様々あります。その中でもおおきなものが昨年の末に企画されておりまして、その場でお話をさせていただける貴重なひと枠をいただきました。ひとり一枠 50 分 (うち 10 分は質疑応答) となかなか長めのものでしたので準備がちょっと心配だったりもしたのですが、なんとか完走することができまし …

    この記事を読む

  • ITエンジニアブログができるまで

    Jan 17, 2023 · 1 min read · blog  ·
    Share on:
    ITエンジニアブログができるまで

    あけましておめでとうございます。 本ブログ。まだ開始して一年も経過していませんが、ようやくまわりはじめてきた感がしてきております。IT 関連企業界隈ではすっかり一般的になりました技術ブログの花盛りという様相ですが、弊弱小ブログもまだまだなんとかがんばっていきたい所存であります。 ブログを開始してわたし自身さまざま勉強になったこともあり、他社様で同様の業務に携っておられるかたも増えてきていることと思われますので、今日は、このブログがどのように運営されているか、システムや人の面を …

    この記事を読む

  • Backend 開発環境としての Windows 注意点 2022

    Dec 13, 2022 · 2 min read · Windows WSL Git Docker  ·
    Share on:
    Backend 開発環境としての Windows 注意点 2022

    開発環境としての Windows に興味が尽きないホシイです。 WSL が使いやすくなり、Linux を target とした server application の開発環境としての Windows 活用も、すこし様子が変わってきているように感じます。 ゲーム開発などでの Windows 活用の有用性は言うまでも無いですが、かたや、特に我々のように本番環境の target を Linux としている backend engineer 向けには、Windows を使うこと自体 …

    この記事を読む

  • 突然の災害に備える Envoy Lua filter

    Dec 6, 2022 · 3 min read · Envoy HTTP Lua Docker  ·
    Share on:
    突然の災害に備える Envoy Lua filter

    備えあれば憂いなし web サービスを運用していると、不測の事態というのは起きるものです。 プログラムのバグであったり、ハードウェアの障害や性能不足であったり、時には理由がわからないが何かしら動かない、でも早急になんとかしないといけない… なんていうことが。もちろん、事前の準備は万全にしつつ、そういったことが起きないことが最善ではありますが、起きたときのために備えておくのもたいせつなことです。 今回は “HTTP で送られた request 内容を見 …

    この記事を読む

  • Rancher Desktop で Docker を使ってみよう

    Nov 15, 2022 · Docker Linux container devcontainer  ·
    Share on:
    Rancher Desktop で Docker を使ってみよう

    日常的に Docker Desktop を使って快適にお仕事しているホシイです。 しかし Docker をそう頻繁には使わない方や、エンジニアでない方に実行環境を渡したいだけなので単に実行するだけでよいとかいった用途に、Docker Desktop 以外の (ライセンスの縛りが無い・ゆるい) 選択肢もほしいという声を時折聞くようになりました。 そこで… Rancher Desktop? 折しも Docker Desktop の値上げニュースが話題になってもお …

    この記事を読む

  • 忙しい人のための Fluent Bit スターター

    Nov 1, 2022 · 2 min read · GCP Google Cloud Cloud Logging Fluent Bit Stackdriver  ·
    Share on:

    こんにちは。未だに競馬で当たったことがないホシイです。 今日も、クラウド機能をお手軽に使ってみるお試しネタをひとつお届けします。 オンプレでも Cloud Logging を使いたい… ふだん GCE や GKE を使っていると、非常にすんなり Cloud Logging に log が入ってくれるので、オンプレサーバーを扱っているときにもこれが欲しくなります。というか、なんで無いんだ！という気持ちになります。 たとえば httpd の log を Cloud …

    この記事を読む

  • bash script お気に入り小ネタ集

    Oct 18, 2022 · bash script 小ネタ 初心者  ·
    Share on:
    bash script お気に入り小ネタ集

    ホシイです。 Docker の利用シーンが増え、IaC の出番が増え、… で確実に増えたのが、shell script を書く時間です。以前はそんなに書いていなかったのでテキトーに済ませてきたのですが、調べるたびに便利な機能があるものですね。 bash script を書いていて、アレ、どうやって書くんだっけ… ということが非常によくあります。今回はそんな便利小ネタを (すぐに忘れてしまう自分の備忘のために) 書き出してみました。独断と偏見の、わた …

    この記事を読む

  • 忙しい人のための Open Telemetry スターター

    Oct 4, 2022 · 2 min read · GCP Google Cloud Open Telemetry Operations Suite Cloud Trace Observability  ·
    Share on:

    オブザーバビリティー? “observability” という言葉をよく聞くようになりました。以前よりは、ですが。長くて、カタカナで書いても正しく書けたか自信がないです。上に書いたのも、変換をミスったりして二度ほど書き直しました。そもそも手元の IME で変換できていないような気がしています。Internationalization を i18n と書くように、o11y という表現もあるようですが、もう何がなんだかです。 意味合いとしては、 …

    この記事を読む

  • Windows で Docker Desktop を使わない Docker 環境を構築する (WSL2)

    Sep 20, 2022 · WSL2 Docker VS Code  ·
    Share on:

    ホシイです。こんにちは。 あまりこういうことばかりを書いていると怒られそうですが、やっぱり有料ライセンスが必要なソフトウェアって使い始めるのに敷居を感じてしまいます。でも、本格的にチームに導入する前に container での開発をしばらく検証したいとか、年に数回しか使わないからライセンス費用を抑えたいという場合もあるかと思います。 以前に、Docker push での事故を防ぎたい という記事を書きました。このときは有料ライセンスがあることを前提に、push するときには気 …

    この記事を読む

  • GCP Logs-based Metrics を活用して API call dashboard をつくる

    Sep 1, 2022 · 1 min read · GCP Google Cloud Operations Suite Cloud Logging Cloud Monitoring Observability  ·
    Share on:

    log を活用してシステムの可視化を進める 今回は Observability に関連する記事です。Observability といえば、以前にも custom metrics や trace を送信する方法を調査しました。 今回は「アプリケーションに手を入れるのはしんどいのだが、log にはすでにある程度の情報を吐いているので、それを活用してシステムの可視化ができないだろうか」というシナリオを想定してできることを見てみます。 GCP では Logs-based …

    この記事を読む

  • 最速で Visual Studio Code devcontainer を体験する

    Aug 18, 2022 · 2 min read · VS Code devcontainer container  ·
    Share on:
    最速で Visual Studio Code devcontainer を体験する

    前置き ホシイです。web backend のようなシステムの開発には、container は必要不可欠な技術になるまでに存在感を増しています。container というとパッとつくってすぐに壊すというイメージがありますが、試行錯誤をサイクルさせる開発環境としての使い勝手はどうでしょうか。 Visual Studio Code (以下 VS Code) の devcontainer は、開発環境を宣言的に整え・共有し、便利に利用できる、とても強力な機能です。 …

    この記事を読む

  • git commit する前に、確認をしよう。自動で！

    Jul 21, 2022 · 1 min read · git devcontainer  ·
    Share on:
    git commit する前に、確認をしよう。自動で！

    ホシイです。本日は git の小ネタをひとつ。 git commit されているものがいつもそのまま動くとは限らない 便利 script を git clone して、そのまま実行！したら、しょうもないエラーに … といったことは残念ながら、めずらしいことではありません。 commit されているものがいつもただしいなんて、いつから錯覚していた…? なんて、よくあることです。レビュアーを責めても時間は返ってきません。 …

    この記事を読む

  • Cloud Monitoring で custom metrics を活用する

    Jun 30, 2022 · 2 min read · GCP Google Cloud Observability JavaScript Cloud Functions  ·
    Share on:
    Cloud Monitoring で custom metrics を活用する

    Cloud Monitoring で Custom Metrics? GCP を使っていると、使っているリソースによって、たとえば GCE instance であれば CPU 使用率などの metrics が追加の設定無しで利用可能になっており、すぐに dashboard をつくって値を見ることができ、非常に便利です。 これら標準で用意されている metrics と同様に、ユーザー定義の metrics もある程度の手間で利用でき、用途によっては非常に便利に活用できます。 今 …

    この記事を読む

  • Docker push での事故を防ぎたい

    May 19, 2022 · docker  ·
    Share on:

    ホシイです。Docker Desktop、便利ですよね。 しかし、便利すぎるがゆえに問題になったり、そのために使えなくなったりしてしまったらたいへんです。普段から確認をしておきたい、というのが今回の趣旨です。 Docker Desktop を sign in ありで使いたい? August 31, 2021 (January 31, 2022 まで猶予期間でした) より、Docker Dekstop の Windows 版と macOS 版は、一定の条件下の利用で有料ライセン …

    この記事を読む

  • ブログ開設のごあいさつ

    May 12, 2022 · blog  ·
    Share on:
    ブログ開設のごあいさつ

    こんにちは、はじめまして。 スクウェア・エニックスのホシイと申します。 この度わたしたちは、ここで、技術系のブログを公開できることになりました！ 制作に参加してくれてているパーティーメンバーをはじめ、ご理解・ご協力をいただいた皆様に感謝します。 そして、さっそく読んでいただいているみなさま、ありがとうごさいます。 このブログについて コロナ禍以来、以前のように物理的に集まるイベントが催される機会がぐっと減り、そういった場でのカジュアルな技術者同士のコミュニケーションの機会もま …

    この記事を読む