yotaです。 私のチームではCI/CDツールConcourse上でMavenを使ったJavaプロジェクトのビルド環境を構築中です。 この記事はこちらの記事で言及した、 実は後にConnection timed outの根本的な原因が判明したのですが、それは別途投稿します。 にあたるものです。 今回の問題は、MavenによるJavaプロジェクトのビルドが時折Connection timed outでエラーになることでした。 以下のようなエラーですが、対象となるプラグイン、 …

みなさん、こんにちは！初投稿の hamachan です。 私は、クラウドの技術で、一例として 急増するユーザアクセスも良い感じで捌く(CM等のプロモーション打つよ～ → どのくらいサーバ増強しておきましょうか？…みたいな議論から不毛だと思ってます。そんな見積もり、とても難しいですよね？) 各種メンテナンスも不要(セキュリティパッチ適用から、バージョンアップ対応などなど面倒くさいのです。) といった、「何もしなくて良い状態」に極力したい人、憧れる人です！ さて …

みなさん、こんにちわ！初投稿のドリアです。 2011年にAWSの東京リージョン、2016年にGCPの東京リージョンが開設されてから クラウド環境を利用する機会も増えたのではないでしょうか。 柔軟なインフラリソースの活用に加えて様々なマネージドソリューションが発表される中で クラウドのセキュリティはどうしているの？と気になる方もいると思いますので 本日はクラウドのセキュリティ製品を触ってみたことについて書いてみようと思います。 クラウドのセキュリティといってもどういったものがあ …

こんにちは、ホシイです。 貧乏性なので、仕事中はたいてい費用のことを考えています。 今回は、機械学習インフラにも関連する記事です。AI に関しては SQUARE ENIX AI 技術ブログ もありますので、ご興味がありましたらぜひご覧ください！ GPU をお安く、好きなときに好きなだけ利用したい AI の話題花盛りの昨今、アプリケーションで GPU を利用する機会も増えてきました。GPU の用途もいろいろとありますが、最近でわたし周辺の需要として特に多いのは、機械学習です。ざ …

みなさん、こんにちは！ そろそろ新卒と名乗るのもおこがましい気がするオバカムです。 オバカムがいるチームでは、インフラの管理にTerraform Cloudを使っています。 Terraform Cloudから管理対象のリソースへのアクセスには(当然ながら)認証情報が必要になります。 昨今、永続的な認証情報はセキュリティリスクとして受け取られるようになってきているため、例えばOIDCを利用して一時認証を使うなど、永続的な認証情報を避ける方法が重要視され始めています。 というわけ …

データベースの変更に対して非同期で処理を追加したい こんにちは、ホシイです。 サーバーアプリケーションをつくっていて、あるデータが追加されたり変更されたときに、別の処理を追加したいということがよくあります。アプリケーションの実装を変更してそこに直接処理を追加することも出来ますが、その改修自体が難しかったり、テストの工数がとれなかったり、負荷増大につながる懸念があったりといった問題はよくついてまわるものです。 追加の処理が元の処理とおなじトランザクション内にある必要がない・多少 …

シリーズ・すこしずつがんばる streaming data 処理 (前回、前々回) の三回目です。 Streaming で逐次処理をやってみる 前回の記事では、固定サイズのデータを一括処理するバッチ処理を扱いました。が、Apache Beam で実現できる streaming data の逐次処理は、見逃すことができない強力な機能です。batch ではあらかじめサイズのわかっている (有限の) データを一括で扱いますが、streaming ではサイズがわからない (無限の) …

すこしずつがんばる streaming data 処理、前回 からのつづきです。 目指していることの概要などは前回の内容をご覧ください。 いちばんかんたんな pipeline を実装してみる さて、前回では定形として用意された template 機能から実行してみることで、Dataflow で処理を行うのがどのようなことかの感覚をつかみました。 今回はそこから一歩進んで、想定した仕様にカスタマイズして処理を書くことを目指してみます。 ハッキリ言ってここからが急にしんどいです。 …

パブリッククラウドでよくマネージドで提供されているサービスのうち、活用が大きなアドバンテージになると感じるものに、リアルタイムの逐次データ処理、streaming data 処理があります。これを実現するために、OSS はじめ多くのベンダーからもさまざまなものが提供されていますが、GCP で streaming data 処理といえばやっぱり Dataflow です。(独断と偏見) Streaming data 処理とは 単に streaming data 処理というとさまざ …

こんにちは。未だに競馬で当たったことがないホシイです。 今日も、クラウド機能をお手軽に使ってみるお試しネタをひとつお届けします。 オンプレでも Cloud Logging を使いたい… ふだん GCE や GKE を使っていると、非常にすんなり Cloud Logging に log が入ってくれるので、オンプレサーバーを扱っているときにもこれが欲しくなります。というか、なんで無いんだ！という気持ちになります。 たとえば httpd の log を Cloud …