BizReachプロダクト開発部、SREグループの久保木です。 今日は連載の最後の「AWS S3に蓄積したlogをGoogleのBigQueryに投入する仕組み作り」の七転八倒編をお送りしたいと思います。どうぞよろしくお願いします。

BizReachプロダクト開発部、SREグループの久保木です。 今日は連載中編の「AWS S3に蓄積したlogをGoogleのBigQueryに投入する仕組み作り」の技術調査・設計をお送りしたいと思います。どうぞよろしくお願いします。

BizReachプロダクト開発部、SREグループの久保木です。5月頃に中途で入ってきて、今はinfrastructure中心に開発に従事しています。 最近はlog生成周りをいじっていった結果、生成元であるapplicationもいじれるようになってきた気がします。あとはfrontendいじれば制覇かな！（＜どこに行く気なの？）

はじめに こんにちは、BizHint事業部でエンジニアのとみーです！今回はCircleCIを使ってCI環境を構築した件について書かせていただきます。 2023年12月、株式会社ビズヒントの全保有株式をスマートキャンプ株式会社に譲渡しました。

HRMOS採用管理事業部プロダクト開発部（プラットフォーム基盤推進室）のtakakoです。 私は9月入社なのですが、Joinして二回合宿に参加させていただきました。そのうち開発合宿の方で、技術的負債の返却やサービスの導入検討をして成果発表までしたので、まとめました。

HRMOS採用管理のSREチームのlicht110です。 最近は監視周り整備とか開発環境、CI/CD改善などをやっております。 今回は7月にサンフランシスコで開催された Google Cloud Next ‘18 という GCP や G Suite などの新機能/新製品に関する発表が行われるイベントに参加してきましたので、その中で気になった技術を紹介したいと思います。

株式会社ビズリーチでDBAをしているあわっちです。 2018年3月に入社し、現在は組織横断的にDBに関する相談を受けたり、DBAの観点から品質基準を策定したりしています。 今回はDBAとは関係ないのですが社内で行なった、少し変わったGCP勉強会の様子を報告させていただきます。

Stefan Meier is Lead Engineer at Stanby - the search engine division at BizReach, Inc. Today, he explains why Stanby is moving from Amazon Web Services (AWS) to Google Cloud Platform (GCP) for data analysis. What is the challenge with big data? “Big data is data sets that are so voluminous and complex that traditional data-processing application software [is] inadequate to deal with them."1 One of the most fundamental principles lies in the discrimination between streaming and batch processing. In batch processing, a set of events is collected over time and then processed later, whereas in the streaming model, data is processed in near real-time. Also, when dealing with streaming data new challenges appear, such as handling unordered data with unknown delays (see graph below). Indeed, the collected data events might originate from users with slow Internet connections, users accessing the site from multiple devices or there might be just network delays. Therefore, the gap between the time the event occurred (event time) and the time the event is observed by the system (processing time) ranges from a few milliseconds up to several hours. In order to combine and group related data, methods such as windowing are used.