マガジンのカバー画像

noteエンジニアのデータ基盤 記事まとめ

22
note社エンジニアのデータ基盤に関わる技術記事をまとめた公式マガジンです。さらに技術記事を読みたい方はこちら→ https://engineerteam.note.jp/
運営しているクリエイター

記事一覧

Protocol Buffersを導入しログの送受信の実装を効率的に - データ基盤のログ収集改善

データ基盤チームです。 私たちのチームではログ収集のために、サーバサイドやフロントから日…

noteのデータ基盤アーキテクチャを紹介 - レイクハウスによるシンプル構成で誰でも使…

note株式会社では、全社員のデータ活用が活発になってきており、データ基盤も進化を続けていま…

社内のデータ活用を促進するためのAI @datainfra-ai をつくった

データ分析の開発を進める中で、アーキテクチャなどの技術面以外でも難しい障壁があります。そ…

階層ベイズ入門 | Eight Schoolsデータを用いて特別教育プログラムの効果を推定する

前回、ベイズ推定の基本について野球選手の打率を例にとって学びました。今回はもう一歩踏み込…

hanaori
7か月前
39

ベイズ推定入門|野球選手の打率を推定したい

今年になって『データ解析のための統計モデリング入門(通称 緑本)』を読みました。 とても…

hanaori
8か月前
54

Reverse ETLでSnowflakeにある集計済みデータを使おう!!

データインフラチームの渡部です。 note社内では分析用のデータをETLしてSnowflakeに寄せてい…

Snowflake主催のBUILD.localにnoteエンジニアが登壇!

7月11日(火)に開催されるSnowflake主催のBUILD.localに、noteデータ基盤チームリーダーの久保田勇喜が登壇します。弊社のSnowpark活用について語ります。 BUILD.localではネットワーキングで参加者と交流することを目的にしており、「Snowpark+StreamlitによるMLアプリ実装体験ハンズオン」なども実施される予定です。 BUILD.local概要●イベントサイト:BUILD.local Tokyo ●日時:2023年7月11日(

Quartoで技術書を写経すると楽しい

ゼロから作るDeep Learningという名著があります。これはPythonを使ってゼロからディープラー…

igjit
1年前
26

データ基盤にSnowflakeを導入して分析を爆速にした話

初めて技術記事を書きます。noteでデータエンジニアをやっています、久保田です。 noteにはデ…

littlekbt
1年前
81

Snowflakeのイベントにnoteエンジニア・久保田勇喜が登壇

Snowflake社が開催するデータクラウドの世界を学ぶイベント「DATA CLOUD WORLD TOUR」に、note…

RでKaggleをやってたらいつのまにかNotebooks Expertになってた

noteのデータエンジニアのigjitです。 私はRが好きで、RでJava VMを実装したりして遊んでいま…

igjit
2年前
72

エンジニアが3年の執筆を終えてわかった出版の苦労とクリエイターの視点

発信やアウトプットを続ける中で、「本の出版」は一つのゴールでもあります。エンジニアやクリ…

誰もが使えるデータ基盤とは?noteをデータドリブンな企業にするためのアーキテクチャ…

『施策の指針』や『KPIの数値』を決めるためには、データ分析は必要不可欠です。データという…

Kaggleコンペの評価指標のRパッケージを作る

KaggleのAmexコンペに参加することにしました。 まずは評価指標の確認から。 この評価指標を計算するPythonのコードはKaggleの中の人が公式に公開しているし、それをRで実装したKaggle Notebookもいくつか公開されています。 実装があるのはありがたい!でもそのコード片を毎回Notebookにコピペするのはいやだな……と思ったので、Rのパッケージを作りました。 GitHubからインストールできます。 remotes::install_github(