マガジンのカバー画像

noteエンジニアのデータ基盤 記事まとめ

22
本
note社エンジニアのデータ基盤に関わる技術記事をまとめた公式マガジンです。さらに技術記事を読みたい方はこちら→ https://engineerteam.note.jp/
運営しているクリエイター
noteエンジニアチームの技術記事

Protocol Buffersを導入しログの送受信の実装を効率的に - データ基盤のログ収集改善

データ基盤チームです。 私たちのチームではログ収集のために、サーバサイドやフロントから日…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
4か月前
20

noteのデータ基盤アーキテクチャを紹介 - レイクハウスによるシンプル構成で誰でも使…

note株式会社では、全社員のデータ活用が活発になってきており、データ基盤も進化を続けていま…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
5か月前
41

社内のデータ活用を促進するためのAI @datainfra-ai をつくった

データ分析の開発を進める中で、アーキテクチャなどの技術面以外でも難しい障壁があります。そ…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
5か月前
48

階層ベイズ入門 | Eight Schoolsデータを用いて特別教育プログラムの効果を推定する

前回、ベイズ推定の基本について野球選手の打率を例にとって学びました。今回はもう一歩踏み込…

hanaori
hanaori
11か月前
41

ベイズ推定入門｜野球選手の打率を推定したい

今年になって『データ解析のための統計モデリング入門（通称 緑本）』を読みました。 とても…

hanaori
hanaori
1年前
57

Reverse ETLでSnowflakeにある集計済みデータを使おう！！

データインフラチームの渡部です。 note社内では分析用のデータをETLしてSnowflakeに寄せてい…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
1年前
27

Snowflake主催のBUILD.localにnoteエンジニアが登壇！

7月11日(火)に開催されるSnowflake主催のBUILD.localに、noteデータ基盤チームリーダーの久保田勇喜が登壇します。弊社のSnowpark活用について語ります。 BUILD.localではネットワーキングで参加者と交流することを目的にしており、「Snowpark＋StreamlitによるMLアプリ実装体験ハンズオン」なども実施される予定です。 BUILD.local概要●イベントサイト：BUILD.local Tokyo ●日時：2023年7月11日(

noteエンジニアチー…

Quartoで技術書を写経すると楽しい

ゼロから作るDeep Learningという名著があります。これはPythonを使ってゼロからディープラー…

igjit
igjit
2年前
27

データ基盤にSnowflakeを導入して分析を爆速にした話

初めて技術記事を書きます。noteでデータエンジニアをやっています、久保田です。 noteにはデ…

littlekbt
littlekbt
2年前
83

Snowflakeのイベントにnoteエンジニア・久保田勇喜が登壇

Snowflake社が開催するデータクラウドの世界を学ぶイベント「DATA CLOUD WORLD TOUR」に、note…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
2年前
13

RでKaggleをやってたらいつのまにかNotebooks Expertになってた

noteのデータエンジニアのigjitです。 私はRが好きで、RでJava VMを実装したりして遊んでいま…

igjit
igjit
2年前
70

エンジニアが3年の執筆を終えてわかった出版の苦労とクリエイターの視点

発信やアウトプットを続ける中で、「本の出版」は一つのゴールでもあります。エンジニアやクリ…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
2年前
51

誰もが使えるデータ基盤とは？noteをデータドリブンな企業にするためのアーキテクチャ…

『施策の指針』や『KPIの数値』を決めるためには、データ分析は必要不可欠です。データという…

noteエンジニアチームの技術記事
noteエンジニアチームの技術記事
2年前
52

Kaggleコンペの評価指標のRパッケージを作る

KaggleのAmexコンペに参加することにしました。 まずは評価指標の確認から。 この評価指標を計算するPythonのコードはKaggleの中の人が公式に公開しているし、それをRで実装したKaggle Notebookもいくつか公開されています。 実装があるのはありがたい！でもそのコード片を毎回Notebookにコピペするのはいやだな……と思ったので、Rのパッケージを作りました。 GitHubからインストールできます。 remotes::install_github(

igjit