note engineers’ notes

133
hierarchical softmaxについて

hierarchical softmaxについて

hierarchical softmaxとは word2vecのskip-gramモデルやGNNのrandom walkモデルでは,損失関数にsoftmaxを計算する場合があります.その時に,word2vecでは単語の数がたくさんあり,GNNではnodeの数がたくさんあり,softmaxの計算は非常に時間がかかります. 単純にsoftmaxを計算するのではなく近似法として,hierarchical softmaxと呼ばれるテクニックがあります.neagtive sampli

スキ
4
noteの開発組織はこの1年でどう変わった? #noteエンジニアトーク レポート

noteの開発組織はこの1年でどう変わった? #noteエンジニアトーク レポート

noteはこの2年で社員数が約3倍に増え、現在では100名を超える規模になりました。アクセス数やMAUなども右肩上がりでサービスとしても成長を続けています。 しかし、社員が増えることや会社が成長していくことは必ずしもすべてが良い作用に働くとは限りません。会社は生き物であり、成長とともに組織は常に変化が求められます。 そんな中でnoteはこの2年で大きな組織編成を何度か行ってきました。開発チームの見直しやPMチームの導入などにより、プロジェクトをより進めやすいように変化して

スキ
50
JAWS DAYS 2021に登壇しました

JAWS DAYS 2021に登壇しました

先日3/20に行われたJAWS DAYS 2021 に登壇させていただきました。 発表資料はこちら。(GoogleSlideへ飛びます) AWS Codeシリーズで実現するEKSのCI/CDパイプライン 当日はオンラインで500名弱ほどの方々に視聴していただきました。 めちゃくちゃ緊張して途中、拙いところもあったかもしれないのですが、そういった緊張の中で大勢の人の前で話すのも含めてとても貴重な経験になりました。 時間調整がうまくいかず途中終了となってしまったのは心残

スキ
14
PyTorch Moduleに紐づく定数のtensorを定義する

PyTorch Moduleに紐づく定数のtensorを定義する

環境python 3.6.6IPython 7.1.1torch==1.7.0 目的PyTorchで`torch.nn.Module`に紐づく定数を定義したい場合があるとします.`torch.nn.parameter.Parameter`で定義せず`torch.tensor`に`require_grad=False`にすれば,`optimizer`のstepメソッドでは学習はされませんが,toメソッドでGPUに乗せたり,data typeを変えることができません. 解決方

スキ
4
noteのアプリエンジニアがわいわいするラジオ#10

noteのアプリエンジニアがわいわいするラジオ#10

note のアプリエンジニアがわいわいするラジオ 第10回です! iOS/Androidの話題をゆるっとわいわい話していきます。 今回は育休明けのキンパツを迎えて雑談しました。 続きはこちら。 https://note.com/laprasdrum/n/nbb01cd24a5d1 --- ■ らぷらぷ https://note.com/laprasdrum ■ かっくん https://note.com/fromkk ■ かじゃむ https://note.com/kazyam ■ キンパツ https://note.com/operando_os ---- 01:10 WWDC と Google I/O 03:30 最近の iOS と Android 06:00 カメラ沼 08:50 自転車沼 11:15 本沼 12:50 誘惑 15:30 Podcast 18:50 育休 24:20 有給 26:10 夏休み 27:30 ゲーム 34:00 Among Us オリエンテーション 38:00 最初にハマったゲーム 46:20 スマホゲー ---- ■ BGM: 魔王魂 https://maoudamashii.jokersounds.com/ ---- ご意見・感想、こんなこと話してほしい・聞きたいリクエストがあれば、コメントお願いします。 Twitterのハッシュタグ #poc_app でもご意見・感想などお待ちしてます。 https://twitter.com/search?q=%23poc_app ---- noteでは、iOS/Android 共にエンジニア採用中です。 興味があればぜひよろしくお願いします! ■ iOS https://open.talentio.com/1/c/note/requisitions/detail/11494 ■ Android https://open.talentio.com/1/c/note/requisitions/detail/11495 ---- 今後こちらのマガジンに記事を更新していきますので、よかったらフォローお願いします! ■ noteのアプリエンジニアがわいわいするラジオ https://note.com/operando_os/m/m4f4fc7db3b54

スキ
11
noteのパフォーマンス改善 - サービスの成長によるJSのファイルサイズ増加とN+1クエリ問題に向き合う

noteのパフォーマンス改善 - サービスの成長によるJSのファイルサイズ増加とN+1クエリ問題に向き合う

noteに投稿された記事数は、累計で昨年同時期比2倍以上に増加。サービスの成長とともに、いままでは問題のなかったコードやクエリにも異変が起きはじめています。そこで、noteでは「パフォーマンス改善週間」という取り組みを行いました。1週間限定で開発チームの有志が横断的に集まり、ページ表示速度やAPIのパフォーマンスなどを改修していく試みです。今回は記事詳細ページに絞って改善が行われました。 パフォーマンス改善プロジェクトの発足はエンジニアが発したSlackの何気ない一言がキッ

スキ
53
エンジニアとデザイナーに聞く、外部サービス連携の舞台裏

エンジニアとデザイナーに聞く、外部サービス連携の舞台裏

noteは幅広いクリエイターやユーザーが集まり、さまざまなコンテンツと出会える場所を目指しています。そのためには、テキスト、音声、動画、画像、他SNSの投稿などあらゆる表現を集約できる必要があります。そこでnoteではより豊かな表現ができるように、多種多様な外部サービスとの連携を行っているのです。2020年12月にはデザインツールCanvaと連携し、見出し画像をブラウザで簡単に作成できるようになりました。 ただし、すべての外部連携サービスをnote社内で開発することは現実的

スキ
40