View on GitHub

lectures4mlphys

物理屋のための機械学習講義

Youtube チャンネル

開催趣旨

機械学習は物理学の幅広い分野で、 一部既存手法を超える性能を見せるなど、 有効に活用され始めています。 一方で、物理学研究者および学習者にとって、 機械学習で用いられる個々の手法は理解できたとしても、 その幅広い分野全体を概観することは簡単ではありません。 そこで、物理学研究者および学習者が機械学習の様々な 基礎知識に触れられるよう、 本講義シリーズを企画しました。 幅広い参加者をお待ちしています。

本講義シリーズは、科学研究費補助金学術変革領域研究(A)「学習物理学の創成」の補助を受けております。

参加登録について

対面で参加される方へ

オンラインで参加される方へ

その他、注意事項

お問い合わせ

お問い合わせフォーム


今後の講義につきましては、決定次第、ML等でご連絡します。

<終了した講義>

第1回

日時: 2023/1/12 (木) 13:30-17:00 JST
講師: 田中 章詞 (理研AIP)
講演題目: 最適輸送理論入門
開催方法: 対面とオンラインのハイブリッド
場所: 理化学研究所 (和光) 研究本館 3階 345−347号室
概要:
近年、最適輸送理論が複数の分野（物理学や機械学習）にまたがって話題を呼んでいます。例えば、ある製品を製造、販売する業者は数ある工場からそれぞれの店に製品を届ける際に、どのように輸送すれば良いかという問題に直面しますが、その問題を取り扱うのが最適輸送理論です。今回の講義では、近年の最適輸送理論の中心的対象であるWasserstein距離の定義や動機、更に、これが強双対性によって同値な二つの表現方法を持つことまでを説明する予定です。
[ホワイトボード]

第2回

日時: 2023/1/26 (木) 13:00-17:00 JST
講師: 佐野 崇 (東洋大学)
講演題目: 確率的グラフィカルモデルにおける変分近似法
開催方法: 対面とオンラインのハイブリッド
場所: 会議室のルビコン 601
概要:
ベイジアンネットワークやマルコフ確率場といった確率的グラフィカルモデルは、変数の関係をグラフ構造に表した、説明性の高い生成モデルです。しかし、推論や学習に時間のかかる大規模化が難しいモデルでもあります。そのために、様々な近似法が開発されてきました。確率的グラフィカルモデルは、統計力学モデルとみなすことが可能であり、推論は統計力学において期待値を求める問題と等価です。そのため、平均場近似(変分近似)を用いることができます。また、ループあり確率伝搬法という近似推論法が、物理におけるBethe近似と等価であることが後に発見されるなど、この分野と物理学との関係はとても深いものです。この講義では、変分近似法を用いた確率的グラフィカルモデルの推論と学習について、物理屋に分かりやすい言葉で説明していきたいと思います。
[スライド] [動画]

第3回

日時: 2023/5/9 (火) 13:30-17:00 JST
講師: 村田 仁樹 (埼玉工業大学)
講演題目: 機械学習の基礎および物理との関係性について
開催方法: 対面とオンラインのハイブリッド
場所: 銀座ユニーク会議室　銀座7丁目店 N402号室
概要:
1.ニューラルネットワークの基礎
2.ニュートン力学をニューラルネットワークで表現
について、数式を板書しながら説明していく。
[動画]

第4回

日時: 2023/6/29(木）　13:00-17:00　JST
講師: 堀江 正信（株式会社RICOS)　
講演題目: 対称性のある機械学習による物理現象の解析
開催方法: 対面とオンラインのハイブリッド
場所: 銀座ユニーク会議室　銀座7丁目店 N402号室
概要:
熱、流体、電磁場などさまざまな物理現象を記述する偏微分方程式は厳密に解けないことも多く、数値解析が有用である。一方で、複雑な現象では数値解析に時間がかかり、また解析結果が実測と乖離することもある。これらの問題を解決する手法として機械学習が注目されているが、複雑な物理現象に対して単純に機械学習を取り入れただけでは満足のいく結果が得られないことも多い。本講義では、複雑な物理現象を扱うのに適した機械学習のキーワードである、同変性とグラフニューラルネットワークを中心に、現在得られている成果や今後の展望について議論する。
[スライド] [動画]

第5回

日時: 2023/11/21 (火) 13:00-17:00 JST
講師: 森村 哲郎 (株式会社サイバーエージェント)
講演題目: 強化学習の数理からRLHFまで
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス116教室
概要:
強化学習は、意思決定モデルを学習するAI技術として、囲碁、ロボット、大規模言語モデルといった多様な領域で重要な役割を果たしています。しかし、実際に適用する際、どう実問題を強化学習問題として定式化するか、またどう学習の安定性や結果の再現性を保証するかなどの問題に直面します。それらの問題を乗り越え強化学習を活用するには、その背後にある数理的原理を理解することが重要です。この講演では、強化学習の数理的基礎について解説し、その原理を深く探ります。そして、最近の進展として、Decision Transformerや人間のフィードバックを取り入れた強化学習（RLHF）など、言語モデルと強化学習の融合領域についても紹介予定です。

[スライド1] [スライド2] [スライド3]

第6回

日時: 2023/12/4 (月) 13:00-17:00 JST
講師: 今泉 允聡 (東京大学)
講演題目: 深層学習と過剰パラメータの理論
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス116教室
概要:
深層学習は高い精度を発揮するデータ解析技術だが、その精度を発揮する原理には未だに明らかになっていない点が多い。本講演では、深層学習や過剰なパラメータを持つ統計モデルの性質を記述する理論を紹介する。講義の前半では基本的な深層学習に着目し、その誤差を近似・複雑性・最適化の項目に分割した上で、各要素を解析する個別の研究を紹介する。その後、より応用的な深層学習技術に関する知見を共有する。講義の後半では、過剰なパラメータを持つ統計モデルに関する理論の構築とそれがもたらす示唆について議論する。時間に余裕があれば、近年の人工知能技術についての数理的な知見を議論する。
[スライド]：準備中
[動画]：準備中

第7回

日時: 2024/1/15 (月) 13:00-17:00 JST
講師: 唐木田 亮 (産総研)
講演題目: 統計神経力学とその周辺
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス122教室
概要:
ニューラルネットの平均場理論とも呼ばれる統計神経力学は、生物や人工の神経回路を数理的に理解する試みのなかで発展してきた枠組みです。特に深層学習では、無限幅極限における普遍的な挙動、勾配消失/発散を防ぐ”カオスの縁”初期化やNTK(Neural Tangent Kernel)レジーム/特徴学習レジームの区分の理解につながっています。本講義では深層学習の統計神経力学を、順方向および逆誤差伝播の解析からはじめ、特徴学習レジームを実現するmuP(Maximal Update Parametrization)まで概観します。また、幅が大きいモデルが過剰パラメータ系であることから現れるアルゴリズムの陰的バイアスについても触れる予定です。
[スライド]　

第8回

日時: 2024/1/22 (月) 13:00-17:00 JST
講師: 道下 佳寛 (理研)
講演題目: 強化学習と物理への応用
開催方法: 対面とオンラインのハイブリット
場所: 筑波大学東京キャンパス118教室
概要:　
近年機械学習の性能の飛躍的向上に伴い、機械学習を物理に応用しようという動きが盛んである。相の判定や、マテリアルインフォマティクスや数値シミュレーション手法の代替などが行われているが、主に実験の補助及び数値シミュレーションの実行を目的として研究がなされており、理論解析手法を開拓する応用に関しては、研究が乏しい。 本講演では、自身の研究に沿って強化学習手法(Alpha Zero)を用いて、物理の理論解析手法を導出するフレームワークを提案・例示する。 前半では、Tutorialとして強化学習の基本的な理論・手法を、物理屋の目線から簡単に解説・実演し、強化学習に親しみを持ってもらう。 後半では、先行研究としてのSymbolic Regressionの話を簡単におさらいし、自身の研究について解説する予定である。
[ホワイトボード] [jupyterノート]
[スライド1] [スライド2]
[動画]

第9回

日時: 2024/4/25 (木) 13:00-17:00 JST
講師: 瀧 雅人 (立教大学)
講演題目: 機械学習入門
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス118教室
概要:
この講義では、機械学習のコンセプトやその数理・統計的意味から始めて、現在盛んに用いられている深層学習につながる表現学習のアイデアまでを概観する。また、機械学習に広く用いられるライブラリを用いた実装についても簡単に紹介する。
・機械学習：帰納推論と汎化
・線形モデルと勾配降下法
・特徴量工学と表現学習
・Pythonによる実装
[動画]

第10回

日時: 2024/5/20 (月) 13:00-17:00 JST
講師: 甘利 俊一 (帝京大学)
講演題目: 情報幾何 - 入門と応用
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス118教室
概要:
情報幾何は、確率分布の作る空間に対してその自然な幾何構造を考究するものである。統計学はもとより、情報科学、物理学、経済学、生命科学、また人工知能で新しい方法として有効である。確率分布のなす空間（たとえばガウス分布全体のなす空間）に、座標変換に関して不変であることを要請して幾何構造を導入しよう。すると、リーマン計量ｇとキュービックテンソルＴが一意に決まる。ここからｇを挟んで二つの双対構造をなす接続が（双対接続の対）が導入できる。
　指数型分布族などは、双対平坦なリーマン構造をなす。一般に凸関数ψが与えられたときに、Legendre変換をもとに、ここに双対平坦なリーマン構造を導入でき、ここでは、拡張ピタゴラスの定理、射影定理が成立し、多くの問題がすっきりと解ける。
　情報幾何は多くの分野で有用な方法となっている。たとえば、統計学はもとより、情報科学、深層学習など広い分野で使われている。ここでは、応用例として、統計学、深層学習、信号処理について述べよう。また、確率分布族に導入されるもう一つの幾何学、Wasserstein幾何との関係についても触れる予定である。
[スライド]
[動画]

第11回

日時: 2024/6/17 (月) 13:00-17:00 JST
講師: ガラムカリ 和 (理研)
講演題目: 行列・テンソルの低ランク分解と多体分解
開催方法: 対面とオンラインのハイブリッド
場所: 筑波大学東京キャンパス118教室
概要:
行列やテンソル（多次元配列）はデータのもつ高次の自由度を自然に記述できる基本的なデータ構造である．行列・テンソルとして計算機に格納されたデータを少ない基底の線形結合で近似する低ランク分解によって，データから必要な情報を抽出したり，隠れたパターンや知識を発見することができる．本講義の前半では主に機械学習への応用を見据えて，行列・テンソルの低ランク分解に入門する．特異値分解（SVD），非負行列因子分解（NMF），テンソルのCP分解やタッカー分解を扱い，実世界の様々な制約に応じて適切な分解法を選択する方法についても議論する．後半では，テンソル分解に現れる不良設定性やNP困難性に着目し，これらの困難を克服する最近の研究として，テンソルの低ランク性ではなく，テンソルの軸（モード）間の高次の相互作用に着目するテンソル多体分解を導入する．テンソル多体分解では，モデルに可視変数のみを仮定するため，直感的なモデル選択が可能になる上に，安定な凸最適化問題としてテンソル分解を定式化できる．また，低ランク分解と多体分解の数理的な関係についても紹介する．

第12回

日時: 2024/7/12 (金) 13:00-17:00 JST
講師: 大林 一平 (岡山大学)
講演題目: パーシステントホモロジーの基本と材料科学への応用
開催方法: 対面とオンラインのハイブリッド
場所: 京都大学理学研究科セミナーハウス大ホール (!!!いつもと会場が異なります!!!)
概要:
パーシステントホモロジーは数学のトポロジーのアイデアを応用し，データの 形を特徴付けるための数学的ツールである。既に材料科学や構造生物学などで 形とその特性を関連付けるために利用が進んでいる。 本講義ではパーシステントホモロジーについて，その数学的な基礎から機械学習との組み合わせ法， 材料科学への応用まで紹介する。 また大林が開発しているパーシステントホモロジーに基づくデータ解析ソフトウェアHomCloudによる データ解析演習を1時間程度で実施する。
備考：
データ解析演習ではGoogle Colabを使う予定であるので，参加者は

をあらかじめ準備する必要がある。また，Google Colabの簡単な使いかたにあらかじめ馴染んでおくとよい。
[講義資料]