Why Do We Dream?	Cat: SCI Pub: 2021/4 #2112
	Kendra Cherry | Eric Hoel	21610u

Title	Why Do We Dream?	なぜ我々は夢を見るのか
Index	Why do we dream? by Kendra Cherry: Why do we dream?; what is a dream?: The role of dreams: Dreams process information: Dreams reflects your life: The overfitted brain by Erric Hoel: The overfitted brain: Introducrion: Dreams are for memory consolidation: Dreams are preparateions for real-world problem: Dreams benefit predictrive processing: The overfitted brain hypothesis: Evidence from Deep Learning:	なぜ我々は夢を見るのか: なぜ夢を見るのか、夢とは何か: 夢の役割: 夢は情報を処理する: 夢は人生を反映する: 過剰適合脳: 過剰適合脳: 序文: 夢は記憶固定化のため: 夢は現実世界の問題への準備: 夢は予知能力を高める: 過剰適合脳仮説: ディープラーニングからの証拠:
Tag	; Acetylcholine; Active inference; Amygdala; Autoencoder; Backpropergation; Bipolar disorder; BOLD; Continuity hypothesis; Dropout; Dream lag; DNN; Dream rebound theory; EEG; Epiphenomenon; Feedforward; Free energy principle: GAN; Genetic knockout; Gestalt; Hippocampus; In silico; Lucid dreaming; NREM; Null theory; OBH; Overfitting; Parasomnia; Parietal; Predictive processing; PTSD; Randomization; REM; Reverse learning; Self-organization theory; SHY; SWS; Theta wave; Threat simulation theory;

Original resume

Remarks

>Top 1-1. Why Do We Dream, by Kendra Cherry; Verywellmind; Apr 07, 2021: Why do we dream?: The question of why we dream has fascinated philosophers and scientists for thousands of years. Despite scientific inquiry into the function of dreams, we still don't have a solid answer for why we do it. While much remains uncertain about dreaming, many experts have developed theories about the purpose of dreams, with new empirical research providing greater clarity. What is a dream?: A dream includes the images, thoughts, and emotions that are experienced during sleep. Dreams can range from extraordinarily intense or emotional to very vague, fleeting, confusing, or even boring. Some dreams are joyful, while others are frightening or sad. Sometimes dreams seem to have a clear narrative, while many others appear to make no sense at all. There are many unknowns about dreaming and sleep, but what scientists do know is that just about everyone dreams every time they sleep, for a total of around two hours per night, whether they remember it upon waking or not. Beyond what's in a particular dream, there is the question of why we dream at all. Below, we detail the most prominent theories on the purpose of dreaming and how these explanations can be applied to specific dreams. How do scientists study dreams?: Traditionally, dream content is measured by the subjective recollections of the dreamer upon waking. However, observation is also accomplished through objective evaluation in a lab. In one study, researchers even created a rudimentary dream content map that was able to track what people dreamed about in real time using magnetic resonance imaging (MRI) patterns. The map was then backed up by the dreamers' reports upon waking.

1-1. なぜ我々は夢を見るのか: halllucinate: 幻覚を感じる epiphenomenon: 病気の副現象, by-product in silico: conducted by means of computer simulation <in vivo; in vitro; in situ gestalt: holism; ⇔ empiricism; an organized whole tt is perceived as more than the sum of its parts. なぜ人は夢を見るのか？ 人はなぜ夢を見るのかという問いは、何千年もの間、哲学者や科学者を魅了してきた。夢の機能を科学的に調査したにもかかわらず、なぜ夢を見るのかについては、未だ確かな答えが出ていない。夢についてはまだ多くのことが不明だが、多くの専門家が夢の目的についての理論を構築しており、新たな実証的研究によってより明確になっている。 夢とは何か？ 夢とは、睡眠中に体験したイメージ、思考、感情を含む。夢には、非常に激しいものや感情的なものから、非常に漠然としたもの、つかの間のもの、混乱したもの、あるいは退屈なものまである。また、楽しい夢もあれば、怖い夢や悲しい夢もある。夢には明確なストーリーがある場合もあれば、全く意味をなさないように見える場合もある。 夢や睡眠については不明な点が多いが、科学者が知っていることは、目覚めたときに覚えているかどうかにかかわらず、ほとんどの人は一晩に約２時間、寝るたびに夢を見ているということである。 夢の内容だけでなく、なぜ人は夢を見るのかという疑問がある。ここでは、夢を見る目的についての代表的な説と、それらの説は、具体的な夢にどのように該当するのかを説明する。 科学者はどのように夢を研究するか?: 伝統的には、夢の内容は、目覚めたときの夢を見た人の主観的な記憶によって測定される。 ただし、観察はラボでの客観的な評価によっても行われる。 ある研究では、研究者は、磁気共鳴画像法 (MRI) のパターンを使用して、人々が夢見た内容をリアルタイムで追跡できる初歩的な夢の内容マップを作成した。 それは、覚醒時に夢を見た人の報告によって裏付けられた。

>Top 1-2. The Role of Dreams: The role of dreams: Some of the more prominent dream theories contend that the function of dreaming is to: Consolidate memories Process emotions Express our deepest desires Gain practice confronting potential dangers Many experts believe that we dream due to a combination of these reasons rather than any one particular theory. Additionally, while many researchers believe that dreaming is essential to mental, emotional, and physical well-being, some scientists suggest that dreams serve no real purpose at all. The bottom line is, while many theories have been proposed, no single consensus has emerged on why we dream. >Top Dreaming during different phases of sleep may also serve unique purposes. The most vivid dreams happen during rapid eye movement (REM) sleep, and these are the dreams that we're most likely to recall. We also dream during non-rapid eye movement (non-REM) sleep, but those dreams are known to be remembered less often and have more mundane content. Dreams may reflect the unconscious: Sigmund Freud’s theory of dreams suggests that dreams represent unconscious desires, thoughts, wish fulfillment, and motivations. According to Freud, people are driven by repressed and unconscious longings, such as aggressive and sexual instincts. >Top While many of Freud's assertions have been debunked, research suggests there is a dream rebound effect, also known as dream rebound theory, in which suppression of a thought tends to result in dreaming about it. What causes dreams to happen?: In "The Interpretation of Dreams," Freud wrote that dreams are "disguised fulfillments of repressed wishes." He also described two different components of dreams: manifest content (actual images) and latent content (hidden meaning). Freud’s theory contributed to the rise and popularity of dream interpretation. While research has failed to demonstrate that the manifest content disguises the psychological significance of a dream, some experts believe that dreams play an important role in processing emotions and stressful experiences.

1-2. 夢の役割 disguise: 偽装･変装させる 夢の役割: いくつかの著名な夢の理論では、夢見ることの機能は以下であるとしている。 記憶を定着 感情の処理 心の奥底にある願望の表現 潜在的な危険に立ち向かう練習 専門家の多くは、夢を見るのは特定の理論ではなく、これらの理由の組み合わせと考えている。また、多くの研究者は、夢を見ることは精神的、感情的、身体的な健康にとって不可欠であると考えている一方で、夢には何の目的もないとする科学者もいる。 つまり、なぜ夢を見るのかについては、さまざまな説が提唱されているものの、統一された結論はまとまってはいない。 また、睡眠中に見る夢には、それぞれ異なる目的があると考えられている。最も鮮明な夢を見るのはREM (rapid eye movement) 睡眠中であり、これは最も思い出す可能性の高い夢である。また、ノンレム睡眠中にも夢を見るが、その場合は記憶に残りにくく、内容も平凡なものになるといわれている。 夢は無意識を反映している可能性: Sigmund Freudの夢の理論では、夢は無意識の願望、思考、願望実現、あるいは動機などを表しているとされている。フロイトによると、人は、攻撃性や性的本能など抑圧された無意識の願望によって動かされているといいう。 フロイトの主張の多くは否定されているが、研究によると、ある考えを抑制するとその考えに関する夢を見がちになるという夢の反発効果 (Dream rebound theory)があると言われる。 夢が起こる原因: フロイトは"夢の解釈"の中で、夢は "抑圧された願望の偽装された実現 "であると述べている。また、夢の構成要素として、顕在的内容 (実際のイメージ)と潜在的内容(隠された意味)の2つを挙げている。 フロイトの理論により、夢の解釈が盛んに行われるようになった。顕在的内容が夢の心理的意味を偽装しているという研究結果は出ていないが、夢は感情やストレスを処理する上で重要な役割を果たしていると考える専門家もいる。

>Top 1-3. Dreams Process Information: Dreams process informatrion: According to the activation-synthesis model of dreaming, which was first proposed by J. Allan Hobson and Robert McCarley, circuits in the brain become activated during REM sleep, which triggers the amygdala and hippocampus to create an array of electrical impulses. This results in a compilation of random thoughts, images, and memories that appear while dreaming. When we wake, our active minds pull together the various images and memory fragments of the dream to create a cohesive narrative. In the activation-synthesis hypothesis, dreams are a compilation of randomness that appear to the sleeping mind and are brought together in a meaningful way when we wake. In this sense, dreams may provoke the dreamer to make new connections, inspire useful ideas, or have creative epiphanies in their waking lives.  Dreams aid in memory: According to the information-processing theory, sleep allows us to consolidate and process all of the information and memories that we have collected during the previous day. Some dream experts suggest that dreaming is a byproduct, or even an active part, of this experience processing. >Top This model, known as the self-organization theory of dreaming, explains that dreaming is a side effect of brain neural activity as memories are consolidated during sleep. During this process of unconscious information redistribution, it is suggested that memories are either strengthened or weakened. According to the self-organization theory of dreaming, while we dream, helpful memories are made stronger, while less useful ones fade away. Research supports this theory, finding improvement in complex tasks when a person dreams about doing them. Studies also show that during REM sleep, low-frequency theta waves were more active in the frontal lobe, just like they are when people are learning, storing, and remembering information when awake. Dreams spur creativity: Another theory about dreams says that their purpose is to help us solve problems. In this creativity theory of dreaming, the unconstrained, unconscious mind is free to wander its limitless potential while unburdened by the often stifling realities of the conscious world. In fact, research has shown dreaming to be an effective promoter of creative thinking. Scientific research and anecdotal evidence back up the fact that many people do successfully mine their dreams for inspiration and credit their dreams for their big "aha" moments. The ability to make unexpected connections between memories and ideas that appear in your dreams often proves to be an especially fertile ground for creativity.

1-3. 夢は情報を処理する: attenuate: reduce the force oneirology: 夢学 <G. oneiron=dream 夢は情報を処理する: J. Allan HobsonとRichard McCarleyが、最初に提唱した"夢の活性化-合成モデル"によると、レム睡眠中に脳内の回路が活性化され、扁桃体や海馬が電気信号の配列を作り出す。 その結果、夢を見ている間に、ランダムな思考、イメージ、記憶がまとめて現れる。 目覚めたとき、私たちの頭は、夢の中のさまざまなイメージや記憶の断片をまとめて、まとまった物語を作る。 活性化-合成仮説では、夢は眠っている心に現れるランダムなものの集大成であり、目覚めたときに意味のある形でまとめられる。この意味で、夢は、夢見る人を刺激して、新しいつながりを作ったり、有用なアイデアをひらめいたり、あるいは覚醒時に創造的なひらめきをもたらすことになるとされる。 夢は記憶を助ける; 情報処理理論によると、睡眠によって、前日に収集したすべての情報や記憶が集約され処理される。夢の専門家の指摘によれば、夢を見ることは、この経験処理の一つの副産物、あるいは積極的な役割を果たしているいう。 夢の自己組織化理論と呼ばれるこのモデルでは、夢は、睡眠中に記憶が統合される際の脳神経活動の副作用であると説明される。このような無意識の情報再配分の過程で、記憶は強められたり弱められたりすると考えられており、夢を見ている間に、役に立つ記憶は強められ、役に立たない記憶は消えていく。 この理論研究によると、夢の中で複雑な作業をすると、作業効率が向上するという結果は、これを裏付けている。また、レム睡眠時には、前頭葉で低周波のシータ波が活発になっているという研究結果もある。これは、覚醒時に情報を学習･保存･記憶しているときと同じ脳波である。 夢は創造性を刺激する: 夢に関する別の理論によれば、夢の目的は問題解決の助けになるという。この夢による創造性理論では、意識的な現実世界の息苦しさから解放され、束縛されない無意識の心が無限の可能性を徘徊する自由をもたらすという。実際に、夢を見ることは創造的思考を効果的な促進になることが研究で明らかになっている。 多くの人が夢からインスピレーションを得て、夢の中で "Aha! "と気づく瞬間を経験していることは、科学的な調査や実例によって裏付けられている。 夢に出てきた記憶やアイデアを思いがけない形で結びつける能力は、創造性を発揮するための肥沃な土壌であるといえる。

>Top 1-4. Dreams Reflect Your Life: Dreams reflect your life: Under the continuity hypothesis, dreams function as a reflection of a person's real life, incorporating conscious experiences into their dreams. Rather than a straightforward replay of waking life, dreams show up as a patchwork of memory fragments. Still, studies show that non-REM sleep may be more involved with declarative memory (the more routine stuff), while REM dreams include more emotional and instructive memories. In general, REM dreams tend to be easier to recall compared to non-REM dreams. Under the continuity hypothesis, memories may be fragmented purposefully in our dreams as part of incorporating new learning and experiences into long-term memory.  Still, there are many unanswered questions as to why some aspects of memories are featured more or less prominently in our dreams. Dreams prepre and protect: The primitive instinct rehearsal and adaptive strategy theories of dreaming propose that we dream to better prepare ourselves to confront dangers in the real world. The dream as a social simulation function or threat simulation provides the dreamer a safe environment to practice important survival skills. >Top While dreaming, we hone our fight-or-flight instincts and build mental capability for handling threatening scenarios. Under the threat simulation theory, our sleeping brains focus on the fight-or-flight mechanism to prep us for life-threatening and/or emotionally intense scenarios including: Running away from a pursuer Falling over a cliff Showing up somewhere naked Going to the bathroom in public Forgetting to study for a final exam This theory suggests that practicing or rehearsing these skills in our dreams gives us an evolutionary advantage in that we can better cope with or avoid threatening scenarios in the real world. This helps explain why so many dreams contain scary, dramatic, or intense content. Dreams help process emotions: The emotional regulation dream theory says that the function of dreams is to help us process and cope with our emotions or trauma in the safe space of slumber. >Top Research shows that the amygdala, which is involved in processing emotions, and the hippocampus, which plays a vital role in condensing information and moving it from short-term to long-term memory storage, are active during vivid, intense dreaming. This illustrates a strong link between dreaming, memory storage, and emotional processing. This theory suggests that REM sleep plays a vital role in emotional brain regulation. It also helps explain why so many dreams are emotionally vivid and why emotional or traumatic experiences tend to show up on repeat. Research has shown a connection between the ability to process emotions and the amount of REM sleep a person gets. Content similarities and common dreams shared among dreamers may help promote connection. Research also notes heightened empathy among people who share their dreams with others, pointing to another way dreams can help us cope by promoting community and interpersonal support. Other theories about why we dream: Many other theories have been suggested to account for why we dream. One theory contends that dreams are the result of our brains trying to interpret external stimuli (such as a dog's bark, music, or a baby's cry) during sleep. Another theory uses a computer metaphor to account for dreams, noting that dreams serve to "clean up" clutter from the mind, refreshing the brain for the next day. The reverse-learning theory suggests that we dream to forget. Our brains have thousands of neural connections between memories—too many to remember them all—and that dreaming is part of "pruning" those connections. In the continual-activation theory, we dream to keep the brain active while we sleep, in order to keep it functioning properly. >Top Lucid dreaming: Lucid dreams are relatively rare dreams where the dreamer has awareness of being in their dream and often has some control over the dream content. Research indicates that around 50% of people recall having had at least one lucid dream in their lifetime and just over 10% report having them two or more times per month. It is unknown why certain people experience lucid dreams more frequently than others. While experts are unclear as to why or how lucid dreaming occurs, preliminary research signals that the prefrontal and parietal regions of the brain play a significant role. How to lucid dream: Many people covet lucid dreaming and seek to experience it more often. Lucid dreaming has been compared to virtual reality and hyper-realistic video games, giving lucid dreamers the ultimate self-directed dreamscape experience. Potential training methods for inducing lucid dreaming include cognitive training, external stimulation during sleep, and medications. While these methods may show some promise, none have been rigorously tested or shown to be effective. A strong link has been found between lucid dreaming and highly imaginative thinking and creative output. Research has shown that lucid dreamers perform better on creative tasks than those who do not experience lucid dreaming. Stress dreams: Stressful experiences tend to show up with great frequency in our dreams. Stress dreams may be described as sad, scary, and nightmarish. Experts do not fully understand how or why specific stressful content ends up in our dreams, but many point to a variety of theories, including the continuity hypothesis, adaptive strategy, and emotional regulation dream theories to explain these occurrences. Stress dreams and mental health seem to go hand-in-hand. >Top Daily stress shows up in dreams: Research has shown that those who experience greater levels of worry in their waking lives and people diagnosed with post-traumatic stress disorder (PTSD) report higher frequency and intensity of nightmares. Mental health disorders may contribute to stress dreams: Those with mental health disorders such as anxiety, bipolar disorder, and depression tend to have more distressing dreams, as well as more difficulty sleeping in general. Anxiety is linked to stress dreams: Research indicates a strong connection between anxiety and stressful dream content. These dreams may be the brain's attempt to help us cope with and make sense of these stressful experiences. A word from verywell: While there are many theories for why we dream, more research is needed to fully understand their purpose. Rather than assuming only one hypothesis is correct, dreams likely serve a variety of purposes. Knowing that so much is left uncertain about why we dream, we can feel free to view our own dreams in the light that resonates best with us. If you are concerned about your dreams and/or are having frequent nightmares, consider speaking to your doctor or consulting a sleep specialist. ❏

1-4. 夢は人生を反映する: lucid dreaming: 明晰夢; 自分で夢であることを自覚しながら見る夢 bipolar disorder: 双極性障害, 躁鬱病; 通常の気分を挟んで躁鬱の症状を示す精神障害; ICD-10やDSM-IVも気分障害 夢は自分の人生を反映する。 連続性仮説では、夢は人の実生活を反映しており、意識的な経験が夢に反映されていると考えられている。 夢は、覚醒時の生活をそのまま再現するのではなく、記憶の断片のパッチワークとして現れる。 しかし、研究によると、ノンレム睡眠では宣言的な記憶 (日常的なもの) が多く、レム睡眠では感情的で教訓的な記憶が多く含まれているようだ。一般的に、レム睡眠時の夢は、ノンレム睡眠時の夢に比べて思い出しやすい傾向にある。 連続性仮説では、新しい学習や経験を長期記憶に組み込むために、夢の中で意図的に記憶を断片化している可能性がある。しかし、なぜ夢の中で記憶のある部分が強調されたり、されなかったりする点については不明な点が多い。 夢は予知と保護のためのもの: 夢の原始本能リハーサル理論と適応戦略理論は、我々が夢を見るのは、現実世界の危険に立ち向かうためのより良い準備のためであるという。社会的なシミュレーション機能や脅威のシミュレーションとしての夢は、夢を見る人に重要なサバイバルスキルを練習するための安全な環境を提供する。 夢を見ている間に、私たちは戦うか逃げるかの本能に磨きをかけ、脅威的なシナリオに対処するための精神的な能力を構築する。脅威シミュレーション理論によれば、睡眠中の脳は戦うか逃げるかのメカニズムに焦点を当て、以下のような生命の危機や感情的に激しいシナリオに備える。 追っ手からの逃走 崖から転落 裸でどこかに現れる 衆目の場でトイレする 期末試験の勉強を忘れる この理論では、夢の中でこれらのスキルを練習したり、リハーサルしたりすることで、現実世界での脅威的なシナリオにうまく対処したり、回避したりすることができるという進化上の利点があると考えられる。これは多くの夢に怖い、劇的な、または強烈な内容が含まれていることを説明できる。 夢は感情の処理を助ける: 感情調整夢理論では、夢の機能は、眠りの中の安全な空間で感情やトラウマを処理して対処するのを助けることだとしている。 研究によると、感情の処理に関わる扁桃体と、情報を凝縮して短期記憶から長期記憶に移すのに重要な役割を果たす海馬が、鮮明で強烈な夢を見ているときに活発になることがわかっている。これは、夢を見ることと、記憶の保存、感情の処理との間に強い関連性があることを示している。 この理論では、レム睡眠が感情的な脳の調節に重要な役割を果たしていると考えられる。また、多くの夢が感情的に鮮明である理由や、感情的またはトラウマ的な経験が繰り返し現れる傾向があることの説明にもなる。感情を処理する能力とレム睡眠の量に関連性があるという研究結果もある。 夢の内容が似ていたり、夢の内容が共通していたりすることで、夢を見る人同士とのつながりが深まるのかもしれない。また、夢を他人と共有することで共感が得られるという研究結果もあり、夢がコミュニティや対人関係を促進することにつながる点も留意すべきである。 夢を見る理由についてのその他の説: 夢を見る理由については、他にも様々な説がある。 ある説では、夢は睡眠中に外部からの刺激 (犬の鳴き声、音楽、乳幼児の泣き声など)を脳が解釈しようとした結果であるとしている。 また、コンピュータの場合のように、夢を見ることで頭の中のゴミを掃除し、次の日のために脳をリフレッシュさせるという説もある。 また、"逆学習説"では、人は忘れるために夢を見るとしている。私たちの脳には、記憶と記憶の間に何千もの神経接続があり、すべてを記憶するのは不可能であり、夢を見ることで、これらの接続を"刈り込む"ことをしている。 継続的活性化説では、睡眠中に脳を活性化させ、正常に機能させるために夢を見るとしている。 明晰夢: 明晰夢とは、自分が夢の中にいるという意識を持ち、夢の内容をある程度コントロールできる、比較的珍しい夢のことである。調査によると、約50％の人が今までに少なくとも1回は明晰夢を見たことがあると答え、10％強の人が月に2回以上明晰夢を見たと答えている。 なぜ、ある人が他の人よりも頻繁に明晰夢を見るのかはわかっていない。専門家の間でも、なぜどのようにして明晰夢が起こるのかは不明だが、一応、脳の前頭前野と頭頂部が重要な役割を果たしていると言われている。 明晰夢を見る方法: 多くの人が明晰夢に憧れ、より頻繁に体験しようとしてる。明晰夢は、仮想現実や超現実的なビデオゲームと比較され、明晰夢を見る人に究極の自己演出の夢の世界を提供する。 明晰夢を誘発するトレーニング方法としては、認知トレーニング、睡眠中の外部刺激、薬物療法などが考えられる。これらの方法は期待できるかもしれないが、厳密にテストされ、効果があると示されたものはない。 明晰夢を見ることと、想像力豊かな思考や創造的なアウトプットとの間には、強い関連性があることがわかっている。明晰夢を見ている人は、明晰夢を経験していない人に比べて、創造的な課題で良い結果を出すという研究結果がある。 ストレスの夢: ストレスを感じる経験は、夢の中で非常に高い頻度で現れる傾向がある。ストレスを感じる夢は、悲しい、怖い、悪夢のようだと表現される。 具体的なストレス内容がなぜ夢に出てくるのかについては、専門家の間でもよくわかっていないが、連続性仮説、適応戦略仮説、感情調整夢仮説など、さまざまな説が指摘されている。ストレス夢と心の健康は密接な関係があり得る。 日常のストレスが夢に現れる: 起きているときに心配事が多い人や、PTSDと診断された人は、悪夢を見る頻度や強度が高いという研究結果がありる。 精神疾患がストレス夢の原因となることがある: 不安、双極性障害、うつ病などの精神疾患を持つ人は、より苦しい夢を見る傾向があり、一般的に不眠症となることが多い。 不安はストレス夢と関連している: 研究によると、不安とストレス夢の内容には強い関連性があることが示されている。 これらの夢は、私たちがストレスを感じる経験に対処しようとする脳の試みであると考えられる。 夢に関する健康相談: 夢を見る理由は諸説あり、その目的を完全に理解するにはさらなる研究が必要である。1つの仮説だけにとらわれず、夢には様々な目的があると考えるほうが良い。 なぜ夢を見るのかということについては不明な点が多いので、自分の夢を自分に合った見方で自由に見るのが良い。 夢が気になる人、悪夢を見ることが多い人は、医師や睡眠の専門家に相談してみるのが良い。

>Top 2-1. The overfitted brain: Dreams evolved to assist generalization; by Eric Hoel, 2021/5: The bigger picture: Dreaming remains a mystery to neuroscience. While various hypotheses of why brains evolved nightly dreaming have been put forward, many of these are contradicted by the sparse, hallucinatory, and narrative nature of dreams, a nature that seems to lack any particular function. Recently, research on artificial neural networks has shown that during learning, such networks face a ubiquitous problem: that of overfitting to a particular dataset, which leads to failures in generalization and therefore performance on novel datasets. Notably, the techniques that researchers employ to rescue overfitted artificial neural networks generally involve sampling from an out-of-distribution or randomized dataset. The overfitted brain hypothesis is that the brains of organisms similarly face the challenge of fitting too well to their daily distribution of stimuli, causing overfitting and poor generalization. By hallucinating out-of-distribution sensory stimulation every night, the brain is able to rescue the generalizability of its perceptual and cognitive abilities and increase task performance Summary: >Top Understanding of the evolved biological function of sleep has advanced considerably in the past decade. However, no equivalent understanding of dreams has emerged. Contemporary neuroscientific theories often view dreams as epiphenomena, and many of the proposals for their biological function are contradicted by the phenomenology of dreams themselves. Now, the recent advent of deep neural networks (DNNs) has finally provided the novel conceptual framework within which to understand the evolved function of dreams. Notably, all DNNs face the issue of overfitting as they learn, which is when performance on one dataset increases but the network's performance fails to generalize (often measured by the divergence of performance on training versus testing datasets). This ubiquitous problem in DNNs is often solved by modelers via “noise injections” in the form of noisy or corrupted inputs. The goal of this paper is to argue that the brain faces a similar challenge of overfitting and that nightly dreams evolved to combat the brain's overfitting during its daily learning. That is, dreams are a biological mechanism for increasing generalizability via the creation of corrupted sensory inputs from stochastic activity across the hierarchy of neural structures. Sleep loss, specifically dream loss, leads to an overfitted brain that can still memorize and learn but fails to generalize appropriately. Herein this ”overfitted brain hypothesis” is explicitly developed and then compared and contrasted with existing contemporary neuroscientific theories of dreams. Existing evidence for the hypothesis is surveyed within both neuroscience and deep learning, and a set of testable predictions is put forward that can be pursued both in vivo and in silico.

2-1. 過剰適合脳: halllucinate: 幻覚を感じる epiphenomenon: 病気の副現象, by-product in silico: conducted by means of computer simulation <in vivo; in vitro; in situ 過剰適合脳: 夢見ることは、脳科学にとってはミステリーのままである。 学習しているとき、脳神経は特定のデータに過剰反応してしまい、一般化を進めることができない。 この"過剰適合脳仮説"に対して、人間は夢を見ることによって、分布外のデータによって感覚刺激を幻視することで、大脳の認知能力の一般化できるよう救済することできるらしい。 要約: 最近のDeep Neural Network (DNN)によって、夢は、実際の現象に対する副現象であると考えられている。 学習の際、ある特定のデータセットで性能が向上しても、それはネットワークの性能としては一般化しないことを意味する。 "ノイズ注入"のような毎晩見る夢は、脳が日々の学習中に過剰適合してしまうの防ぐために進化してきたという説。 睡眠不足、特に夢不足は、記憶や学習はできても適切な一般化ができない過剰適合脳につながる。 この仮説は神経科学と深層学習の両方で調査され、生体内 (in vivo)とコンピュータ内(in silico)の両方テスト可能となっている。

>Top 2-2. Introduction: During the Covid-19 pandemic of 2020, many of those in isolation reported an increase in the vividness and frequency of their dreams, even leading #pandemicdreams to trend on Twitter. Yet dreaming is so little understood there can be only speculative answers to the why behind this widespread change in dream behavior. This is despite the fact that humans spend hours every night dreaming and that dream deprivation is highly damaging to animals; indeed, dreaming is homeostatically regulated in that there even appears to be a ”dream drive.” In addition, dreaming is conserved across many species, indicating an essential evolved purpose. Yet finding a biological function for dreams themselves has evaded resolution. >Top The ”null theory” that dreams are byproducts of other adaptions, or biological ”spandrels,” or sleep and dreams are adaptive only in that they prevent organisms from moving during periods that they are not adapted to, such as ensuring that diurnal animals are inactive during night, are still taken seriously. It is notable that approximately 50% to 70% of the time subjects report having a dream upon a sudden waking during sleep, with more dreams being reported later on in the night. Reports from those who keep regular dream journals, or who spend time each morning recollecting dreams, indicate that preserving a memory of dreams increases significantly with practice. All this hints that individuals may regularly underestimate how much time they actually spending dreaming during sleep. >Top The phenomenology of dreams is different from that of waking experience. However, few contemporary theories appropriately account for the phenomenology of dreams, particularly their sparse, hallucinatory, and narrative contents. What is the purpose of this strange state? The fact that sleep overall has some relationship to learning was known even by the Roman orator Quintilian. Yet, as is discussed in detail in the next section, contemporary neuroscientific theories which relate dreaming to memory storage, memory replay, or emotional processing, still view dreams themselves as epiphenomena. >Top This lack of viable theories about why animals dream stands in contrast with how much is known about sleep physiology and its stages. As originally discovered by lesion studies and later supported by genetic knockout studies, the sleep state is brought about by a far-reaching set of subcortical neuromodulatory systems, with no one system being necessary, indicating redundancy in how the waking state is sustained. In general, this multifaceted arousal system is excitatory during wake in that it has the greatest firing, and becomes more quiescent to bring about sleep, although this is not true for all such systems, especially those that establish rapid eye movement (REM). >Top A classic signature of sleep are slow waves, which are waves of activity that traverse the cortex, which can be identified when the dominate frequency of electroencephalogram (EEG) is less than 1 Hz. In this state, the cortex become bistable, oscillating between periods of intense firing and periods often referred to as “down states” wherein neurons are silent. In general, it should be noted that there is a spectrum wherein sometimes a brain region is experiencing slow wave sleep and this is not synchronized with other regions. This is despite the fact that sleep itself is traditionally broken down into non-REM (NREM) sleep and REM sleep, with REM sleep being more associated with dreaming than NREM sleep. Yet there is evidence that dreaming occurs regularly throughout the night, across different sleep stages, although it is rarest in the “deepest” stage of NREM, stage 3, wherein surface EEG reflects low-frequency cortical slow waves. Recent neuroimaging and sudden-waking experiments have demonstrated that all sleep stages can have dreams, which are the result of localized wake-like firing. On average, high-frequency EEG signals in posterior areas of the brain were most correlated with reports on waking. Despite the ubiquity of dreams, it is still the case that REM is most strongly associated with dreaming, more than 80% to 90% of the time in some awakening studies, although it should be noted again that sleep involves a spectrum wherein it is difficult to find any stage at any time of the night that does not contain any dreams at all. Although early on in the night dreams can present themselves as more “thought-like” and simple, later on in the night, particularly during REM, dreams can become incredibly complex with a fully developed narrative structure. Therefore, while the story of dreaming occurring solely during REM has been complicated, it is true they are still associated. As far as is currently known, dreaming of is a brain-wide state where the brain is experiencing a single narrative or event, which is supported by the activation of the default-mode network during dreaming. Consider, for instance, the evidence from sudden-waking experiments that higher frequency activity in the frontal lobe predicted emotional affect within the subject's dream. Or consider the evidence that during lucid dreaming, activity is similar to waking movements in the sensorimotor cortex. >Top Despite the nuances and redundancies of the cortical systems in play, it still makes sense to view the change from dreamless sleep to dreaming as occurring via a brain-wide neuromodulatory system that regulates level of consciousness, such as by the increase in firing of acetylcholine-containing neurons during REM. Neuromodulatory systems also create the conditions of muscle atonia during dreaming, without which dreams can be acted out by the body during sleep, a dangerous parasomnia called REM sleep behavior disorder. What is the overall evolved purpose or function of sleep? The evidence of distinct physiological states brought about by neuromodulation suggests answering this requires identifying multiple functions, particularly for dreamless sleep versus dreaming. Across the Tree of Life, sleep as a whole is highly conserved; most mammals spend somewhere between 4 and 20 h sleeping. There is even evidence that Caenorhabditis elegans sleeps. In the past 2 decades there has been significant progress when it comes to understanding the evolved function of sleep as a whole, although this has not been true for dreams themselves. First, a novel discovery has led to a clear purpose for at least one aspect of sleep. This was the discovery of the brain's glymphatic system, showing that sleep involves the brain-wide flushing of metabolites with cerebral spinal fluid. This led to the theory that sleep, especially during slow wave activity, had the goal of waste clearance and this is at least partly behind sleep's restorative aspect. Glymphatic activity in the form of this flushing is low in waking but high during both sleep and while under certain types of anesthesia. In sleep and also under anesthesia, the greatest amount of flushing occurs during slow wave sleep when low-frequency delta power dominates the EEG, indicating that it may be anticorrelated with dreaming, although this has not been explicitly established. Dreams may still occur during these flushing events; indeed, it is unknown if the function of dreams might even change depending on sleep stages or background neurophysiological conditions. >Top Another important theory of the purpose of sleep is the Synaptic Homeostasis Hypothesis (SHY). According to SHY, daily learning leads to net synaptic potentiation across the brain, which, if left unchecked, would lead to a saturation of synaptic weight and a cessation of learning. SHY hypothesizes that slow waves trigger a brain-wide down-scaling of synaptic weights. This indiscriminate down-scaling ensures that the relative weights of synapses are kept proportional while removing the risk of saturation. SHY has served as a model neuroscientific theory in that it has generated a number of new empirical findings. At the same time, it has also triggered fecund debate and investigation. Traditionally, SHY is more associated with slow wave sleep than with the high frequencies that indicate dreaming. It has also not been explored how SHY faces the problem that a global down-scaling of synapses could easily fail to keep the pattern of synaptic weights the same, since neurons are nonlinear mechanisms. Even a net down-scaling of an artificial neural network with rectified linear unit (ReLU) activation functions would likely affect its function if the scaling dropped any weights below zero; in the case of sigmoid activation functions, it would significantly impact function, and in an unknown way. The overall evidence indicates that sleep can be broken into two parts: during dreamless sleep metabolic clearance and cellular it is likely that repair occurs, and some form of unknown contribution to improvements in performance and learning on tasks occurs during dreaming. Ultimately, this purpose of the dreaming phase or aspect of sleep lacks hypotheses as explicit and clear as those for slow wave sleep. >Top In order to offer forward a distinct theory of the purpose of dreams, this paper outlines the idea that the brains of animals are constantly in danger of overfitting, which is the lack of generalizability that occurs in a deep neural network when its learning is based too much on one particular dataset, and that dreams help mitigate this ubiquitous issue. This is the overfitted brian hypothesis (OBH). The goal of this paper is to formally fill-out the OBH by investigating the evidence that the brain fits to a dataset composed of the statistically similar daily experiences of the organism, while nightly dreams improve the generality and robustness of an animal's representations, cognition, and perceptual systems, by generating data far outside the organism's daily ”training set” in a warped or corrupted way. This idea is supported by the idea that stochasticity (such as corrupted or sparse inputs) is critical in machine learning. As will be discussed, the OBH fits with known biological understanding and data, matches better with dream phenomenology than most other theories, draws various antecedents and similar approaches under one specific roof, and additionally has roots in common practices in deep learning. It makes unique predictions that can be tested both via computational modeling and also in vivo.

2-2. 序文: deprivation: 剥奪、不足 spandrel: 三角小間 lesion: 障害、病変 hallucination: 幻覚 genetic knockout: subcortical neuromodulatory systems: 大脳皮質の神経調節系 quiescent: 鎮静期の electroencephalogram: 脳波図 (EEG) bistable: 双安定、sth tt can rest in two states sensorimotor cortex: 感覚運動野 parasomnia: 睡眠時異常行動 glymphatic system: lymphatic system & glian cell; 脳内老廃物除去作用 phenomenology: 現象学 人間は、毎晩何時間も夢を見ている。夢の剥奪は、動物に大きなダメージを与えるにも関わらずである。夢の衝動があるように見えるのは、ホメオススタシス的に制御されている。 夢は他の適応の副産物であるとか、生物学的な三角小間 (spandrel)であるとか、睡眠や夢は、昼行性の動物が夜に活動しないようにするなど、生物が適応していない期間に動かないようにするという点で適応的であるというヌル理論 (null theory)は、今でも真剣に検討されている。 被験者の約 50% から 70% が、睡眠中に突然目が覚めたときに夢を見たと報告し、夜にはさらに多くの夢が報告されている。 夢日記を定期的につけている人や、毎朝夢を思い出すことに時間を費やしている人の報告によると、夢の記憶を維持する能力は、実践することで大幅に向上することが示されている。 これらすべては、個人が睡眠中に実際に夢を見るのに費やす時間を過小評価している可能性がある。 夢の現象学は、覚醒体験の現象学とは異なる。 しかし、夢の現象学、特にそれらのまばらで幻覚的で物語的な内容を適切に説明している現代の理論はほとんどない。この奇妙な状態の目的は何か? 睡眠全体が学習と何らかの関係があるという事実は、ローマの雄弁家クインティリアヌスにも知られていた。 しかし、次章で詳しく説明するように、夢を見ることを記憶の蓄積、記憶の再生、または感情の処理に関連付ける現代の神経科学の理論は、夢自体を副現象 (epiphenomenon)と見なしている。 動物が夢を見る理由についての理論がないのは、睡眠の生理学やその段階について多くわかっているのと対照的である。 当初は病変研究によって発見され、後に遺伝子knockout研究によって裏付けられたように、睡眠状態は皮質下の神経調節系の広範囲に及ぶ組合せによってもたらされ、覚醒状態を維持するための冗長性を示している。 一般的に、多面的な覚醒システムは、覚醒時に最も発火して興奮し、睡眠時にはより静止した状態になる (REM状態) 睡眠時の脳波(EEG)周波数は1Hz以下; この状態で大脳皮質は、発火時期と鎮静時期の間での双安定状態を示す。 睡眠は、ノンレム睡眠とレム睡眠に分けられ、レム睡眠はノンレム睡眠よりも夢を見ることが多いとされる。 最近の神経イメージングや突然の覚醒実験によって、すべての睡眠段階で夢を見ることができ、それは局所的な覚醒様発火の結果であることが明らかになった。 平均して、脳の後頭部領域での高周波の脳波が、覚醒時と最も相関している。 夢はレム睡眠が最も強く関連しており、80%から90%以上の割合で夢を見ている。睡眠にはスペクトルがあり、夜のどの時間帯でも夢を見ない段階を見つけるのは難しい。 夜の初めに見る夢は、より思考的で単純なものだが、夜遅く、特にレム睡眠中に見る夢は、完全な物語構造を持つ非常に複雑なものになる。 突然の覚醒実験では、前頭葉の高周波数の活動が、被験者の夢の中での感情的な影響を予測している。また、明晰な夢を見ているときは、感覚運動野の活動が起きているときの動きと似ていると言われる。 夢を見ない睡眠から夢を見る睡眠への変化は、レム睡眠中にアセチルコリンを含むニューロンの発火が増加するなど、意識レベルを調節する脳全体の神経調節システムを介して起こると考えられる。 また、神経調節系は、夢を見ているときに筋肉が萎縮する条件を作り出す。これがないと、睡眠中に夢が体で演じられるようになり、レム睡眠行動障害という危険な睡眠時随伴症 (異常行動, parasomnia)が起こる。 ほとんどの哺乳類は4時間から20時間程度の睡眠をとっており、線虫が睡眠をとっているという証拠もある。 新たな発見により、睡眠の少なくとも一面の目的が明確になった。これは、脳の老廃物処理系の発見で、睡眠には脳脊髄液による代謝物の脳全体への流し込みが含まれることを示している。(睡眠による回復的な側面) もう一つの重要な理論は、Synaptic Homeostasis仮説 (SHY)である。それによると、日々の学習によって脳全体のシナプスの正味の増強が行われ、それを放置するとシナプスの重みが飽和して学習が停止してしまう。 SHYは、スローウェーブが脳全体のシナプスの重みを低レベル化させるという仮説である。この無差別なダウンスケーリングにより、シナプスの相対的な重みが比例関係に保たれるとともに、飽和のリスクが取り除かれる。 即ち、夢を見ない睡眠中には、代謝や細胞の修復が行われ、夢を見ている間には、タスクのパフォーマンスや学習の向上に何らかの形で貢献していると考えられる。 動物の脳は常にoverfitの危険にさらされている。Overfitとは、ディープニューラルネットワークの学習が特定のデータセットに過度に基づいて行われた場合に生じる汎用性の欠如のことである。夢はこの普遍的な問題を軽減するのに役立つ。(Overfit Brain Hypothesis, OBH) >Top Overfitting: 夜の夢は、日常的な訓練セットから遠く離れたデータを歪んだ形で生成することによって、動物の表現、認知、知覚システムの一般性と頑強性を向上させる OBHは、計算機モデリングと生体内の両方でテストできるユニークな予測ができる。

>Top 2-3. Dreams are for memory consolidation: Dreams are for memory consolidation Perhaps the leading contemporary theory is that dreams somehow involve memory consolidation and storage, often via a proposed form of memory replay. The dominant metaphor for this theory of consolidation is that of the computer: memories need to be “stored” somewhere in the brain, like storing a computer file on a hard drive, and therefore there must be a storage process. This viewpoint is held by much of traditional cognitive neuroscience, wherein the goal of the brain is to “store” memories as veridically as possible, although there is growing recognition that veridical “computer-like” storage is not desirable for complex learning and that forgetting is just as important. According to the memory consolidation hypothesis, memory storage occurs during dreams, or alternatively dreams, by accessing previously stored memories, strengthen them, or that somehow dreams are a byproduct of integrating new memories with older ones. >Top There is a significant line of research that draws from this theory, including many neuroimaging studies, and a full review of the literature would be beyond the scope of this paper. However, there is also debate. Specifically the consolidation hypothesis is both very broad and rarely meant to specify just dreams rather than sleep in general. For example, there is evidence that learning a new task leads to a greater activation during both REM and slow wave sleep in the task-relevant cortical areas, which indicates there is no preferential consolidation during dreaming. This is true even when comparing a wake/sleep condition versus a control condition without sleep but over the same time, which has found that blood-oxygen-level-dependent (BOLD) activity increased in associated brain regions with the task. But these sorts of neuroimaging studies are not very specific, since increased activation in relevant areas does not actually mean storage, nor replay, nor integration with existing memories. Indeed, they could be interpreted just as easily for evidence of the OBH (Overfitted Brain Hypothesis ) (see “Evidence from neuroscience”). A significant line of direct evidence for the consolidation theory comes in the form of “replay” of memories during sleep, a specific hypothesis with a clear thesis and standards of evidence. Replay was originally discovered in the hippocampus of rats, although the original analysis was again for slow wave sleep, not correlating this process to dreaming specifically. Indeed, the same statistically increased firing in correlated neurons that counts as “replay” occurs during quiet wakefulness, indicating it has nothing specific to do with dreams. In general, if two neurons potentiate at the same time and from the same cause, they are more likely to be correlated in the sense of increased firing in the future, regardless of whether they are replaying anything specific, a view supported by the finding that “replay” events are much faster in terms of their firing. There are a number of significant issues with the specific hypotheses that dreams are replaying memories. First, offline replay of episodic memories may not actually assist memorization; since ground truth is absent offline, such replays might actually introduce errors. Indeed, neuroscience has shown that re-accessing memories generally changes them, rather than enforces them. Due to the issues in assuming that specific memories are actually replayed, a number of authors have proposed more complex theories of consolidation, such as that the idea there exists two complementary learning systems and replay connects these two systems together. Furthermore, the hypothesis must grapple with the fact that well-controlled neuroimaging experiments show little evidence for exact sequence replication and strong evidence for mostly never-before-seen firing patterns. In light of this sort of evidence, some have argued that sleep promotes gist extraction from specific memories, although these sorts of hypotheses have not specifically been about dreaming. >Top Overall, replay is unlikely to be the purpose of dreams, since, as previously discussed, based on the most detailed studies on dream reports after awakenings, dreams are not connected or, at most, only vaguely connected with the day's events. Overall, it appears that less than 1% to 2% of dream reports have anything to do with episodic memories. Except in cases of posttraumatic stress disorder (PTSD), dreams do not repeat specific memories, and those that do are considered pathological; for instance, closely after Hurricane Andrew, the only hurricane-related dreams, even from a sample of the population from the hardest hit area, were from those already diagnosed with PTSD. Close studies of dream journals have in general found that replays of specific memories or a day's events are generally either rare or nonexistent, although they do in general involve actions and people the dreamer is familiar with. One study examining dreams after the terrorist attacks of 9/11 found that “not a single one of the 880 dreams (440 of them after 9/11) involved planes hitting tall buildings or similar scenarios, even though all the participants had seen these events many times on television (and it was clearly an emotionally important experience). No scenes were pictured that were even close to the actual attacks.” Indeed, there is significant evidence that episodic memory and dreams are dissociated. >Top While there is behavioral evidence that repetitive daily tasks, like having subjects play Tetris for significant periods of time, can lead to Tetris-inspired dreams, such inculcated images or sequences do not represent replay in that they are not veridical repeats of previous games, being more hallucinatory and sparse in content and only being loosely related to the played game, such as dreaming of playing some altered version of a maze game after being exposed to it during the day. Moreover, dreams triggered by such repetitive games appear even in patients completely lacking all memory, those with clinically diagnosed amnesia. It can take several days for repetitive tasks to show up in dreams, a form of “dream lag,” and almost always these tasks appear in partial forms that are, again, only loosely similar. Overall, the behavioral evidence suggests that dreams are not replays of memories or waking events. There is a strong line of evidence from Tetris-studies to sudden wake-ups to dream-lag effects showing that partial or loosely similar dreams can be triggered most reliably by recently learned tasks, and yet such inculcated dreams generally take the form of never-before-seen experiences or sequences with the traditional dream-like properties of sparseness and hallucination, matching no specific memory but rather a seeming exploration of the state-space of the task itself. >Top It is worth noting that in most cases the sparse, hallucinatory, and narrative properties of dreams are unaccounted for by the consolidation hypothesis. Most dreams do not involve specific memories at all, making the integration of new memories a questionable purpose for dreaming. Indeed, it is openly admitted that the consolidation hypothesis still views dreams themselves as epiphenomena. As we will see, much of the supporting results for the integration, replay, or storage of memories actually fits better with the OBH (Overfitted Brain Hypothesis) (“Evidence from neuroscience”).  Dreams are for selective forgetting >Top Notably, Francis Crick and Graeme Mitchinson proposed an alternative purpose for dreams in 1983, which they called “reverse learning.” In this hypothesis, the point of dreaming is somehow to remove “undesirable” connections and help the brain “unlearn.” Yet this hypothesis has been largely ignored in contemporary dreaming research. Instead, the alternative hypothesis, that dreams involve replay or consolidation of memory, became favored by the community due to the excitement around early replay results. Contemporary neuroscientific research often views there as being both a consolidation phase as well as a forgetting phase for memories, although this is again predominately associated with slow wave sleep, rather than dreaming specifically. Within deep learning it is known that averaging together models and renormalizing can assist in learning which could broadly be thought to resemble some sort of selective forgetting in real neural networks. More specifically, it has been proposed that Boltzmann machines may actually implement something very similar to the Crick and Mitchinson notion of reverse learning wherein synaptic down-scaling could eliminate the discrepancy between environmental inputs and a system's internal model of the environment, which is an earlier version of the sorts of predictive processing theories discussed in the section “Dreams benefit predictive processing by refining generative models.” Indeed, it has been argued that down-scaling of synapses might themselves prevent overfitting, thus providing a possible link between SHY (Synaptic Homeostasis Hypothesis), the OBH, and the original reverse learning hypothesis. Recently there has been explicit computational modeling in spiking neural networks showing that “reverse learning” in the form of reverse learning rules can indeed prove helpful. Specifically, the authors showed that an anti-learning rule during a “sleep phase” of the network, in the form of anti-Hebbian learning, could break up attractor states that were detrimental to learning. It is worth noting that breaking up detrimental attractor states could lead to similar outcomes as the OBH. However, in general any sort of “reverse learning” is not necessary from the perspective of the OBH. This is because “reverse learning” approaches differ significantly by focusing on how specific memories are destroyed (via anti-learning mechanisms like a hypothetical “reverse Spike-timing-dependent plasticity”) rather than how corrupted inputs or top-down noise can improve generalization like in the OBH.

2-3. 夢は記憶を固定化するため: veridical: truthful memory consolidation: 記憶の固定化 gist: 要点、趣旨 夢は記憶の強化のため: 現代の代表的な理論は、夢は何らかの形で記憶の 強化と保存に関わっているというもので、多くの場合、記憶の再生という形で提案されている。 脳の目的は、記憶を忠実に記憶することだが、複雑な学習を行うためには、コンピュータのように記憶を保存することは望ましくなく、忘れることも重要であるという認識が広まっている。 記憶強化仮説では、夢を見ている間に記憶が蓄積される、あるいは夢を見ることで過去の記憶にアクセスし、記憶が強化される、あるいは夢は新しい記憶と古い記憶を統合する副産物であるというものである。 これは、覚醒・睡眠状態と睡眠をとらない状態を比較した場合、課題を行うと関連する脳領域で血中酸素濃度依存的な(BOLD)活動が増加することがわかっている。 一般的に、2つのニューロンが同じ時期に同じ原因で強められた場合、何か特定のものを再生しているかどうかにかかわらず、将来的に発火が増加するという意味で相関している可能性が高くなり、"再生"イベントの方が発火よりもはるかに速く行われるという知見もそれを裏付けている。 このような仮説は特に夢についてのものではないものの、睡眠は特定の記憶から要点を抽出することを促進するという説がある。 夢はその日の出来事と関連していないか、あるいは漠然としか関連していないため、全体としては、再生が夢の目的であるとは考えにくい。 心的外傷後ストレス障害(PTSD)の場合を除き、夢は特定の記憶を繰り返すものではなく、繰り返すものは病的なものと考えられる。 9.11のテロ後に見た夢を調査したある研究では、880回の夢 (440回は9.11以降) の中で、飛行機が高層ビルに衝突するなどのシナリオを見たものは一つもなかったが、参加者全員がこれらの出来事をテレビで何度も見ていた。 実際に、エピソード記憶と夢が切り離されていることを示す重要な証拠がある。 繰り返し行う作業が夢に現れるまでには数日かかることがあり (これは"Dream lag"と呼ばれる) また、ほとんどの場合、大まかにしか似ていない部分的な形で現れる。夢は記憶や覚醒時の出来事の再現ではないことが示唆される。 ほとんどの夢には特定の記憶が全く含まれていないので、新しい記憶を統合することが夢を見る目的であるというのは疑問である。 夢は選択的な忘却のため: Francis CrickとGraeme Mitchinsonは1983年に、夢の別の目的を"逆学習"と名付けて提案している。この仮説は、夢を見ることで、"望ましくない"結合を取り除き、脳が"学習しなくなる"のを助けるというもの。 深層学習では、モデルの平均化と再正規化が学習を助けることが知られているが、大まかに言えば、実際のニューラルネットワークにおけるある種の選択的忘却に似ていると考えられる。 逆学習: シナプスを縮小することで、環境の入力とシステムの内部モデルとの間の矛盾を解消する。 実際、シナプスのダウン・スケーリング自体が過剰適合 (overfitting)を防ぐのではないかと言われており、SHY、OBH、そして当初の逆学習仮説の間に関連性があると考えられている。 "逆学習"のアプローチは、OBHのように、破損した入力やトップダウンのノイズがどのようにして汎化を向上させるかではなく、特定の記憶がどのようにして破壊されるか (仮説的な"逆スパイクタイミング依存可塑性" のような反学習メカニズムを介して) に焦点を当てている点で大きく異なるからである。 Cf: Sigmoid Function:

>Top 2-4. Dreams are preparateions for real-world problem: Dreams are preparations for real-world problem: The close correlation between creativity and dreams, as well as the similarity of dreams to simulations or virtual realities, has led to hypotheses that dreaming can be used to solve relevant real-world problems for the animal. For example, perhaps dreams allow for creative experimentation where the dreamer keeps the best ideas put forth, although this is problematic given the generally amnesiac nature of dreams and their lack of real-world relevance. A more direct hypothesis is that dreams act as rehearsals for stereotypical behaviors for animals in a form of “genetic programming.” In more contemporary studies, this has been referred to as the hypothesis that dreams act as proto-conscious states to prepare for activities during waking behavior. Similar examples of this hypothesis include an interpretation based off of robots that used simulations to figure out self-models or that an animal might “dream up strategies for success” at night, like for how to best climb obstacles, like rocks, that it faced during the day. Evidence for this sort of hypothesis is that there is a form of neural “pre-play” wherein the sequences of activity predict future behavior of the animal and indicate planning or pre-processing, although this effect may simply be because animals are forced to use a limited set of preconfigured firing sequences to represent the world. In a similar manner to the replay results, it is also likely that most of the time pre-play is not the actual specific future sequences of activity, and that most sequences are never instantiated during wake. Perhaps the simplest and most direct hypothesis is that dreams allow for avoidance practice of dangerous situations, such as running from a predator, that would be impossible to practice in real life without immense risk. However, this is contradicted by the fact that only a small percentage of dreams contain this sort of behavior (even when defining threats incredibly broadly), and in those that do realistic plans of actions in these scenarios are rarely actually implemented. Yet despite the unrealistic nature of dreams, it may be that exploring unlikely or weak associations has psychological benefits. Another hypothesis is the idea that dreams are actually for refining the ability to create simulations themselves. This ”InSim” hypothesis, which specifically is a hypothesis about the dreams of young children, posits that dreams are chances to create simulations and then test their predictions against the real world upon waking. However, this only applies to young children (with the assumption that the few studies are correct that children's dreams are more “boring” than adult dreams), since, as the authors themselves point out, adult dreams would be consistently invalidated by daily events. Indeed, the phenomenology of dreams as sparse and hallucinatory and fabulist make it unlikely that strategies or abilities or preparations that originate in dreams work at all in the real world. However, these types of theories are likely right to view dreams as simulations. Yet according to the OBH the purpose of these simulations is not to refine a particular ability or strategy or plan of action, which is what simulations normally are for. Instead, the purpose is to provide ”out-of-distribution” simulations specifically to prevent overfitting and improve generalization, wherein overfitting is essentially an unavoidable issue brought about by daily learning and therefore a constant threat to the brain's performance on various tasks.

2-4. 夢は、現実の問題に対する準備: 夢は現実世界の問題への準備: 創造性と夢の間には密接な相関関係があり、また、夢がシミュレーションやバーチャルリアリティに似ていることから、夢を見ることで、動物に関連する現実世界の問題を解決することができるという仮説が生まれた。たとえば、夢は、夢想家が最高のアイデアを出し続ける創造的な実験を可能にするかもしれないという点については、夢の一般的な記憶喪失の性質と現実世界の関連性の欠如を考えると問題がある。より直接的な仮説としては、夢は"遺伝的プログラミング"の形で動物のステレオタイプの行動のリハーサルとして機能するというものである。 より現代的な研究では、これは夢が覚醒中の行動の準備をするための原意識状態として機能するという仮説である。 この仮説の同様の例として、シミュレーションを使用して自己モデルを理解するロボットに基づく解釈や、動物が昼間に岩に直面した場合の障害物をうまく登る場合に、夜間に"成功のための戦略を思い描く"可能性があるという解釈が含まれる。 この種の仮説を裏付ける証拠として、神経の"プレプレイ"があり、活動のシーケンスが動物の将来の行動を予測し、計画や前処理を示していることが挙げられる。この効果は単に、動物が世界を表現するために事前に設定された限られた発火シーケンスのセットを使用することを余儀なくされているからであろう。 リプレイの結果と同様、ほとんどの場合、プリプレイは実際の具体的な未来の活動シーケンスではなく、ほとんどのシーケンスは覚醒時にはインスタンス化されないという可能性もある。おそらく最も単純で直接的な仮説は、夢を見ることで、肉食動物から逃げるなど、実生活では莫大なリスクなしには実践できないような危険な状況を回避する練習ができるというものである。しかし、このことは、夢の中でこのような行動が含まれているのは (脅威を極端に広く定義した場合でも)ごく一部であり、また、夢の中でこのようなシナリオでの現実的な行動計画が実際に実行されることはほとんどないという事実と矛盾している。 もう一つの仮説は、夢は実はシミュレーションを作る能力を磨くためのものだというものである。この "InSim"仮説は、具体的には幼児の夢に関する仮説ですが、夢はシミュレーションを作成するチャンスであり、目覚めたときにその予測を現実世界に照らし合わせて検証するという仮説である。しかし、これは幼い子供にしか当てはまらない (子供の夢は大人の夢よりもつまらないという数少ない研究結果が正しいとすれば) 。なぜなら、著者自身が指摘しているように、大人の夢は日常の出来事によって常に無効にされてしまうからだ。確かに、夢の現象はまばらで、幻覚的で、空想的であることから、夢に由来する戦略や能力や準備が現実世界で全く機能するとは考えにくい。 しかし、このような理論では、夢をシミュレーションと捉えるのが正しいと思われる。しかし、OBHによれば、このシミュレーションの目的は、通常のシミュレーションのように、特定の能力や戦略、行動計画を洗練させることではない。事実には、オーバーフィッティングを防ぎ、一般化を向上させるために、特に"範囲外"のシミュレーションを行うことが目的である。オーバーフィッティングは、日々の学習によって避けられない問題であり、脳が様々な作業を行う上で常に脅威となっている。

>Top 2-5. Dreams benefit predictive processiing: Dreams benefit predictive processing by refining general models: Predictive processing is the view that the brain continuously tries to predict its own future states in relation to extrinsic sensory input. In a predictive processing framework, predictions traverse in a top-down fashion, while sensory input occurs in a bottom-up fashion. Predictions are then compared with inputs, with the goal of minimizing prediction errors, which corresponds to improving the brain's predictions about its own future states. Prediction error can be minimized by changes in action and behavior, a process called “active inference.” >Top Predictive processing has become a popular lens through which to view cognitive science, and has origins in work on Helmholtz machines, statistical inference, and the “wake-sleep algorithm.” Note the proposal of the wake-sleep algorithm for unsupervised learning goes back 25 years, which are effectively a precursor to the contemporary notion of an autoencoder. Despite its origins in the field of machine learning, the predictive processing approach is controversial due to its claims of universality: it is unclear that the cortex actually functions primarily to generate predictions about its own future state. Furthermore, there are fundamental criticisms about whether minimizing prediction error via actions is actually a theoretically coherent goal for a universal principle. For instance, why would an organism not go sit in a “dark room” in order to minimize its prediction errors, since it would always know what to expect? Multiple views of dreams in the light of predictive processing has been put forward arguing for specific neurophysiological correlates and mechanisms. In general, in such theories the phenomenology of dreams is accounted for by the breakdown of the perception-action loop during dreaming: essentially the brain's activity is dominated by its “priors” rather than bottom-up input. Some predictive processing proponents have put forward views that the role of dreams is not actually to test inferences about actions, but to improve a hypothesized generative model (in this context a model used by brain to make predictions), specifically by reducing this generative model's complexity by pruning redundant synapses. According to this hypothesis, the proposed evolved purpose of dreaming during REM sleep is to minimize the free energy of the brain. Free energy is essentially the complexity of the brain's model minus the accuracy of the brain's predictions about its own states, and therefore reducing model complexity is important for minimizing free energy. >Top However, SHY actually specifies that there is a net reduction of synaptic weight specifically so that waking activity is generally unaffected by this change, and additionally it is also specifically associated with NREM and slow wave sleep rather than REM and dreaming. It is worth noting that down-scaling in general and its effects on model complexity and minimization of error, even the possibility of this occurring during REM, had been previously proposed, as discussed in the section “Dreams are for selective forgetting.” In Hobson and colleagues, a further related hypothesis without reference to synaptic pruning or down-scaling was introduced based on the idea that, according to the free energy principle, the brain is continuously trying to better predict its own future states. Therefore when the brain lacks bottom-up sensory input (i.e., during dreaming) the brain is still compelled to minimize free energy, meaning that the model complexity must implicitly be reduced since any prediction errors can stem only from internal consistency of the model rather than inconsistencies with the outside world. According to this view “ … we propose that REM sleep is an occasion for reiterating and optimizing a generative model of the embodied self with reference to waking experience.” However, in general, predictive processing and particularly active inference approaches to dreaming face a problem: in the vast majority of dreams agency is actually minimized, not maximized (a view supported by the decreased contribution of prefrontal areas during dreaming). That is, dreams are not “causal playgrounds” wherein the outcomes of actions are continuously tested against the perceptions they generate. This may be the case of lucid dreaming, but lucid dreaming accounts for a small minority of dreams. >Top Outside of relying on the assumption that the goal of the brain is always to minimize free energy and that actions are consequential in dreams in the same way they are in wake, another particular concern about the hypothesis is that dreams, given their phenomenology as fabulist and hallucinatory, do not seem very good candidates for minimizing the surprise of predictions created by a gestalt generative model (let alone a model of the “embodied self”). For instance, if dreams were about creating optimal prior beliefs or improving a model's self-consistency by minimizing input-less prediction errors (as in Hobson and colleagues), the consequence would be that dreams should become less surprising throughout development as input-less prediction error is minimized. This process should lead to the generative model becoming more internally consistent, more parsimonious, tame, and therefore more like the waking world, both over development and over a given night's sleep. Yet this is precisely the opposite of what empirical data show, wherein dreams of children are self-reported as static and uninteresting and become more interesting and surprising across development. Indeed, there is no evidence that dreams become optimized for a lack of surprise or for internal consistency over time. While the world may become more predictable over a lifetime, dreams do not. This same sort of criticism can be applied to the suggestion that the purpose of sleep is actually to implement the wake-sleep algorithm itself. In addition, this idea faces a number of other problems, such as the fact the wake-sleep algorithm is only for a specific form of unsupervised learning that trains a generative model and the brain obviously does much more than that. Furthermore, implementing the wake-sleep algorithm requires several assumptions that are not biologically realistic, like training solely feedforward or feedback connections at different times. However, it should be stressed that the background advantage posited by this approach to dreaming is its effect on model complexity, which is similar to the focus of the OBH, since reductions in model complexity in machine learning are generally associated with a reduction in overfitting. It is also worth noting that the free energy principle approach to dreaming is highly specific in how this is accomplished by the minimization of errors in a generative model's predictions of itself without inputs, rather than via how corrupted or stochastic inputs assist generalization as in the OBH. This provides evidence that the concerns of the OBH, although not the OBH itself, can be motivated by diverse takes on brain function (further discussed in “Dreams are for selective forgetting” and the Discussion). Indeed, the OBH could possibly be thought of as a generalization of the issue model complexity plays in predictive processing to all of learning and performance instead of a just for a specific self-model, and without relying on an assumed drive to minimization prediction errors as the mechanism of action (and therefore the OBH does not share the consequences of this drive like dreams becoming unsurprising over time). However, the OBH can be motivated entirely independently by common practices in deep learning, their resemblance to dream phenomenology, and the similar challenges the brain faces during its daily learning to those of training a neural network.

2-5. 夢は予知能力を高める: active inference: 積極的推論, 能動的推論」; 行動は、周囲の環境を予測しやすい状態に変化させ自分の好みの入力を得るために起きる free-energy principle: 自由エネルギー原理; 生物は感覚入力の予測しにくさを最小化するように行動を最適化する。 夢は、一般的なモデルを洗練することで、予測処理に利益をもたらす。 予測処理とは、脳が外界からの異常な感覚入力に関連して、自分自身の未来の状態を継続的に予測しようとするという考え方である。予測処理の枠組みでは、予測はトップダウン方式で行われ、感覚入力はボトムアップ方式で行われるので、予測は入力と比較され、予測誤差を最小化することが目標となる。予測誤差を最小化するには、行動や振る舞いを変える必要がある (これを"積極的推論"という)。 予測処理は、認知科学を通して見る際の一般的なレンズとなっており、ヘルムホルツ機械、統計的推論、"覚醒･睡眠のアルゴリズム "等の研究が元になっている。なお、教師なし学習のための覚醒･睡眠アルゴリズムの提案は25年前に遡り、実際、現代のオートエンコーダ[注: Neural networkの1つで、入力データを一度圧縮し、重要な特徴量だけを残した後、再度もとの次元に復元処理をするアルゴリズム]の概念の先駆けとなっている。 予測処理のアプローチは、機械学習の分野で生まれたにもかかわらず、その普遍性についての主張のために議論となっている。実際に大脳皮質が、主に自身の未来の状態に関する予測を生成するように機能しているかどうかは明らかではない。さらに、行動によって予測誤差を最小化することが、果たして普遍的な原理として理論的に整合性があるかという根本的な批判がある。例えば、生物は予測誤差を最小にするために、"暗い部屋"に座りたがらないだろう。というのは生物は常に何が起きるかを知りたいとしているから。 夢を予測処理の観点からの見方では、特定の神経生理学的な相関関係やメカニズムを主張する議論となっている。一般的に、このような理論では、夢の現象は、夢を見ている間の知覚-行動のループの崩壊によって説明される。本来、脳の活動は、ボトムアップではなく" 事前"の入力で支配される。予測処理論者の中には、夢の役割は行動に関する推論を検証することではなく、仮説された生成モデル (脳が予測を行うために使用するモデル)を改善することであり、具体的には、冗長なシナプスを刈り取ることで生成モデルの複雑さを軽減することであるという見解である。この仮説によると、レム睡眠中に夢を見る進化した目的として提案されているのは、脳の自由エネルギーを最小化することである。自由エネルギーとは、基本的には、脳のモデルの複雑さから脳の状態に関する予測の正確さを差し引いたものであり、したがって、モデルの複雑さを減らすことは自由エネルギーを最小化するために重要である。 しかし、SHY (Synaptic Homeostasis Hypothesis)は、実際には、覚醒時の活動がこの変化の影響を受けないように、特にシナプスの重みが正味で減少することを規定しており、さらに、レム睡眠や夢ではなく、NREM睡眠や徐波睡眠 (SWS) に特に関連している。注目すべきは、一般的なダウンスケーリングと、モデルの複雑性や誤差の最小化への影響、さらにはレム睡眠中に発生する可能性については、"夢は選択的忘却のためにある "のセクションで述べたように、以前から提案されていたことである。 Hobsonらの研究では、シナプスの刈り込みやスケールダウンとは無関係に、自由エネルギーの原理によれば、脳は絶えず自らの未来の状態をよりよく予測しようとしているという考えに基づいて、さらに関連した仮説が導入された。そのため、脳がボトムアップの感覚入力を欠いているとき( 即ち、夢を見ているとき) でも、脳は自由エネルギーを最小化する必要がある。つまり、予測エラーは、外界との不整合ではなく、モデルの内部的な整合性にのみ起因するため、モデルの複雑さは暗黙のうちに軽減されなければならない。この見解では、"我々は、レム睡眠は、覚醒時の経験を参照しながら、具象化された自己の生成モデルを繰り返し、最適化する機会であると提案する"。しかし一般に、夢を見ることに対する予測処理、特に能動的推論のアプローチには問題がある。夢の大部分では、エージェンシーは実際に最小化されており、最大化されていない (夢を見ている間、前頭前野の関与が減少している)。 つまり、夢は、行動の結果がそれらが生み出す認識に対して継続的にテストされる"原因の試行場"ではない。 これは明晰夢 (lucid dreaming)の場合かもしれないが、明晰夢は夢の中でも少数である。 脳の目標は常に自由エネルギーを最小限に抑えることであり、行動は夢の中で覚醒時と同じように必然的であるという仮定に頼る以外に、仮説に関するもう1つの特別な懸念は、夢の現象学が寓話作家的であり、 幻覚的で、ゲシュタルト生成モデル (経験の総和でない統一的全体; "身体化された自己"のモデル) によって予測の驚きを最小限に抑えるための適切な候補とはいえない。 その結果、入力の少ない予測誤差は、最小限に抑えられるので、その後の展開を通して脅威となることは少なくなると思われる。 このようなプロセスを経て、生成モデルは、その後の展開と一晩の睡眠の両方において、より内部的に一貫性を保つことで、より解析的で、より飼いならされたものとなり、したがって、より覚醒している世界に近いものとなるはずである。しかしこれは、子供の夢は静的で面白くないと自己申告されるが、発達の過程でより面白く驚きに満ちたものになっていくという経験的なデータとは正反対である。確かに、夢が時間の経過とともに驚きのなさや内的一貫性に最適化されていくという証拠はない。一生の内に世界は予測可能になるかもしれないが、夢はそうはいかない。これと同様な批判として、睡眠の目的は実は覚醒-睡眠アルゴリズムそのものを実装することにあるという指摘がある。また、このアイデアには多くの問題がある。例えば、覚醒-睡眠アルゴリズムは、生成モデルを学習する特定の形式の教師なし学習の特定の形式に過ぎず、脳は明らかにそれ以上のことをしている。さらに、覚醒-睡眠アルゴリズムを実装するには、異なる時間に、フィードフォワードまたはフィードバックによる学習をするなど、生物学的に現実的ではないいくつかの前提が必要となる。 しかし、この夢想法の背景にある利点は、モデルの複雑さに対する効果であり、それはOBH (Overfitted Brain Hypothesis) に着目することと同様で、機械学習におけるモデルの複雑さの減少は、一般的に過剰適合 (Overfitting)の減少と関連しているのである。 これは、OBHの関心事が、OBH自身ではなく、脳機能に関する多様な考え方に基づいていることを示す証拠となる ("夢は選択的に忘れるためにある"という議論で後述)。実際に、OBHは、予測処理におけるモデルの複雑性という問題を、特定の自己モデルに限定することなく、学習やパフォーマンス全般に一般化したものと考えられるが、作用メカニズムとして予測誤差を最小化しようとする動機に頼る必要もなくなる。(つまり、OBHは、夢が時間とともに意外性のないものにしたいという動機と共通する結論にはならない)。しかし、OBHは、深層学習や、夢の現象との類似性、脳が日中の学習中に直面するニューラルネットワークのトレーニングと同様に、共通の課題によって、全く独立した動機付けで行うことができる。

>Top 2-6. The overfitted brain hypothesis: The overfitted brain hypothesis: As technology advances, science often appropriates new technologies for metaphors that help understand complex systems. This has been particularly true of neuroscience. In the past decade it has become apparent that there are many lessons for neuroscience to be taken from brain-inspired deep neural nets (DNNs), which offer a different framework for thinking about learning than standard computer architectures. DNNs are far and away the only successful analog to human intelligence on complex tasks, and they tend to develop brain-like connectivity and representational properties, like grid-cells, shape-tuning, and visual illusions. One of the most significant differences between DNNs and the brain is that updating of synaptic weights in accordance with the backpropagation of errors has traditionally been looked on as biologically unrealistic. Yet new research reveals that the brain may implement core features of backpropagation, with viable candidates like neural gradient representation by activity differences. Therefore, there is good reason for neuroscience to look to deep learning for inspiration, since both are systems that perform complex tasks via the updating of weights within an astronomically large parameter space. It is clear that the challenges the brain and DNNs face during learning and performance on complex tasks overlap significantly. Notably, one of the most ubiquitous challenges DNNs face is a trade-off between generalization and memorization, wherein as they learn to fit one particular dataset, they can become less generalizable to others. This overfitting is identifiable when performance on the training set begins to differentiate from performance on the testing set. An omnipresent problem within the deep learning community, solutions to overfitting in DNNs most often comes in the form of a noise injection, such as making input datasets corrupted and therefore less self-similar. Perhaps the most common explicit technique to prevent overfitting is dropout, which is mathematically the injection of noise and the corruption of input during learning. Notably the more self-similar or biased your sampling of training data is, the more overfitting will be an issue. The brain faces these challenges as it learns, since what an organism experiences every day can be highly self-similar and biased in its sampling of the environment. The OBH states that dreams offer a biologically realistic “noise injection.” Specifically, there is good evidence that dreams are based on the stochastic percolation of signals through the hierarchical structure of the cortex, activating the default-mode network. Note that there is growing evidence that most of these signals originate in a top-down manner, meaning that the “corrupted inputs” will bear statistical similarities to the models and representations of the brain. In other words, they are derived from a stochastic exploration of the hierarchical structure of the brain. This leads to the kind of structured hallucinations that are common during dreams. The hallucinogenic, category-breaking, and fabulist quality of dreams means they are extremely different from the “training set” of the animal (i.e., their daily experiences). The diurnal cycle of fitting to tasks during the day, and avoiding overfitting at night via a semi-random walk of experiences, may be viewed as a kind of “simulated annealing” in the brain. That is, it is the very strangeness of dreams in their divergence from waking experience that gives them their biological function. To sum up: the OBH conceptualizes dreams as a form of purposefully corrupted input, likely derived from noise injected into the hierarchical structure of the brain, causing feedback to generate warped or “corrupted” sensory input. The overall evolved purpose of this stochastic activity is to prevent overfitting. This overfitting may be within a particular module or task such a specific brain region or network, and may also involve generalization to out-of-distribution (unseen) novel stimuli. As will be discussed, the OBH fits well with the disparate known data about dreams, such as their physiological origin in the form of noise that creates “corrupted features” via neuromodulatory influences, their role in learning, and their importance for problem solving and creativity. However, most importantly, it does not consider dreams as epiphenomena generated by some background process, and it also accounts for, and is motivated by, the actual phenomenology of dreams themselves. The sparseness of dreams comes from the “dropout” of bottom-up inputs since they are driven solely by feedback activity, their hallucinatory nature comes from the higher-up stochastic origin which means they are purposeful corrupted or warped away from the daily “training set” the organism normally experiences, and their narrative nature from the top-down genesis of dreams since the brain understands reality in the form of events and stories. That is, according to the OBH, the distinct phenomenology of dreams exists to maximize their effectiveness at improving generalization and combating mere memorization of an organisms day. The evidence for the OBH, as well as more details about its distinguishing claims, are overviewed in the following section.

2-6. 過剰適合脳仮説: backpropagation: 誤差逆伝搬法; NW上の変更可能の重みについて、誤差を傾斜を計算する; 誤差を最小化するalgorithmである確率的最急降下法 percolation: 浸透、伝搬、普及 過剰適合脳仮説 (OBH): 技術が進歩すると、科学は複雑なシステムを理解するためのメタファーを利用することが多い。これは、特に神経科学において顕著である。この10年間で、脳を想定したディープニューラルネット (DNN)が、標準的なコンピュータアーキテクチャとは異なる学習に関する考え方の枠組みを提供していることによって、神経科学にとって多くの教訓があることが明らかになった。DNNは、複雑なタスクにおいて人間の知能を模倣することに成功した唯一の例であり、グリッドセル、形状調整、視覚的錯覚のように脳に似た接続性や表現特性を持つ傾向がある。DNNと大脳の最も大きな違いの一つは、誤差のBackpropagation (誤差逆伝搬法) によるシナプス重みの更新が、生物学的に非現実的であると考えられてきたことである。しかし、最新の研究では、脳はBack-propagation の中核的な機能を実装している可能性があることが明らかとなり、その有力な候補としては、活動の違いによる神経勾配の表現が挙げられる。 そのゆえ、神経科学が深層学習にヒントを求める理由は十分にある。なぜなら、どちらも天文学的に大きなパラメータ空間で重みを更新することによって複雑なタスクを実行するシステムだからである。大脳とDNNが学習時や複雑なタスクの実行時に直面する課題は、大きく重なっていることは明らかになっている。特に、DNNが直面する最も普遍的な課題の一つは、汎用化と記憶の間のトレードオフであり、ある特定のデータセットに適合するように学習すると、他のデータに対する汎用化能力が低下する可能性がある。この過剰適合 (Overfitting)は、トレーニング セットのパフォーマンスがテストセットのパフォーマンスと差分が出たときに識別できる。深層学習の分野では様々問題となっているが、DNNの過剰適合を解決するには、ノイズの注入して、入力データセットを破棄して自己相似性を低下させるという形で行われることが多い。おそらく、過剰適合を防ぐための最も一般的な明示的な手法は、学習中のノイズの注入と入力の破壊であるドロップアウトである。 特に、トレーニングデータのサンプリングが自己相似 [Fractalのような]またはバイアスがかかるほど、過剰適合が問題になっている。 大脳は、学習中にこれらの課題に直面しているのは、生物が毎日経験することは、自己相似性が高く、環境のサンプリングにおいてバイアスがかかっている可能性がある。 OBH は、夢は生物学的に現実的な"ノイズ注入"を提供すると述べている。 具体的には、夢が皮質の階層構造を介した信号の確率的浸透に基づいており、デフォルトモードのネットワークが活性化されているという十分な証拠がある。なお、これらの信号の多くはトップダウンで発生しているという証拠が増えてきており、それは”壊れた入力”が大脳のモデルや表現と統計的に類似しているということである。それらは、脳の階層構造を確率的に探索することで得られるものである。これは、夢の中でよく見られる構造化された幻覚のようなものにつながっている。 夢の持つ幻覚性、カテゴリー破り、ファンタジー性は、動物の「訓練セット」（すなわち日常の経験）とは極めて異なることを意味する。日中はタスクに適合し、夜間は半ランダムな経験を経て過剰適合を避けるという日周サイクルは、脳における一種の「シミュレートされたアニーリング」とみなすことができる。つまり、夢が起きているときの経験とは異なる奇妙なものであることが、夢に生物学的機能を与えているのである。 夢の持つ幻覚性、カテゴリー破り、ファンタジー性は、動物の"訓練セット" (すなわち日常経験）とは極めて異なることを意味する。日中はタスクに適合し、夜間は半ランダムな経験を経て過剰適合を避けるという日周サイクルは、脳における一種の"焼きなまし法"とみなすことができる。つまり、覚醒時の経験とは異なる奇妙な夢を見ることが、ある種の生物学的機能を与えているのである。 要約すると、OBHは夢を意図的に破損した入力の形式として概念化し、おそらく脳の階層構造に注入されたノイズに由来し、フィードバックが歪んだまたは"破損した"感覚入力を生成する原因となる。 この確率的行動へ進化した目的は、過剰適合を防ぐためである。 この過剰適合は、特定の脳領域またはネットワークなどの特定のモジュールまたはタスク内にある可能性があり、分布外の (見えない) 新たな刺激の一般化を伴う場合もある。後で述べるように、OBH は、神経調節を介して"破損した機能"を作成するノイズの形での生理学的起源、学習する際の役割、問題解決と創造性の重要性など、夢に関するさまざまな既知のデータによく適合している。ただし、最も重要なことは、夢を何らかの背景プロセスによって生成された付帯現象と見なしておらず、夢自体の実際の現象を説明することで動機付けられている。 夢の希薄さは、フィードバック活動のみによって駆動されるため、ボトムアップ入力の"ドロップアウト"に由来し、幻覚の性質は、より高い確率的起源に由来する。それらは、意図的に破損しているか、日常の"トレーニング セット"から乖離している。 脳は事象や物語の形で現実を理解するので、有機体は通常経験し、夢のトップダウンの発生からの物語の性質がある。 つまり、OBHによると、夢の明確な現象学は、一般化を改善し、生物が日々の単なる記憶と闘う効果を最大化するために存在する。 OBH の証拠と、その特徴的な詳細については、次章で概説する。

>Top 2-7. Evidence from Deep Learning: Evidence from deep learning: One of the most significant, and ubiquitous, challenges any deep neural network faces is the ability to generalize beyond the dataset it has been trained on, that is, to avoid simply memorizing the dataset. There has been significant effort in the past decade by the deep learning community to develop methods and techniques to avoid overfitting on particular datasets and, at the broadest level, to allow for extrapolation to never-before-seen datasets. This section overviews three commonly used such techniques within deep learning (and research into artificial neural networks generally). Notably, each of these three techniques embodies some phenomenological property of dreams and also fits with what is known about the neurophysiology of dreaming. >Top The first technique is the data augmentation method of dropout, perhaps the most widely used technique for preventing overfitting in deep learning. Dropout occurs during the training of a network, when inputs are made sparse by randomly “dropping out” some of them, a form of regularization during learning which is mathematically similar to a noise injection. It is important to note that dreams resemble dropout in their spareness, as they do not contain as much perceptual information, or details in general, as waking experiences. For example, phones are generally unusable in dreams because there is not enough phenomenological detail to support such small icons and text. This likely increases the salience of relevant features while minimizing irrelevant features, assisting in generalization by making representations more robust and invariant, since one reason dropout is successful is that it acts like an averaging effect over different models the data could be drawn from. Dreams are a lesser or weakened state of conscious experience because of this dropping out of bottom-up stimuli, lacking much of the detail of waking conscious experiences. This, according to the OBH, actually assists, rather than hinders, their function. >Top The second technique that supports the OBH is the method of domain randomization used in training DNNs. In domain randomization, the inputs during learning are “randomized” in the sense of being warped or corrupted in particular ways. This can drastically assist with learning and generalization. Paradoxically, simulating hallucinatory inputs rather than learning off of real inputs helps deep neural networks learn real-world tasks. Domain randomization has have been used in cutting-edge techniques in deep learning, such as being necessary for having a DNN solve a Rubik's Cube using a robot hand. Domain randomization resembles the hallucinatory quality of dreams in that dreams depart significantly from normal experiences, as if they have been randomly drawn from a varied set of different domains. >Top The third common practice in deep learning that has ties to dreaming is the use of some generative model to expand the training set of the neural network, which can assist in learning various tasks. Generative models lie behind the success of generative adversarial networks (GANs) and other techniques that allow for cutting-edge performance on complex tasks using sets of feedforward networks that anticipate the other's output. >Top It is worth noting that GANs and others often produce notoriously dream-like fabulist outputs. Indeed, recently an external generative model that created “dream-like” input helped train a DNN to produce the code behind a given mathematical mapping. It has been shown that input created from a generative model can indeed assist with learning, such as preventing catastrophic forgetting. It should be noted that in most these cases the generative model exists outside the network itself, which is not biologically realistic in the case of the brain, although there are some exceptions. What of those cases where the network itself acts the generative model? This is much closer to the case of the dreaming brain. In networks that are not purely feedforward or have external models that can be manipulated by experimenters, the stimulation of higher layers (generally through the injection of noise) can lead to patterns of activity in the lower layers that recapitulate the statistical properties of inputs, as if the network were being stimulated from the bottom-up from imaginary sources (this is similar to the wake-sleep algorithm discussed in “Dreams benefit predictive processing by refining generative models”). This is likely the case in the brain, wherein stochastic activity high in the hierarchy of brain regions creates hallucinatory patterns of inputs via feedback connections. Indeed, it is likely the case that dreams are indeed a result of noise in the brain's hierarchical structure that traverses its feedback connectivity, which fits with the evidence that dreams are “top-down.” This further fits with evidence that dreaming drawn from the brain's model of the world becomes more narrative and complex over time, particularly during adolescence. By adulthood, dreams take on the narrative structure of human cognition wherein stories and metaphors and events make up the core function of thought. Since narratives are the way by which human brains understand the world, stochastic stimulation of the hierarchical structure of the brain produces narratives, which act as hallucinatory and sparse bottom-up input for learning, thus combating overfitting and improving generalization. In this way they are a direct expansion of the normal “training set” of an animal, since narratives and events are how conscious perception itself proceeds and understands the world. The OBH claims that dreams resemble a combination of these three techniques: a sparse, corrupted, or randomized set of sensory inputs, which are likely created by feedback exploiting the hierarchical nature of the brain as a generative model, and the purpose of these experiences is to expand and regularize the limited and biased “training set” of the organism to prevent overfitting. Of course, the precise implementation of these techniques (such as their combined nature) must be different for the brain than in deep learning research. This is because the brain faces many challenges that artificial neural networks do not. Any organism that implemented dropout or domain randomization during its daily learning would face serious survival issues. Therefore, in order to increase generality and avoid overfitting and pure memorization of waking sensory input a dedicated offline period is needed. Sleep, possibly having originally evolved for other housekeeping reasons, is the perfect time. Overall, the overlap between the phenomenology of dreams and common methods in the field of deep learning for mitigating overfitting, avoiding pure memorization, and assisting generalization lend credence to the idea that the evolved function of dreaming is for precisely these purposes.

2-7. ディープラーニングからの証拠: top-down processing: ⇔bottom-up 〜; 書き手の意図やテキスト全体に注意を払いながら読み進める読み方 generative adversarial networks (GAN): 正解データなしの教師なし学習の一手法; 2つのnetworkを競わせながら学習させるarchitecture; 従来の生成モデルより鮮明で本物らしい; →DCGAN=Deeo Covolutonal GAN, 意味をなさないデータをなくす工夫; 偽札作りの場合のGenerator (偽造者)とDiscriminator (警官)の関係 feedforward: ⇔feedbackの着眼点が過去の問題･欠点中心であるのに対し、feedforwardは、未来の解決に向けての手段・方法の提案が中心; control of a process using anticipated results or effects ディープラーニングからの証拠: ディープ･ニューラルネットワークが直面する最も重要かつ普遍的な課題の 一つは、トレーニング対象のデータセットを超えて一般化する能力、つまり、データセットを単に暗記することを避ける能力である。 過去 10 年間、深層学習コミュニティは、特定のデータセットへの過剰適合を回避し、最も広いレベルで、それまでに見たことのないデータセットへの外挿を可能にする方法と技術を開発するために多大な努力を払ってきた。この章では、ディープ ラーニング (および人工ニューラル･ネットワーク研究全般) 内で一般的に使用される 3 つの手法の概要を説明する。 特に、これらの 3 テクニックはそれぞれ、夢の現象学的特性を体現しており、夢の神経生理学について知られていることとも一致している。 1つ目の手法は、ドロップアウトのデータ拡張方法であり、おそらくディープラーニングで過学習を防ぐために最も広く採用されている手法である。 ドロップアウトは、ネットワークのトレーニング中に、入力の一部をランダムに「ドロップアウト」して間引くときに発生する。これは、数学的には、ノイズ注入に類似した学習時の正則化の一種である。夢は覚醒体験ほど知覚情報や一般的な詳細情報を含んでいないので、夢は間引き度においてドロップアウトに似ていることに留意することが重要である。 たとえば、電話は夢の中では一般的に使用されない。そのような小さなアイコンやテキストをサポートするのに十分な現象学的詳細がないためである。 ドロップアウトが成功する理由の 1 つは、データが引き出される可能性のあるさまざまなモデルでの平均化効果のように機能するため、これによって関連のない特徴を最小限に抑えながら、関連のある特徴の顕著性が高まり、表現をより堅牢で不変にすることで一般化が可能となる。夢は、ボトムアップの刺激が失われるため、意識体験の状態が低下し弱まり、目覚めた意識体験の詳細がほとんど欠けているためである。 OBH によると、これは実際にその機能を妨げるのではなく支援する。 2 番目の手法は、OBH をサポートするDNN のトレーニングで使用されるドメイン ランダム化の方法である。 ドメインのランダム化では、学習中の入力は、特定の方法でゆがんだり破損したりするという意味で"ランダム化"される。 これは、学習と一般化の面で大いに役立つ。逆説的だが、実際の入力から学習するのではなく、幻覚入力をシミュレートすることは、ディープ･ニューラルネットワークが現実世界のタスクを学習するのに役立つ。 ドメイン･ランダム化は、ロボット･ ハンドを使用して DNN (Deep Neural Network)にルービック キューブを解決させるために必要で、ディープ･ラーニングの最先端技術で使用されている。 ドメイン･ランダム化は、夢の幻覚性に似ており、夢が通常の経験から大きく逸脱し、あたかも様々なドメインからランダムに抽出されたかのように見える。 3 番目の一般的な手法は、夢を見ることに関連する深層学習の 、生成モデルを使用してニューラル ネットワークのトレーニング セットを拡張することです。これは、さまざまなタスクの学習に役立ちます。 生成モデルは、敵対生成ネットワーク (GAN) の成功の背後にあり、他の手法の出力を予測するフィードフォワード ネットワークのセットを使用して、複雑なタスクで最先端のパフォーマンスを可能にします。 3つ目の共通点は、夢と結びついた深層学習の何らかの生成モデルを使ってニューラル･ネットワークの学習セットを拡張し、さまざまなタスクの学習を支援することである。生成モデルは、相手の出力を予測するFeedforward Neural Network (順伝播型ニューラルネットワーク)のセットを用いて複雑なタスクの最先端のパフォーマンスを実現する敵対的生成ネットワーク(Generative Adversarial Network, GAN) などの成功の背景にある。 GANなどでは、悪名高い夢のような寓話的な出力がしばしば生成されることに注目したい。実際、最近、"夢のような"入力を生成する外部の生成モデルが、DNNを訓練して、与えられた数学的マッピングの背後にあるコードを生成するのに役立ったという。生成モデルから作られた入力は、破滅的な忘却を防ぐなど、実際に学習の助けになることが示されている。ただし、これらのケースのほとんどは、生成モデルがネットワークの外に存在しており、例外はあるが、脳の場合は生物学的に現実的ではないことに留意しなければならない。ではネットワーク自体が生成モデルの役割を果たす場合はどうなるか？これは夢見る脳の場合に非常に近い。 純粋なfeed forward ではないネットワーク、または実験者が操作できる外部モデルを持つネットワークでは、上位層の刺激 (通常はノイズの注入による) により、入力の統計的特性を再現する下位層のアクティビティパターンにつながる可能性がある。 ネットワークが架空のソースからボトムアップで刺激されている場合 (これは"夢は生成モデルを洗練することで予測処理に利益をもたらす"で説明されている覚醒-睡眠 アルゴリズムに似ている)。これは、脳においても同様で、脳領域の高い階層にある確率的な活動が、feedback接続を介して、幻覚的な入力パターンを作り出していると考えられる。 確かに、夢は脳の階層構造のノイズの結果であり、そのフィードバック接続を通過している可能性が高く、さらに夢が"トップダウン"であるという証拠と一致している。 これは、夢が世界の脳のモデルから引き出され、特に思春期の間、時間経過により物語的で複雑になるという証拠とさらに一致する。大人になるまでに、夢は人間の認知の物語構造を帯びて、物語や隠喩、出来事が思考の核となる機能を形成する。物語は人間の脳が世界を理解する方法であるため、脳の階層構造の確率的刺激によって物語が生成され、学習のための幻覚的でまばらなボトムアップ入力として機能し、さらに過剰適合と闘い、一般化を改善する。このような方法は、動物の通常の"トレーニングセット"を直接拡張するものである。というのは、物語や出来事は、意識的な知覚がどのように進行し、世界を理解するかによるからである。 OBHは、夢はこれら3つの手法の組み合わせに似ていると主張している。即ち、まばらで破損したランダムな感覚入力のセットは、脳の階層的性質を利用したフィードバックによって作り出された生成モデルの可能性が高く、また、これらの経験の目的は、 過剰適合を防いで、生物の限られた、偏った”訓練セット"を拡張し、規則化することにある。当然ながら、これらの (組み合わせた性質も) 手法の正確な実装は、脳に対する深層学習の研究とは異なる必要がある。 これは、人工ニューラル･ネットワークにはない多くの課題に脳が直面しているからである。 これは、人工ニューラル･ネットワークにはない多くの課題に脳が直面しているからである。 毎日の学習中にドロップアウトまたはドメインのランダム化を実装した生物は、生存に関する深刻な問題に直面することになる。 それゆえ、一般性を高め、過剰適合を回避し、覚醒時の感覚入力の純粋な記憶を回避するために、専用のオフラインの期間が必要となる。 睡眠は、おそらく他の円滑な維持の理由で進化した可能性があるが、このための完璧な時間となる。全体として、夢の現象学とディープラーニングでの一般的な方法は、過剰適合を軽減し、純粋な記憶を回避し、一般化を支援するという分野で重複している。夢の進化した機能がまさにこれらの目的のためであるという考えに信憑性を与える。

Comment

Humans spend for sleeping about one third of their lives; if sleeping has no significant meaning for life, its time would be only wasteful or redundant. Labor is generally paid for working hours during awakening. If sleeping is essential for survival, the labor unit price were calculated lower accordingly. Research of dreams is accelerated by the rapid advancement of AI technology; new theories and experiments are about to take place.

人間は人生の約1/3を睡眠に費やしている。もし、睡眠が、声明にとって重要な意味を持たないとすれば、その時間は単に無駄あるいは冗長的ということになる。 労働は、一般的に覚醒時間中の労働時間の対価として支払われる。しかし、睡眠が生存上、必須であるので、労働単価は、その分低く計算されていることになるのではないか。 夢の研究は、最近のAIの進歩によって加速しており、新たな理論と実験がまさに行われようとしている。