거의 모든 것의 마니아

※ 학습 노트

학습 시작 2021년 7월 4일

학습 사이트 Coursera(코세라) 평점 4.8

과정 제목 Learning How to Learn: Powerful mental tools to help you master tough subjects

학습 시간 비디오 3시간, 연습문제 3시간, 보너스 자료 3시간 

강사 Barbara Oakley, Dr. Terrence Sejnowski

학습일기 2021년 7월 18일

어제 week2를 시작하려는 마음으로 코세라를 들어갔는데, week1의 부록으로 인터뷰가 3개나 있었다. 

처음부터 목차를 제대로 봤어야 했는데 하나 보고 또 하나 나와서 당황하고 

두 개 보고 또 하나 나와서 당황하는 식으로 세 개를 봤다 ㅋㅋㅋ

인터뷰 하나하나가 본 과정의 영상 클립들보다 길었는데 다행히 다 재미있었다. 다만 week2는 시작을 못함

오늘합니다!

그 전에, week1에 대한 소감을 남기고 싶다. 학습자로서. 교육을 담당하는 사람으로서.의 생각이 혼재되어있다. 

자는 동안 뇌세포가 축소하면서 통로가 생기고 그때 독소가 씻겨나간다는 것, 전두엽이 쉬면서 뇌의 나머지 부분이 배운 것을 정리한다는 것, long term memory가 저장되는 뇌는 대형 마트 창고와 같아서 어딘가에 있는 기억을 찾아가는 것을 반복적으로 해야 나중에 필요할 때 쉽게 찾아갈 수 있다는 것, 사람의 뇌세포는 살면서 생성되기도 한다는 것, 그것이 운동할 때 라는 것--- 두둥!---이 신기해서 주변 친구들한테 아는 체했고, 다들 흥미로워했다.

대학원을 가거나 자격증 공부를 하지 않아서 정형화된 새로운 지식은 업무를 위해 리서치를 하다 알게된 정도였는데, 새로운 것을 알게되는 것이 즐거웠던 것 같다. 인스타나 유투브에 다양한 정보가 많지만, 보다 공신력있는 지식을 전달하는 느낌이었다. 물론, 이러한 이론들도 학자들마다 다른 의견을 가지거나 후에 달리 밝혀질 수도 있겠지만.

친구들에게 말하면서 내가 관심있게 들은 주제는 이거였구나, 한 번 더 인지하게 된다. 두 번, 세 번 말할 때 이전보다 정리되는 기분이다. 새로운 것을 배울 때, 배운 것을 요약해서 옆에 말해보도록 하는 방식은 효과가 있을 것 같다. 다만, 자발적으로, 정말 흥미 진진하지? 하는 심정으로 말할 때와는 효과가 다르겠지만.

주변에 알려주는 것에 재미를 느끼면 그 다음 내용을 공부하면서 친구들에게 말하고 싶은 내용을 찾게되기도 한다. 그래서 보다 집중하게 된다. 다만, 이 부분은 학습자의 성향에 따라 다를 수 있겠다는 생각이 든다. 

무엇이든 다만, 이 붙는군...!  

아무튼, week2 시작

Introduction to Chunking (1:08)

- 배울 것에 대한 예고

- chunk (compact packages of information that your mind can easily access)를 어떻게 만들 것인지,
  chunk를 이해, 창의력, 시험을 잘 보기 위해 어떻게 활용할 것인지, 

- illusions of competence in learning 비효과적인 방법으로 학습해서, 학습하고 있다고 생각하지만 시간 낭비하고 있을 때, 어떻게 해야할지

- overlearning, interleaving 

ingrain 깊이 베어든, 타고난, 염색한

rut 바퀴자국

interleaving (특히 얇은 막 같은 것을) 끼우다.

What is a Chunk? (6:05)

- Chunk는 의미와 사용에 따라 묶이는 정보임

- 순조롭고 효과적으로 생각하거나 행동하도록 하는 뉴런 네트워크

- 작은 청크가 커지면서 전문 지식으로 이르게됨. 전문 지식들은 해당 영역의 마스터가 되기 위해 할 수 있는 다양한 해석의 근거가 됨

- 한 번 아이디어, 개념, 행동을 청킹하고나면, 모든 세부 사항을 기억하지 않아도 메인 아이디어, 즉 청크로 충분해짐

shimmering 희미하게 빛나다, 어른거리다

scintillating 재기넘치는

rote 암기

firing 발사, 발포

underpin (주장 등을) 뒷받침하다

swirl 빙빙돌다

How to Form a Chunk - Part 1 (5:07)

- 작은 청크를 하나씩 만든 후에 그것들을 짜맞추어 점점 큰 청크를 만들어감

stringing 묶다

extemporaneous 즉석의

How to Form a Chunk - Part 2 (7:09)

- 청킹의 1단계: 청킹하고자 하는 정보에 분산되지 않는 집중력

working memory는 한번에 작동하는 한계가 있기 때문에 핸드폰을 보거나 TV를 보며 집중력을 잃으면 새로운 정보를 청킹을 하는데 어려움

- 청킹의 2단계: 청킹하고자 하는 것에 대한 기본 아이디어 이해 

- 청킹의 3단계: context 확보.
context는 관련 있거나 없는 문제들을 반복하고 연습하면서 초기에 마주한 문제를 더 넓은 관점에서 보는 것
청크를 어떻게 만드는지 뿐만 아니라 언제 사용할 수 있는지 알 수 있음 

학습은 bottom-up에서 청크를 만들어가는 것과, top-down으로 큰 그림을 보며 배운 것들이 어디에 fit-in하는지 보는 과정이고, context는 이 둘이 만나는 곳

tentacle 촉수 

continental drift 대륙이동설

synthesize 합성하다

gist 요지

Illusions of Competence (8:31)

- recall, mini-testing, 실수의 중요성

- 책을 학습할 때 가장 전형적인 접근은 책을 다시 읽는 것(반복 읽기)인데, 책을 읽은 후 방금 읽은 내용을 상기시켜는 것이 더 생산적!

- 개념 지도나 다이어그램을 그려 컨셉간의 관계를 그리는 것이 제일 좋음. 하지만 기본 개념을 알기 전에 그림부터 그리는 것은 도움이 안됨 

- 새로운 것을 학습 할 때 working memory의 모든 slot을 사용하는데, 청크를 만들면, 여러 개의 정보가 하나의 slot을 사용하게되면서 다른 slot에 여유가 생김

- 개념을 청킹한 후에는, 새로운 개념을 연결하기가 더 쉬워지는데, 이는 하나의 working memory slot에 큰 웹페이지 하이퍼 링크를 다는 것과 같아짐 

- 다른 사람이 하는 것을 보고, 아 저렇게 하는구나 이해하는 것은, 학습 능력의 착각임. 직접 시도해보고 행동해야함

- 책을 보면서 밑줄을 긋거나 하이라이팅하는 것 역시 비효과적이며 심지어 손 동작을 많이 하면서 스스로 이해했다고 착각하게 만듬. 메인 아이디어가 뭔지 더 집중하고, 한 문단에 하나 또는 그보다 적게 밑줄을 긋고, 여백에 내용을 종합 요약하는 방법이 더 좋음  

- 더 큰 시험을 치루기 전에 스스로 작은 시험을 치루면서 학습한 내용을 recall하고 실수를 통해 바로 잡아가는 것 매우 효과적 

- recall을 할 때에는 평소에 학습을 하는 장소가 아닌 다른 장소에서 하는 것이 도움이 됨. 익숙한 학습 환경은 알지 못하는 사이에 단서를 주기 때문에 recall이 쉽게 될 수 있는데 보통 시험을 치루는 곳은 평소 학습을 하는 곳이 아님. 환경적 단서가 없는 곳에서 여러번 recall을 하면 장소와 상관없이 독립적인 지식을 확보할 수 있음 

retrieval 되찾아옴, 회수

strand 가닥

dangling (달랑) 매달리다

subliminal 알지 못하는 사이에 영향을 미치는 

※ 학습 노트

학습 시작 2021년 7월 4일

학습 사이트 Coursera(코세라) 평점 4.8

과정 제목 Learning How to Learn: Powerful mental tools to help you master tough subjects

학습 시간 비디오 3시간, 연습문제 3시간, 보너스 자료 3시간 

강사 Barbara Oakley, Dr. Terrence Sejnowski

A procrastination preview (2분)

- 하기 싫은 일을 생각하면 고통과 관련한 뇌 영역이 활성화되는데, 
- 막상 시작하면 부정적 자극이 금방 사라지는 것으로 확인됨 

- 해결 방법: 타이머를 25분 맞추고 모든 방해물을 없애고 집중하면 됨

- 대부분의 사람들은 25분 집중할 수 있음

- 스스로 25분마다 약간의 보상을 주면 됨 (커피, 스트레칭, 잡담 등)

procrastination 미루는 버릇

Practice Makes Permanent (6분)

- 수학이나 과학이 더 어렵다고 생각되는 이유는, 추상적인 개념이고 삶과 유사한 부분이 없어서임
  (반대적인 예시로 '소'라는 단어를 학습 할 때는 '소'라는 대상을 가르킬 수 있는데 수학의 기호들은 그렇지가 않음)

- 뉴런은 반복된 사용으로 서로 연결됨
- 추상적인 것일수록 그 아이디어를 현실로 끌고 오는 것을 연습하는 것이 중요함 

- 추상적인 아이디어라도 신경 패턴은 실제하고 구체적으로 될 수가 있음

- 신경 패턴은 연습을 통해 만들어지고 강해지며, 관련된 문제까지 연습하면 패턴이 진해지며 영원해짐 

belligerent 적대적인

flunk 낙제하다

downright (부정적이거나 불쾌한 것을 강조하여) 순전한

grenade 수류탄

in the greater/grand scheme 종합적인 관점에서

analogous 유사한 노트

down cold 완벽히 터득하여

seeming 겉보기의 

cramming 부당 요금 부과

jumble 뒤섞다

Inotroduction to Memory (4분)

- long term memory: 이미 알고 있는 방정식과 언어를 떠올리기 위한 메모리 

- working memory: 컨셉을 이해하고 문제를 해결하기 위한 메모리

- working memory는 전두엽 피질에서 담당함

- 예전에는 working memory에 7개 정도의 청크를 보유한다고 생각했지만,

  현재는 4개 정도의 청크를 유지할 수 있다고 믿고 있음

- working memory는 비효율적인 칠판과 같아서, 여러번 반복적으로 기억해야 저장이 됨

- long term memory는 (엄청 넓고 큰) 창고형 매장 같아서 기억이 여기저기 흩어져있음

- long term memory에 있는 기억은 여러 번 반복해야 찾아야 나중에 필요할 때 어디있는지 알 수가 있음

- 새로운 것을 배울 때 working memory를 사용하다가 long term memory로 옮길때는 시간과 연습이 필요

- 이때 '간격을 둔 반복' 기술을 써야 하는데. 새로운 어휘나 문제 해결을 배울 때 하루에 여러 번 반복하는 것보다 여러 날 동안 같은 횟수를 반복해야함. 이것은 벽돌을 쌓을 때 벽돌 사이의 모르타르가 마르는 시간을 줘서 단단하게 쌓일 수 있도록 하는 것과 같이 시냅스의 연결을 단단하고 강하게 하는 것임  

prefrontal 전두엽

cortex 피질

dissipating 소멸하다

The importance of Sleep in Learning (3분)

- 깨어있는 동안 뇌는 독성 물질을 생성함

- 수면 상태에서 뇌세포가 축소하면서 공간이 생기고 이때 길이 만들어져서 독성이 씻겨나감

- 자는 동안 뇌는 메모리의 덜 중요한 부분을 지우고 동시에 기억해야하거나 기억하길 원하는 것을 강하게 함

- 배우면서 가장 힘들었던 부분을 리허설하고 반복하여 신경 패턴을 깊고 강하게 함 

- 전두엽이 쉬면서 다른 뇌가 더 활성화되도록 하는 것임  

metabolic 물질 대사의

Interview with Dr.Terrence Sejnowski (14분)

- learning by doing, learning by osmosis  

- 지루한 강의에 집중하는 방법은? 질문을 하고, 자주 끼어들고, 적극적으로 참여함

- 조깅은 새로운 아이디어를 떠올리는데 좋음. 샤워를 하며 까먹기 전에 떠오른 생각을 노트에 적어둠

- 풍부한 환경 (자극이 되는 사람들, 다양한 활동)은 새로운 뉴런을 만들기도 함. 풍부한 환경이 없을 때는 

  운동 역시 새로운 뉴론을 증가시킴

get into the thick of it 깊숙이 들어가다

osmosis 삼투

waylay 불러세우다

evaporate 증발시키다

hubbub 왁자찌껄한 소리

hippocampus 해마

impoverished 빈곤한

avid 열심인

onslaught 맹공격

Optional Interview with "Benny the Irish Polyglot" about Learning Languages

- Benny Lewis 인터뷰 (해킹 언어 연습 테드 강연을 한 듯)

- 아이들은 어른들과 다르게 실수를 두려워하지 않고 언어와 놀 줄 안다는 점에서 성인보다 유리

- 완벽한 문장을 만들지 않아도 사람들은 알아들 수 있다

- 자기만족적 예언 (나는 성인이라서 언어를 배우는데 한계가 있을거야)는 스스로를 그렇게 만든다.

- 헨리 포드는 whether you think you can or think you cant, you're right라는 말을 함

- 사람들은 다른 사람이 여러 개의 언어를 잘할 경우, 그 사람은 여행을 다닐 처지가 되거나, 교습을 받을 기회/돈이 있거나, 타고난 언어 DNA가 있어서라고 생각하지만, 모든 사람은 비슷한 이점과 제약이 있다. 

- Benny의 언어 공부 실패 경험: 스페인어를 배울 때 반지의 제왕 한 권을 사전을 찾아가며 다보면 스페인어에 유창할 것이라고 생각했으나, 2페이지를 보는데 일주일이 걸림. 700페이지를 읽으려면 10년은 걸리겠다는 생각이 들었음. 실패를 한 번하고 나면 나는 언어 공부와 안 맞는다, 고 생각하며 언어 공부 포기를 하는데, 잘못된 것은 방법이기 때문에 다른 방법을 찾아가면 된다.

- 독일어로 테이블을 뜻하는 tisch를 외울 때 tisch-table을 반복하여 학습하면 tisch를 읽거나 들을 때는 table과 연결되지만, 테이블을 말하고 싶을 때에는 tisch와 대칭되는 것이 없다. 이때는 tissue로 만든 테이블에 음료를 얹었는데 table이 무너져서 음료가 다 쏟아지고, tissue를 써서 닦는-장면을 상상한다. 그러면 이후에 독일어로 table을 말하고 싶을 때 쉽고 빠르게 연상되는 이미지가 생긴다. 연상을 몇 번 반복하여 하다보면 나중에는 굳이 연상을 하지않아도 자연스럽게 사용하게된다. 

- memrise.com 을 방문하면 사람들이 가장 좋아하는 mnemoic을 투표해놓은 것을 참고할 수 있음

- 혹은 반복을 통해 학습하고 싶으면 anki 라는 앱을 추천함

prophecy 예언

immersion 몰두, 몰입

woe 고민, 문제

exert (권력.영향력을) 가하다, 있는 힘껏 노력하다

rote 암기

asymmetrical 비대칭적인

symmetrical 대칭적인

latch 자물쇠

mnemonic 연상기호

tonal 음색의

Optional Interview with Dr. Robert Bilder on Creativity and Problem Solving

- Dr.Robert Bilder 인터뷰 (창의력)

- 성격 요소인 openness, conscientiousness, extroversion, agreeableness, neuroticism 중 창의력과 상관관계가 있는 것은 openness와 agreeableness가 있는데, agreeableness는 낮을 수록 창의력이 높음

- 학습하는 방법: zooming in & out

conscientiousness 성실성

extroversion 외향성

agreeableness 기분 좋음

neuroticism 신경증적 성질

counter intuitive finding 반 직관적인 발견

push the envelope 한계를 초월하다

sesquipedalian 길고 어려운 말

mind blowing 너무나 신나는

subatomic 원자보다 작은

octopus of attention 무엇인가에 집중할 때 working memory의 4개 슬롯에 촉수를 꽂는 것. 뇌의 다양한 영역에 있는 정보를 연결 

intersecting gyres, cones 교차하는 회랑, 원추체

Optional Interview with Writing Coach Daphne Gray-Grant

- Daphne Gray-Grant (글쓰기), www.publicationcoach.com  

- diffuse mode에서 창의적인 글쓰기, focus mode에서 편집. '운전자는 하나'이듯 둘을 같이하면 안되는데, 사람들은 같이 하려고 함 

- 따라서 mind mapping을 추천. mind mapping을 할 때는 종이를 준비해서 가로로 놓는 것이 중요. 세로로 놓을  때는 리스트를 쓰거나 아웃라인을 그리고 싶어짐. - 가운데 주제를 쓰고 글자에 동그라미를 그린 후 이후에 생각나는 것을 작성하면 됨. 사람들의 기억력은 생각보다 좋아서 단어 두어 개로 기억을 떠올릴 수 있음

- 글을 쓰면서 편집을 하고 싶은 마음이 자꾸 들면 컴퓨터로 글을 쓸 때 모니터를 가리거나, 꺼버리는 것도 방법

- Write or Die 사이트(writeordie.com) 추천. 작성하고 싶은 단어 수나 시간을 설정하면 글을 작성할 때 빈 화면이 나옴. 타이핑을 멈추면 화면의 색깔이 바뀌다가 우는 아이, 자동차 견적, 70년대 디스코 뮤직 등의 벌칙 소음이 들림. 작성 중에 편집하는 버릇을 고칠 수 있음

hone 연마하다

flies in the face 반대하다

down playing 대단치않게 생각하다

wary 경계하다

equation 방정식, (여러 가지 요소들을 고려해야 하는) 상황

allude 암시하다

※ 학습 노트

학습 시작 2021년 7월 4일

학습 사이트 Coursera(코세라) 평점 4.8

과정 제목 Learning How to Learn: Powerful mental tools to help you master tough subjects

학습 시간 비디오 3시간, 연습문제 3시간, 보너스 자료 3시간 

강사 Barbara Oakley, Dr. Terrence Sejnowski

Introduction to the focused and diffuse modes

- 사고의 두 모드가 있음 Focused 모드 & Diffuse 모드

- Focused 모드는 간단한 계산, 문학 비평, 전자기 흐름 등 익숙한 문제를 해결할 때 사용

- Diffuse mode는 새로운 사고 패턴, 다른 방식으로 사고할 때 사용 

- 두 가지 모드를 동시에 할 수는 없는 것으로 밝혀짐

along the way 그 과정에서

condense 응결시키다

Using the Focused and Diffuse Modes--Or, a Little Dali will do You

- 살바도르 달리는 의자에 느긋하게 앉아 마음이 가는대로 두며,

  기존에 집중해서 생각하던 것을 멍하니 생각함

- 손에 열쇠를 들고 있다가 잠에 빠져서 바닥에 떨어지면 소리에 깨서

  Diffuse 모드에서의 새로운 생각들을 Focused 모드로 다시 불러일으킴

- 에디슨도 비슷한 방식으로 사고함

- 새로운 것을 배울 때는 Focused 모드와 Diffuse 모드를 왔다갔다해야함

- 비유, 예시는 학습에 도움이 됨

- 새로운 것을 배울 때는 근육을 키우는 것처럼 시간을 두고 단계적으로 해야 함

analogous 유사한 

fiend 악마같은 사람, ...광

neuro scaffold 

grapple with ~을 해결하려고 노력하다

assimilate (아이디어나 정보를) 완전히 이해하다. [소화하다]

What is Learning

- 뇌는 3파운드 정도 되지만, 몸의 다른 기관에 비해 10배의 에너지를 씀

- 과거에는 뇌가 성장하고 나면, 시냅스 강도는 학습에 의해 조절가능하지만,

  연결 패턴은 뇌손상이 있지 않는 이상 바뀌지 않는다고 보았음  

- 그러나 지금은 뇌 연결이 다이나믹하고 성장한 이후에도 그렇다고 알고 있음 

- 뉴론을 연결하는 시냅스는 끊임없이 생기고 사라짐

- 그러므로, 자고 나면 당신은 더 이상 같은 사람이 아닌 것임

- 셰익스피어의 맥베스가 불면증을 한탄하는 장면을 보면 세익스피어가 이 사실을 이미 알고 있었다는 것을 알 수 있음

  "걱정이라는 뒤엉킨 실타래를 풀어주는 잠, 하루하루 삶의 위안이며, 고된 노동의 목욕탕이고, 상처받은 영혼의 진정제이며, 위대한 자연의 두 번째 과정이고 삶이란 축제에 가장 중요한 영양을 공급하는 그 잠 말이지"

  즉, 잠은 낮 동안의 흐트러진 경험과 걱정의 실타래를 기워서 인생 스토리의 태피스트리를 만들어줌

dendritic 수상의(나무처럼 가지가 있는 형상)

spiny 가시가 있는

knob 손잡이

coming off 벗어나다

intriguingly 흥미를 자아내어

lament 애통하다

knit up 깁다, ...을 원상태로 하다

raveled sleeve of care 뒤죽박죽인 근심

weave into 짜서 ...을 만들다

추가 사이트 brainfacts.org

프로그램

강사

도서

온라인영상

SK그룹 SUNI

디지털 교육 설계를 위해 디지털 관련 개념을 이해해보기로 한다 ㅋㅋㅋㅋㅋㅋㅋ

디지털이라니 좋지만 싫을 것 같다. 싫지만 좋을거야 ㅠ-ㅠ 

※ 학습 노트

어려운 머신러닝, 쉽게 설명해드려요

* 머신러닝이란 : 만들고 싶은 목표가 있고, 만드는 방법을 모르는 상황에서

                      해결 방법을 사람이 제시하는 것이 아니라 기계가 직접 시도하는 것을 반복한 후 적합한 방법을 만들도록 하는 기술

* 머신러닝 3요소 : 1) 경험 2) 성능지표 3) 작업목표 >> 3요소를 반복하며 정답에 가까워지는 것 

* 머신러닝이 인공지능의 핵심 기술인 이유

  - 인간이 지능을 재현하려는 인공지능은 방법은 모르지만 결과를 알고 있음

  - 기존 컴퓨터는 프로그래밍을 통해 일일이 방법 하나하나를 코딩해줌

  - 머신러닝은 컴퓨터 스스로 데이터를 학습해서 결과물을 만들어냄 

* 소프트웨어 1.0 vs 소프트웨어 2.0

- 사람이 프로그래밍을 해주는 소프트웨어 1.0 

- 기계 스스로 데이터를 통해 점점 발전하는, 소프트웨어 2.0 

머신러닝을 실전에 적용하려면?

* 머신러닝의 5단계

1단계 데이터 수집 (collecting)

2단계 데이터 전처리(preprocessing) : 각기 다른 크기와 구도를 가진 데이터를 최대한 같은 포멧을 갖추도록 처리하는 과정

         - 많은 경우 어떤 데이터가 어떤 결과물을 만드는지 패턴을 알려주는 과정인 레이블링(labeling)이 필요

3단계 피처추출(feature extraction): 작업 목표와 관계없는 불필요한 피처들을 버리고 중요도에 맞게 적절히 재구성하는 과정

        - 딥러닝: 데이터를 쏟아 부어 피처 추출을 머신러닝에 맡기고자 하는 기술

4단계 학습 (training)

5단계 검증(validation)

딥러닝의 원리를 알아봅니다 (Feat.CNN)

* 머신러닝 차원의 저주: 데이터의 차원 (피쳐)의 수가 늘어날수록 필요한 데이터의 량은 제곱으로 많아짐 

* 머신러닝 차원의 저주를 해결하기 위한 딥러닝 단계 

  CNN(Convolutional Neural Network) 이미지 필터링, 샘플링 반복 >> 저차원의 필터 생성 >> 여러 레이어 생성 >> 예측

◆

[추가 영상] 머신러닝, 1시간으로 입문하기

* What is machine learning

  A computer program is said to learn from experience E with respect to come class of tasks T and performance measure P,

  if its performance at tasks in T, as measured by P, improved with experience T - T.Michel(1997)

(예시) 축구 게임 전술을 위한 프로그램

         T: 축구 게임에서 승리

         P: 골

         E: (x) 선수들의 움직임 (y) 평가

* Machine learning process

1) Select a parametic / nonparametic model

2) Set a performance measurement including regularization term

3) Training data(optimizing parameters) until validation error increases

4) Evaluate the final performance using test set

* Non parametric model: 모델없이 알고리즘을 자동으로 찾도록 하는것, 단점으로는 샘플이 훨씬 많이 필요함

  - Support Vector Machine: 분류 규칙을 찾는 기법

  - Gaussian Process Regression

마지막 몇 분은 아예 모르겠는 부분...ㅋ 그냥 꾸역꾸역 들어보았다 ㅋ

◆

[추가 영상] 머신러닝/딥러닝 강의 7가지 추천

* 양, 난이도, 정성, 커리큘럼, 추천자의 마음을 기준으로 7개 강의를 추천함

* Coursera, Udacity, youtube, stanford 등

◆

[추가 영상] [리얼밸리 EP05] 머신러닝, 딥러닝 초간단 설명 ★추천

* 일반적인 컴퓨터 사이언스: 사람이 찾아서 기계에 알려주는 것

  머신 러닝: 데이터를 많이 주고 최소한의 모델을 제공하여 기계한테 직접 찾게 하는 것

  딥러닝: 머신 러닝 방법 중 하나로, 모델 구조 중 사람의 뇌를 본딴 모델 구조를 사용

            - 데이터가 방대해지고
            - 인프라 스트럭처 레벨 기술 (GPU 사용, 빅데이터 처리 기술) 통해 인공신경망 훈련 가능해지며 두각을 드러내기 시작

- 현업에서는 최적화, 추천, 효율성을 높이는 문제에 굉장히 적용이 많이 되고 있음

◆ 

[추가 영상] 어머니에게 딥러닝(CNN, RNN, GAN)을 설명해보자 // 포럼IT 딥토크 이벤트

* CNN: 이미지 인식 분야에서 사용하는 알고리즘

          이미지를 필터가 훑고 지나가면서 특징을 잡아냄

          텍스트 인식에도 적용하고 있음

* RNN: 시계열 데이터, 미래 예측, 음성인식에 사용

* GAN(generative adversarial network)

◆

[추가 영상] [ART x TIPS] 인공지능 전문가, 스타트업을 만나다

* ...

영어 공부 겸 트랜드 공부를 위해 맥킨지 인사이트와 하버드 비즈니스 리뷰 위주로 아티클을 찾아읽곤 하는데, 

기왕이면 기록 & 정리하면서 보기로 한다.

주제는 한정하지 않으나 업무 관련한 것을 우선으로 찾아볼 예정이다. 

교육 업무를 하고 있으나, 교육을 주제로하는 아티클을 찾기보다는 교육해야할 컨텐츠를 주제로한 아티클을 찾을 것이다.

예를들어, 작년까지는 리더십 아티클을 주로 보았고, 올해는 마케팅 또는 디지털 아티클을 찾아볼 생각이다.

기록할 내용은 교육할 때 인용할만한 인사이트 또는 교육/학습과 관련하여 고민거리를 제공하는 내용이다.

하지만 늘 그렇듯, 하다보면 바뀔 수도 있음 ㅎㅎㅎ

Mckinsey Insight 

https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/what-comes-after-the-2020-digital-dash

 tumultuous 격동의

 usher 안내하다

 fraught 좋지 않은 것들이 가득한

※ 학습 노트

크롤링과 웹 기본__패턴으로 실습하며 익히기: HTML/CSS 이해를 바탕으로 크롤링하기

* 크롤링 패턴 코드

import requests
from bs4 import BeautifulSoup

res = requests.get('https://news.v.daum.net/v/20170615203441266')
soup = BeautifulSoup(res.content, 'html.parser')

mydata = soup.find_all('span','txt_info')
for item in mydata:
     print (item.get_text())

*meta tag는 검색 엔진에 해당 페이지를 잘 검색할 수 있도록 쓰이는 경우가 많음

*해당 tag가 html 내에서 여러 군데 사용되고 있는 경우 class를 활용

*크롤링을 하고 싶은 부분이 class를 여러 개 사용 있는 경우,  class를 띄어쓰기 포함 그대로 사용

*mydata.get_text 또는 mydata.string 사용

크롤링과 웹 기본__패턴으로 실습하며 익히기: 실전 크롤링과 강력한 크롤링 기술 팁 

* 오픈 크롬 개발자 모드를 오픈 

   : 윈도우 Ctrl + Shift + i 또는 F12

* 원하는 영역 오른쪽 클릭한 후 copy > Copy outer html 복사 가능

* find()로 더 크게 감싸는 html 태그로 추출 후, 추출된 데이터에서 find_all()로 원하는 부분을 추출

* 문자 전처리할 때: strip(), split() 함수 사용

* 리스트에 숫자 붙일 때

for index, title in enumerate(titles):
    print(str(index+1)+'.', title.get_text().split()[0].string())

크롤링과 웹 기본__CSS selector 사용해서 크롤링하기

* select()안에 태그 또는 CSS class 이름 등을 넣으면 결과값은 리스트 형태로 반환됨

* 하위 태그는 스페이스로 구분

* 모든 단계의 태그를 다 적을 필요는 없지만, 바로 밑의 태그에 해당하는 부분을 추출하고 싶을 때는 ul > a  식으로 > 사용

* class 이름을 사용하고 싶을 때에는 .사용, class 여러 개일때도 .사용하여 이어줌  

  id 는 # 사용 

* find()/select()로 가져온 객체는 find()/select() 모두 교차 사용 가능

바로 실전 크롤링해보기: 네이버 쇼핑 사이트 크롤링하기

#네이버쇼핑 best100 인기검색어

import requests
from bs4 import BeautifulSoup

res = requests.get('https://search.shopping.naver.com/best100v2/main.nhn')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('#popular_srch_lst > li > span.txt > a')
for item in items:
    print(item.get_text())

#네이버쇼핑 특정 카테고리 상품 제목 

import requests
from bs4 import BeautifulSoup

res = requests.get('https://search.shopping.naver.com/search/all?frm=NVBT100&origQuery=%EB%8B%A4%EC%9D%B4%EC%96%B4%EB%A6%AC&pagingIndex=2&pagingSize=40&productSet
=total&query=%EB%8B%A4%EC%9D%B4%EC%96%B4%EB%A6%AC&sort=rel&timestamp=&viewType=thumb')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('div.imgList_title__3yJlT > a')

for item in items:
     print(item.get_text()) 

#네이버증권 인기검색종목

import requests
from bs4 import BeautifulSoup

res = requests.get('https://finance.naver.com/sise/')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('#popularItemList > li > a')
for item in items:
    print(item.get_text())

또다른 크롤링 기술, urllib 라이브러리 사용법 이해

* 기존에는 urllib+bs4 세트로 많이 사용하였는데, 최근에는 requests + bs4 세트를 많이 사용

  기존 코드 중 일부가 urllib 사용하는 경우가 있으며 인코딩 처리가 다름

* requests 라이버리를 사용해서 크롤링 진행하고, 문제가 있는 경우만 urllib 시도

from urllib.request import urlopen #urllib의 request class에 들어있는 urlopen 함수만 필요
from bs4 import BeautifulSoup

res = urlopen('https://davelee-fun.github.io/')
soup = BeautifulSoup(res, 'html.parser')

items = soup.select('h4.card-text')
for item in items:
    print(item.get_text().strip())

여러 페이지 한번에 크롤링하는 기법

* 주소에있는 페이지 번호를 활용하여 for 구문 사용

import requests
from bs4 import BeautifulSoup

for page_num in range(10):
    if page_num == 0:
        res = requests.get('https://davelee-fun.github.io/')
    else:
        res = requests.get('https://davelee-fun.github.io/page' + str(page_num + 1))
    soup = BeautifulSoup(res.content, 'html.parser')

    data = soup.select('h4.card-text')
    for item in data:
        print(item.get_text().strip())

크롤링해서 엑셀 파일로 데이터 저장하기

* openpyxl 라이브러리 활용

* 함수 설정

import openpyxl
def write_excel_template(filename,sheetname,listdata):
    excel_file = openpyxl.Workbook() #엑셀 파일 오픈
    excel_sheet = excel_file.active #엑셀 시트 선택
  
    if sheetname !='': #시트이름이 없으면 넘어가기
        excel_sheet.tile = sheetname

    for item in listdata:
        excel_sheet.append(item)
    excel_file.save(filename)
    excel_file.close()

* 크롤링해서 저장하기

import requests
from bs4 import BeautifulSoup

product_lists = list()

for page_num in range(10):
    if page_num == 0:
        res = requests.get('https://davelee-fun.github.io/')
    else:
        res = requests.get('https://davelee-fun.github.io/page'+str(page_num+1))
    soup = BeautifulSoup(res.content,'html.parser')

    data=soup.select('div.card')
    for item in data:
        product_name = item.select_one('div.card-body h4.card-text')
        product_date = item.select_one('div.wrapfooter span.post-date')
        product_info = [product_name.get_text().strip(),product_date.get_text()]
        product_lists.append(product_info)

write_excel_template('tmp.xlsx','상품정보',product_lists)

* 엑셀파일 불러오기

for item in excel_sheet.rows:
    print (item[0].value, item[1].value) #셀에 들어있는 값을 가져오기 위해 .value를 붙여줌

excel_file.close()

※ 학습 노트

강의준비_데이터과학과 IT 영역에서의 파이썬과 크롤링 큰그림 이해하기

* 영역: 웹, 앱, 응용 프로그램, IoT, 인공지능

* 단계: 데이터 수집 - 저장 - 분석 - Visualization - 서비스 개발

강의준비_프로그래밍 언어 기초와 파이썬 이해

* 프로그래밍 언어: 인간이 컴퓨터와 소통할 수 있도록 컴퓨터가 이해할 수 있는 명령으로 프로그램을 작성할 수 있도록 만든 언어

  - 컴퓨터는 기계어 (0과 1로 된 이진수 형태로 CPU가 이해할 수 있는 코드)만 이해한다

강의준비_anaconda와 jupyter notebook 소개와 설치

* 아나콘다(anaconda) 확장 기능 + 컴파일러 프로그램까지 한 번에 설치할 수 있는 프로그램

  - 파이썬 기본(컴파일러), 주요라이버리, 주요툴(jupyter notebook포함)을 모아놓은 패키지

  - 컴파일러 고급 언어로 작성된 코드를 기계어로 변환하는 프로그램

크롤링과 웹 기본_패턴으로 실습하며 익히기: 크롤링 코드 패턴으로 이해하기

* 웹기본구조

- 네트워크를 통해 내 컴퓨터와 다른 컴퓨터를 연결하고 정보를 주고 받을 수 있음

- 어떤 컴퓨터에서 정보를 받아올지 지칭하는 주소가 IP주소

- IP 주소를 이름으로 표기한 것이 웹주소 

- 주소를 넣으면 html로 구성된 파일을 달라고 요청하고 html은 해당 정보를 웹브라우저 안에서 보여줌

* 파싱 문자열의 의미를 분석하는 것

* 데이터 추출

HTML

크롤링과 웹 기본_크롤링을 위한 지식: 웹구조와 HTML 이해하기

* 웹페이지는 HTML, CSS, javascript로 표현

* HTML

   - HTML은 마크업 언어: 문서나 데이터의 구조를 표현하는 언어

   - HTML 언어 : 웹페이지를 만드는 언어

   - 꺽쇠 <>와 tab로 표현

* Sublime Text 3 프로그램: HTML 에디터

*HTML 기본구조

*태그 속성

<태그 속성(속성 이름, 속성 값) 속성 속성>

- 속성과 속성 사이는 한 칸씩 띄어야함

*구조화된 태그 (테이블)

크롤링과 웹 기본_패턴으로 실습하며 익히기: HTML 이해를 바탕으로 크롤링하기

*속성을 가져오는 방법

* 크롤링에서 가장 많이 쓰는 속성은 class이고 css 언어와 관련

CSS

크롤링과 웹 기본_크롤링을 위한 지식: 웹구조와 CSS  이해하기

* HTML로 웹페이지 구조(내용)을 표현하고 CSS언어를 활용하여 디자인하는 것이 일반적

* CSS 언어 적용 방법 

  1) 적용할 태그에 style 속성으로 넣기

  2) HTML문서 <head>안에 <style>태그로 넣기

  3) HTML문서 <head>안에 CSS파일 링크하기

* css언어는 프로퍼티와 프로퍼티 값으로 이루어짐. 

* 프로퍼티 정의는 구글 검색하여 css tutorial 활용

* 적용 방법 별 예시

  1) 적용할 태그에 style 속성으로 넣기

  2) HTML문서 <head>안에 <style>태그로 넣기

 3) HTML문서 <head>안에 CSS파일 링크하기  매 페이지마다 head를 쓸 필요 없이 css 파일을 만들어놓고 페이지에 링크 가능

통상 css라는 확장자를 사용하여 파일 저장