거의 모든 것의 마니아

학습 날짜

 2020년 1월  

학습 사이트 

 Edwith

과정 제목

 3분에 익히는 머신러닝의 기본 원리

학습 시간

 72강/941분

의견

 - 짧은 영상 3개로 개념적인 설명만 제공

 - 참고자료로 영상이 1-2개씩 추가되어있음

 - 추가된 영상은 (내 기준) 갑자기 어려워지기도 하고 사운드가 안정적이지 않아서 듣기 힘들지만,
   어차피 용어와 개념에 익숙해지려면 이것저것 여러번 들어야겠다는 생각에 1.5배속으로 1회 시청하였다

 - 추가 영상 중 [리얼밸리 EP05] 머신러닝, 딥러닝 초간단 설명 추천!!! 

   개인적으로 머신러닝의 상세 내용보다는 기본 개념과 활용이 궁금했던터라 요정도가 딱 좋았을 수준 ㅎㅎ

 - 마지막 추가 영상까지 보고 느낀바는,
   edwith강좌를 개인 유튜브 채널, 블로그, meet-up 홍보용으로 활용한 것이 아닐까,,,싶었다. 뭐, why not ㅋ

 학습 모듈

 어려운 머신러닝, 쉽게 설명해드려요

 머신러닝을 실전에 적용하려면?

 딥러닝의 원리를 알아봅니다

 Task

 Performance

 Experience

 분류 (classification) 

 0-1 loss function (에러가 발생했을 때 1의 에러를 더하는 방법)

 labeled data 

 회귀 (regression)

 L2 loss function (실제 값과 예측한 값의 거리의 합)

 labeled data

 군집 추출 (clustering)

 군집의 중심에서의 거리

 unlabeled data

 출처

 Mckinsey Insight 

 https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/digital-strategy-in-a-time-of-crisis

 제목

 Digital strategy in a time of crisis

 영어 표현

 The quickening is evident already across sectors and geographies

 The COVID-19 crisis seemingly provides a sudden glimpse into a future world

 inherent inertia 내재하는 타성 

 hinder 저해하다

 deeply grooved 깊게 홈이 있는

 fall short 모자라다

 cadence 억양

Learning for Learning 

 #위기가 학습 기회를 제공 

 * The ways they learn from and adjust to today’s crisis will deeply influence their performance in tomorrow’s changed world, providing the opportunity to retain greater agility as well as closer ties with customers, employees, and suppliers. 

 * A crisis demands boldness and learning

 #디지털 육성 프로그램 구성으로 고려 : Design Thinking + Tech (AI 등)

 * Organizations that make minor changes to the edges of their business model nearly always fall short of their goals. Tinkering leads to returns on investment below the cost of capital and to changes (and learning) that are too small to match the external pace of disruption. In particular, organizations rapidly adopting AI tools and algorithms, as well as design thinking, and using those to redefine their business at scale have been outperforming their peers.

 #학습 능력 중요

  * Bold action and the ability to learn are highly interrelated. The real-time ability to learn during a crisis is in fact the one ingredient that can turbocharge your ability to scale quickly.

 * At the broadest level, these include the prospect for real-time learning about where value is going in your markets and industry, the chance to learn and feed back quickly what’s working in your operations and your agile organizational approach, and the opportunity to learn where it is you’re more or less able to move quickly—which can help inform where you might need to buy a business rather than build one

 #네트워크 효과의 활용 방안 고민 필요

 * Research indicates that people and organizations learn more quickly as a result of network effects. The more people or organizations that you add to a common solution space, in other words, the more quickly learning occurs and the faster performance improves. 

 출처

 Mckinsey Insight

 https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/how-six-companies-are-using-technology-and-data-to-transform-themselves 

 제목

 How six companies are using technology and data to transform themselves

 영어 표현

 unleashing a wave of innovation 촉발시키다

 on steroids 강력한, 끝내주는

 harness 활용하다, 동력화하다

 rejigger 변경하다, 재조정하다

 unearth 발굴하다

 set apart from 에서 구별하다

 pivot 회전하다

 exponential 기하급수적인

 status quo 현재의 상황

 pronged 가닥이 진, 갈래진

 percolate 스며들다

Learning for Learning 

 #행동 변화를 위해 필요한 시간: 평균 66일 

 * the popular magazine Psychology Today concluded that it takes an average of 66 days for a behavior
   to become automatic.

 #환경 변화: Virtual, Digital Centric, Agile 

 * The COVID-19 pandemic is a full-stop on business as usual and a launching pad for organizations
   to become virtual, digital-centric, and agile

 * The crisis has forced every company into a massive experiment in how to be more nimble, flexible, and fast.

  #잘하고 있는 기업들의 특징

 * digital fast, ready to reinvent, all-in, data-driven decisions, customer followers

 #새로운 기술에 대한 reskilling training 필요 

Addressing its considerable reskilling needs—the majority of Tabang’s workers have no more than
a high school education—resulted in the development of a mobile app with popular gamification elements,
ensuring that employees would stay engaged and complete their training. 

 # Action 중요 

* " A learn-fast culture means we put things into action,” he says. “We don’t sit around thinking about it.”

학습 날짜

 2020년 1월  

학습 사이트 

 인프런

과정 제목

 파이썬입문과 크롤링기초 부트캠프 (2020 업데이트) [쉽게! 견고한 자료까지!] 

학습 시간

 72강/941분

의견

 - 크롤링이 뜻대로 되지 않는 부분에 대한 팁을 얻기 위해 등록한 과정이기 때문에 

   스파르타 코딩 클럽에서 배운 것과 겹치는 부분은 스킵하고 필요한 부분부터 우선적으로 듣기로 함

 - 개념적인 것을 엄청 자세하게 설명해서 초보자(나)에게 좋음. 기존에 배운 것 복습 + 빈 곳을 채우는 느낌

 - 10~20분 단위로 micro하게 구성

 학습 모듈

 크롤링과 웹 기본 - 실전부분 

import requests
from bs4 import BeautifulSoup

res = requests.get('https://news.v.daum.net/v/20170615203441266')
soup = BeautifulSoup(res.content, 'html.parser')

mydata = soup.find_all('span','txt_info')
for item in mydata:
     print (item.get_text())

for index, title in enumerate(titles):
    print(str(index+1)+'.', title.get_text().split()[0].string())

import requests
from bs4 import BeautifulSoup

res = requests.get('https://search.shopping.naver.com/best100v2/main.nhn')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('#popular_srch_lst > li > span.txt > a')
for item in items:
    print(item.get_text())

import requests
from bs4 import BeautifulSoup

res = requests.get('https://search.shopping.naver.com/search/all?frm=NVBT100&origQuery=%EB%8B%A4%EC%9D%B4%EC%96%B4%EB%A6%AC&pagingIndex=2&pagingSize=40&productSet
=total&query=%EB%8B%A4%EC%9D%B4%EC%96%B4%EB%A6%AC&sort=rel&timestamp=&viewType=thumb')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('div.imgList_title__3yJlT > a')

for item in items:
     print(item.get_text()) 

import requests
from bs4 import BeautifulSoup

res = requests.get('https://finance.naver.com/sise/')
soup = BeautifulSoup(res.content, 'html.parser')

items = soup.select('#popularItemList > li > a')
for item in items:
    print(item.get_text())

from urllib.request import urlopen #urllib의 request class에 들어있는 urlopen 함수만 필요
from bs4 import BeautifulSoup

res = urlopen('https://davelee-fun.github.io/')
soup = BeautifulSoup(res, 'html.parser')

items = soup.select('h4.card-text')
for item in items:
    print(item.get_text().strip())

import requests
from bs4 import BeautifulSoup

for page_num in range(10):
    if page_num == 0:
        res = requests.get('https://davelee-fun.github.io/')
    else:
        res = requests.get('https://davelee-fun.github.io/page' + str(page_num + 1))
    soup = BeautifulSoup(res.content, 'html.parser')

    data = soup.select('h4.card-text')
    for item in data:
        print(item.get_text().strip())

import openpyxl
def write_excel_template(filename,sheetname,listdata):
    excel_file = openpyxl.Workbook() #엑셀 파일 오픈
    excel_sheet = excel_file.active #엑셀 시트 선택
  
    if sheetname !='': #시트이름이 없으면 넘어가기
        excel_sheet.tile = sheetname

    for item in listdata:
        excel_sheet.append(item)
    excel_file.save(filename)
    excel_file.close()

import requests
from bs4 import BeautifulSoup

product_lists = list()

for page_num in range(10):
    if page_num == 0:
        res = requests.get('https://davelee-fun.github.io/')
    else:
        res = requests.get('https://davelee-fun.github.io/page'+str(page_num+1))
    soup = BeautifulSoup(res.content,'html.parser')

    data=soup.select('div.card')
    for item in data:
        product_name = item.select_one('div.card-body h4.card-text')
        product_date = item.select_one('div.wrapfooter span.post-date')
        product_info = [product_name.get_text().strip(),product_date.get_text()]
        product_lists.append(product_info)

write_excel_template('tmp.xlsx','상품정보',product_lists)

for item in excel_sheet.rows:
    print (item[0].value, item[1].value) #셀에 들어있는 값을 가져오기 위해 .value를 붙여줌

excel_file.close()

학습 사이트 

 인프런

과정 제목

 파이썬입문과 크롤링기초 부트캠프 (2020 업데이트) [쉽게! 견고한 자료까지!] 

학습 시간

 72강/941분

의견

 - 크롤링이 뜻대로 되지 않는 부분에 대한 팁을 얻기 위해 등록한 과정이기 때문에 

   스파르타 코딩 클럽에서 배운 것과 겹치는 부분은 스킵하고 필요한 부분부터 우선적으로 듣기로 함

 - 개념적인 것을 엄청 자세하게 설명해서 초보자(나)에게 좋음. 기존에 배운 것 복습 + 빈 곳을 채우는 느낌

 - 10~20분 단위로 micro하게 구성

 학습 모듈

 강의 준비

 파이썬과 프로그래밍 기초를 견고하게 쌓는 가장 좋은 방법 - skip

 파이썬 객체와 라이브러리 - skip

 크롤링과 웹 기본 

  #라이브러리 임포트

 import requests

 from bs4 import BeautifulSoup

 #웹페이지 가져오기

 res = requests.get('사이트주소')

 #웹페이지 파싱하기

 soup = BeautifulSoup(res.content, 'html.parser')

 #필요한 데이터 추출하기 

 mydata = soup.find('title')

 #추출데이터 활용하기

 print(mydata.get_text()) 

soup.find('html코드')

변수.get_text

<!DOCTYPE html> 이 문서는 HTML 언어를 사용

 <html> 여기서부터 HTML 문서 시작

 <head> 문서 전체 정보 (제목 등)

 </head>

 <body> 실제 웹페이지 표현되는 내용

 </b> enter

 </body> 

 </html>

  <head>

 <title> 제목 </title> 웹페이지의 타이틀이라 본문에 표시되지 않지만 탭에서 확인 가능

 <meta charset="utf-8"> 글씨가 깨질 때 추가 

 </head>

  <table border="1">

   <thead> 한 테이블의 타이틀(표 머리글)

      <tr>

          <th>1*1</th>

      <tr>

   </thead>

   <tbody> 본문 내용

      <tr>

          <td>1*1</td> 

      <tr>

  </tbody> 

 </table>

soup.find('태그')

#예시

 data =soup.find('p', class_='cssstyle') #클래스가 cssstyle을 가져오는 것

 data =soup.find('p', attrs={class':'cssstyle') #속성과 속성값을 그대로 기입 / 속성 여러 개 나열 가능

 data =soup.find('p', 'cssstyle')

 data =soup.find('p', id='body') 

 datas =soup.find_all #전체 다 찾아주나 리스트 형태로 보여주기 때문에 for 구문써줘야함

 for find_data in find_datas:

      print (find_data.get_text())

<td style ="text-align:center; color:blue">

세미콜론으로 구분해서 프로퍼티와 값을 연속으로 사용 가능. 띄어쓰기 해도 되고 안해도 됨

<style type="text/css">

td{

    font-size: 2em; 화면에서 디폴트로 보여주는 폰트의 2배

    font-family: Gulim;

    text-align: center;

}

</style>

#특정 태그에 css 설정 적용할 때

<link rel="stylesheet" type="text/css" href="css/style.css"> css파일이 들어있는 폴더와 파일명 

#.이름을 써서 별도의 css를 설정하여 내가 원하는 곳에 적용하려고 할 때

#.highlight는 내가 설정한 이름이며, class라고 부름 

.highlight {

 font-size:3em; 

 text-align:right;

 color: blue;

 }

<td class="highlight"> #설정한 css를 사용하고 싶은 곳의 태그 안에 class로 표시

<td class=highlight> 

if name in counts:

   x = counts[name]

else :

   x = 0 

 x = counts.get(name,0) 

l = list()

 dir(l)

# ['append', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort']

  t = tuple()

 dir(t)

# ['count', 'index']

 def is_even(num): # is_even는 num을 변수로 받는 함수 이름 

      if num % 2 == 0: # num을 2로 나눈 나머지가 0이면 

           return True # True (참)을 반환한다. 

      else: # 아니면, 

           return False # False (거짓)을 반환한다.

 #html 조건문

 function is_even(num){

    if (num % 2 == 0) {

       return true; 

    } else {

       return false; 

    }

 } 

 fruits = ['사과', '배', '참외'] 

 for fruit in fruits: # fruit는 임의로 지은 이름 

      print (fruit)

 #html 반복문

 let fruits = ['사과','배','참외']

 for (let i=0; i<fruits.length; i++) {

      console.log(fruits[i])

 }

 fruits = ['사과', '배', '배', '감', '수박', '귤', '딸기', '사과', '배', '수박'] 

 def count_fruits(name): 

 count = 0 

 for fruit in fruits:

 if fruit == name: 

      count += 1 

 return count 

 subak_count = count_fruits('수박') 

 print(subak_count) # 수박의 갯수 출력

 #html 조건문 & 반복문으로 숫자 세기

 let fruits = ['사과', '배', '배', '감', '수박', '귤', '딸기', '사과', '배', '수박'] 

 let count =0;

 for (let i=0; i<fruits.length; i++) {

    let fruit == fruits[i];

    if (fruit =='수박'){

       count +=1;

    }

 }

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://sports.news.naver.com/kbaseball/record/index.nhn?category=kbo', headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.

soup = BeautifulSoup(data.text, 'html.parser')