Posts

early return을 사용하자 (else혐오자가 사는법)

Mon, 27 Apr 2020 07:45:00 +0000

나는 else가 싫다. 뭔가 else if, else if 조건을 계속달면 생각이 복잡해지는 느낌이라고 해야되나. 아무튼 그냥 싫다…. 진짜 진짜 싫어해서 else를 안쓰고 프로그래밍하는 것을 선호한다. 오늘은 else를 안쓰고 프로그래밍 하는 방법에 대해서 알아본다!

early return이 뭔데?

early return이란, return을 빨리 해버려서 뒷 코드의 구조를 단순하게 만들어주는 패턴이다. 정확히는 else를 제거하는것이 목적이다.

예를 들자면, 아래의 코드는 early return이 적용되지 않았다.

int get_string_type(char* string) {
    int ret = 0;
    if (is_rule_1(string)) {
        ret = 1;
    } else {
        if (is_rule_2(string)) {
            ret = 2;
        } else {
            ret = 0;
        }
    }

    return ret;
}

아래는 early return으로 정리된 코드이다.

int is_valid(char* string) {
    if (is_rule_1(string))
        return 1;
    if (is_rule_2(string))
        return 2;

    return 0;
}

함수 내에서 return을 하면 뒤의 코드로 진입하지 않는 특성을 이용해서 else { }로 구성되는 하나의 brace block을 작성하지 않아도 된다!

위의 예시는 간단하게 보여주기위해서 early return을 사용하지 않았을때 얼마나 코드가 복잡해 질 수 있는지를 다 표현하지 못했지만, 실제 코드에서 is_rule_1, is_rule_2 함수가 반복문으로 내부에서 구현되고 { } 스코프 안에 또 { } 그안에 또다시 { }…. 이렇게 brace block 구조가 깊어지고 가독성이 떨어지는것을 생각하면 early return을 사용하는것이 얼마나 코드를 간결하게 바꿔주는지 알 수 있을 것이다.

early return에서 더 나아가서

위의 예시를 통해서 early return이 코드를 어떻게 단순하게 만드는지 알아보았다. 더나아가서 early return과 비슷한 패턴들을 소개하려고 한다.

continue, break를 통해서도 return처럼 else를 제거 할 수있는데, 이 경우에는 return과 다르게 함수가 종료되지 않기 때문에 더 넓게 활용가능하다.

early return은 필수적인가?

아, 물론 early return 패턴을 사용하고 안하고는 개인의 취향에 달렸다.

때로는 if else 구조가 로직을 더 명시적으로 보여줄 수도 있다. (개인차가 있을 수 있다)

블랙미러 밴더스내치 웹사이트의 비밀

Tue, 12 Feb 2019 19:07:34 +0000

bandersnatch

블랙미러 밴더스내치를 보고 한동안 여운이 남아서 이것저것 이스터에그를 찾아보다가

발견하게된 사이트!

https://tuckersoft.net/ealing20541/history/

터커소프트회사 사이트가 실제로 있었다.

친구랑 이것저것 얘기하다가 알게된 사실은 친구랑 나랑 뜨는 웹페이지 모습이 다르다는 것이였다.

밴더스내치 드라마가 그러하듯이 웹페이지도 여러가지 버전을 준비한것 같았다.

프라이빗 모드로 새로 들어갈때마다 웹페이지가 랜덤하게 바뀌는것같아서

쿠키를 까서보니 쿠키에 어떤 버전을 띄울지 정보가 저장되어 있었다.

쿠키가 뭔지 모르는 사람은 꺼무위키를 참고하길 바란다.

_ga, _gid 는 구글 애널리스틱스와 관련된 값을 담고있는 항목이고

지금 주목해서 봐야할 부분은 tl 값이다.

테스트 해본결과 tl 값은 0, 1, 2 를 갖을 수 있다.

현재 1인 tl의 값을 2으로 대입해서 바꿔보도록 하겠다.

직접 해보고 싶다면 페이지 우클릭후 개발자 도구를 열고 console에서 위의 라인을 따라치면 된다. (_ga, _gid는 본인의 값으로 복붙해서 써야한다)

tl=2 가 되었다면 이제 페이지 새로고침을 해서 변화된 페이지를 확인해보자!

tl = 2 일때는 밴더스내치가 캔슬되고, 노즈다이브는 출시된 모습이다.

tl = 0 일때는 밴더스태치가 출시되고, 노즈다이브는 출시되지 않았다.

tl = 1 일때 밴더스내치와 노즈다이브가 둘다 출시되었다.

python2 깔끔하게 다시깔기

Thu, 16 Aug 2018 03:07:34 +0000

뭔짓을 하다가 그런건지 모르겠는데

갑자기 pip2가 안된다……!

날라갔다… python2도 뭐 버전별로 복잡하게 많길래 그냥 다 날려버리기로 했다 하하

또 이럴지 모르니까 미래의 나를 위해서 일단 기록해둬야 겠다. (전에도 한번 이랫고 앞으로도 또 날릴거같으니까)

brew uninstall python2

brew uninstall --ignore-dependencies python2

brew uninstall --force python@2

sudo rm -rf "/Applications/Python 2.7"

brew install python2

깔리다가 에러로 머가 뜨면서 취소된다…

/usr/local/lib/python2.7/site-packages/pip 여기에 뭐 권한이 없다고 했던거같다

sudo chown -R $USER /usr/local/lib/python2.7/site-packages/pip

brew reinstall python2

된다…

pip install --upgrade pip setuptools

ls -l /usr/local/bin/pip # 링크가 잘 됐는지 확인해준다

끝….

파이썬에서 문자열을 formatting 하는 4가지 방법

Wed, 09 Aug 2017 17:32:34 +0000

1. %-formatting

python docs 에서 printf-style String Formatting 이라고 소개하는 방법이다.

C언어의 sprintf, printf함수의 포맷팅과 비슷하게 사용할 수 있는데,

주의해야 할 점은 인자가 1개일 경우

print('%d' % 10)

이런식으로 튜플로 감싸지 않고 사용할 수 있지만,

인자가 2개 이상인 경우

print('%d %d' % (10, 20))

튜플혹은,

print("%(foo)d %(bar)d" % {'foo':10, 'bar':20})

딕셔너리로 감싸서 인자를 넘겨줘야 한다.

2. str.format()

"{" [field_name] ["!" conversion] [":" format_spec] "}"

의 형식을 따른다

field_name 이 생략될경우 인자가 앞에서부터 짝지어 순서로 들어간다.

conversion 은 r, s, a 중 하나이며

"Harold's a clever {0!s}"     # Calls str() on the argument first
"Bring out the holy {name!r}" # Calls repr() on the argument first
"More {!a}"                   # Calls ascii() on the argument first

이걸 보고 이해햐면 된다.

3. str.Template

python3 docs에 있는 아래 예제를 보면 이해가 될 것이다.

>>> from string import Template
>>> s = Template('$who likes $what')
>>> s.substitute(who='tim', what='kung pao')
'tim likes kung pao'
>>> d = dict(who='tim')
>>> Template('Give $who $100').substitute(d)
Traceback (most recent call last):
...
ValueError: Invalid placeholder in string: line 1, col 11
>>> Template('$who likes $what').substitute(d)
Traceback (most recent call last):
...
KeyError: 'what'
>>> Template('$who likes $what').safe_substitute(d)
'tim likes $what'

4. f-string

python 3.6 버전에 추가된 포매팅 방법이다.

python3 docs에 있는 아래 예제를 보면 이해가 될 것이다.

>>> name = "Fred"
>>> f"He said his name is {name!r}."
"He said his name is 'Fred'."
>>> f"He said his name is {repr(name)}."  # repr() is equivalent to !r
"He said his name is 'Fred'."
>>> width = 10
>>> precision = 4
>>> value = decimal.Decimal("12.34567")
>>> f"result: {value:{width}.{precision}}"  # nested fields
'result:      12.35'

람다함수가 허용된다.

>>> f'{(lambda x: x*2)(3)}'
'6'

너무 당연한 얘기지만 큰따옴표 안에서 큰따옴표로 인덱싱하는건 안된다.

f"abc {a["x"]} def"  # error
f"abc {a['x']} def"  # works

파이썬 데코레이터

Sun, 16 Jul 2017 17:32:34 +0000

데코레이터로 세션 관리하기

매번 함수가 실행되기전에 무언가 체크해야되는경우 데코레이터를 쓰면 편하다

from collections import defaultdict

session = defaultdict()

def check_session(user_key):
    if user_key in session:
        return True
    
    return False

def yes_session():
    print('hello')

if check_session(user_key):
    yes_session()

다음과 같이 유저키를 통해 세션에 유저키가 있는지 체크하는 코드가 있을때, 세션에 키가 존재하는지 검사하는 코드를 데코레이터를 이용해서 만들어보자

from collections import defaultdict

session = defaultdict()

def check_session(user_key):
    if user_key in session:
        return True
    
    return False

def session_deco(func):
    def wrapper(*args, **kwargs):
        if user_key in session:
            func(*args, **kwargs)
    return wrapper

@session_deco
def yes_session():
    print('hello')

yes_session()

매번 함수의 실행전, 후의 시간을 측정하는 경우도 데코레이터를 사용할 수 있다.

import time

def timer_deco(func):
    def wrapper(*args, **kwargs):
        t1 = time.time()
        func(*args, **kwargs)
        t2 = time.time()
        dt = t2 - t1
        print('{} 함수가 실행되는데 걸린 시간: {}'.format(func.__name__,dt))
    return wrapper

@timer_deco
def test_func():
    for i in range(10000):
        print(i)

전역 gitignore 설정하기

Thu, 15 Jun 2017 17:32:34 +0000

홈 디렉토리에 .gitignore를 만든다:

vim ~/.gitignore

특별한 설정이 없으면 아래의 설정을 붙여 넣으면 된다

vi에디터로 붙여넣기 하기전에 :set paste를 한번 해주면 줄 밀림 없이 잘 들어간다.

# Folder view configuration files
.DS_Store
Desktop.ini

# Thumbnail cache files
._*
Thumbs.db

# Files that might appear on external disks
.Spotlight-V100
.Trashes

# Compiled Python files
*.pyc

# Compiled C++ files
*.out

# Application specific files
venv
node_modules
.sass-cache

마지막으로 이렇게 입력해주면 끝난다.

git config --global core.excludesFile ~/.gitignore

git 팁들

Thu, 15 Jun 2017 17:32:34 +0000

계정 설정하기

git config --global user.name "gomjellie"
git config --global user.email "gomjellie@naver.com"

기본 에디터 vim으로 변경하기

기본 에디터가 nano가 설정되어 있는데 원하는 에디터로 바꿀수 있다.

git config --global core.editor vim

강제로 푸시 해버리기

conflict 뜨면서 푸쉬 안되면

그냥 강제로 푸시해버리자

git push origin +master

master 대신에 +master를 입력하면 된다.

origin 최신 코드로 리셋시키기

pull이 안되는 경우 사용한다.

git fetch origin
git reset --hard origin/master

커밋 정리하기

rebase를 사용한다. Head에서 부터 몇개를 합칠지 설정하면됨

git rebase -i Head~2

에디터가 열리면 두번째부터 pick을 squash로 바꾼다.

upstream 설정하기

git remote add --track master upstream git://github.com/user-id/project-name.git

해당파일 add 취소

git reset filename.py

파이썬 싱글턴 패턴

Fri, 09 Jun 2017 17:32:34 +0000

`싱글턴 패턴(Singleton Pattern)`

싱글턴 패턴은 두개 이상의 객체를 허용하지 않는다.

클래스에 오직 하나의 객체만을 허용한다.

객체를 여러개 생성하려고 하면 거부하고 첫번째 객체를 돌려준다.

class Singleton(type):
    _instance = None

    def __call__(cls, *args, **kwargs):
        if not cls._instance:
            cls._instance = super(Singleton, cls).__call__(*args, **kwargs)
        return cls._instance

싱글턴 패턴을 사용하려는 클래스는

다음과 같이 상속 받으면 된다:

class MessageManager(metaclass=Singleton):
    pass

파이썬으로 주식 데이터 가져오기

Fri, 09 Jun 2017 09:32:34 +0000

2018년 3 월 10일 encoding 에러를 발생시키는 코드를 수정하였습니다.

수작업으로 다운받기

하나의 주식 종목데이터만 필요한 경우라면 그냥 브라우저로 야후 파이낸스 웹 사이트에서 다운 받을 수 있다.

예를들어 아프리카TV의 데이터를 얻고 싶다면,

[야후 파이낸스]아프키라TV의 historical data

에서 Time Period를 설정하고 다운로드 버튼을 눌러 직접 다운받을 수 있다.

그러나 하나만 다운받을 것이아니라 대량으로 다운받기 위해서는 자동화 작업이 필요하다.

파이썬 pandas-datareader를 이용해서 자동화 시켜보자.

파이썬을 이용해 finance.yahoo.com에서 다운받기

필요한 패키지들을 설치한다.

pip install pandas-datareader
pip install fix_yahoo_finance

파이썬 코드:

from pandas_datareader import data
import fix_yahoo_finance as yf
yf.pdr_override()

start_date = '1996-05-06' #startdate를 1996년으로 설정해두면 가장 오래된 데이터부터 전부 가져올 수 있다.
tickers = ['067160.KQ', '035420.KS'] #1 아프리카tv와 네이버의 ticker(종목코드)
afreeca = data.get_data_yahoo(tickers[0], start_date)
naver = data.get_data_yahoo(tickers[1], start_date)

#1
주목해야 할 점은 아프리카tv는 코스닥 종목이고, 네이버는 코스피 종목이라는 것.
코스닥은 ticker에 `.KQ`, 코스피는 `.KS`가 붙는다.
#2
data객체의 get_data_yahoo 를 이용해서 얻은 데이터들(아프리카, 네이버)은 DataFrame형의 객체이다.
(정확히는 pandas.core.frame.DataFrame)
data객체가 pandas-datareader에서 가져온 것임을 잊지말자

가져온 데이터 확인

afreeca.head()의 결과:

	Open	High	Low	Close	Adj Close	Volume
Date						
2003-12-22	3485.0	3485.0	3485.0	3485.0	2924.239990	18600
2003-12-23	3070.0	3290.0	3070.0	3070.0	2576.016113	1911800
2003-12-24	3065.0	3270.0	2830.0	3000.0	2517.279785	666100
2003-12-26	3000.0	3140.0	2900.0	2900.0	2433.370117	342200
2003-12-29	2720.0	3030.0	2625.0	2800.0	2349.460938	707000

naver.head()의 결과:

	Open	High	Low	Close	Adj Close	Volume
Date						
2002-10-29	8988.620117	8988.620117	8988.620117	36673.570313	8903.466797	100349
2002-10-30	10061.099609	10061.099609	9948.769531	41049.285156	9965.787109	4178437
2002-10-31	10214.299805	10459.500000	9325.700195	39007.371094	9470.056641	6465417
2002-11-01	9805.769531	10112.200195	8620.910156	36590.257813	8883.240234	3674734
2002-11-04	8886.480469	8947.769531	8304.259766	34756.539063	8438.057617	3387882

DataFrame객체의 head()함수를 사용하면 가장 위의 5줄을 리턴한다.
반대로 tail()함수를 사용하면 끝부분을 확인 할 수도 있다.

가져온 데이터 저장

afreeca객체와 naver객체가 제대로 저장되었음을 확인했으면, 이제는 파일로 저장할 차례이다. afreeca와 naver객체는 DataFreame형 객체이다. DataFrame에있는 to_csv 메소드를 사용해서 저장한다.

코드:

naver.to_csv('./naver.csv')

csv가 아닌 피클이나 엑셀로 저장 할 수도 있다.

afreeca.to_pickle('./afreeca.pickle')
naver.to_excel('./naver.xls')

코스닥과 코스피의 모든 종목을 저장하기

이 작업을 하기위해 코스닥과 코스피의 모든 종목코드를 알아내는 일이 선행되어야 할 것이다.

다음의 피클 파일들을 다운받자.

kospi.pickle

kosdaq.pickle

kosdaq 1230개, kospi 768개의 종목코드가 담겨있는 피클파일 이다.

다운 받았으면 python 인터프리터를 실행시킨 디렉토리에 피클을 위치시킨다.(위치가 중요함)

추가로 작성하는 파이썬 코드:

import pandas as pd

kosdaq = pd.read_pickle('./kosdaq.pickle')
kospi = pd.read_pickle('./kospi.pickle')

가져온 피클 확인하기

피클파일에는 DataFrame형의 자료가 들어있었다. 따라서 pd.read_pickle 를 이용해서 가져온 데이터도 DataFrame형의 자료일 것이다.

kosdaq.head()로 안의 데이터를 확인하자.

	kor_name	ticker
제일홀딩스	003380
하나금융9호스팩	261200
교보7호스팩	267320
보라티알	250000
한화수성스팩	265920

kosdaq.tail()의 결과도 확인하자

	kor_name	ticker
하이록코리아	013030
SBI인베스트먼트	019550
엠벤처투자	019590
제미니투자	019570
모헨즈	006920

이제 kosdaq, kospi 객체에서 ticker을 얻은후 루프를 돌리면 kospi, kosdaq 의 전종목 데이터를 얻을 수 있다.

반복문 만들기

현재 디렉토리에 kospi, kosdaq 폴더를 생성합니다.

$ mkdir kospi, kosdaq

추가로 작성하는 파이썬 코드:

def save_kosdaq():
    for stock in kosdaq.values:
        kor_name = stock[0]
        ticker = stock[1]
        df = data.get_data_yahoo(ticker + '.KQ', '1996-05-06', thread=20)
        df.to_csv('./kosdaq/{}.csv'.format(ticker))
        print('{}.csv is saved'.format(ticker))

def save_kospi():
    for stock in kospi.values:
        kor_name = stock[0]
        ticker = stock[1]
        df = data.get_data_yahoo(ticker + '.KS', '1996-05-06', thread=20)
        df.to_csv('./kospi/{}.csv'.format(ticker))
        print('{}.csv is saved'.format(ticker))

save_kosdaq()
save_kospi()

야후에 쿼리를 많이보내면 빈파일들이 저장되는 문제가 있다. 분명히 종목코드.csv는 있는데 안에 내용이 아무것도 없다.

이 문제를 해결하기 위해 아래의 코드를 실행시킨다.

import re
import glob
from pandas_datareader import data

def reload_empty(market):
    file_list = glob.glob('./{}/*.csv'.format(market))
    six_digit = re.compile('\d{6}')
    for file_name in file_list:
        file = pd.read_csv(file_name)
        if file.empty:
            print("empty file {} is updated".format(file_name))
            ticker = six_digit.findall(file_name)[0]
            tmp_df = data.get_data_yahoo(ticker+'.KQ', start='1996-05-06', thread=20)
            tmp_df.to_csv(file_name)

reload_empty('kosdaq')
reload_empty('kospi')

최종코드

from pandas_datareader import data
import fix_yahoo_finance as yf
yf.pdr_override()
import pickle
import pandas as pd
import re
import glob

kosdaq = pd.read_pickle('./kosdaq.pickle')
kospi = pd.read_pickle('./kospi.pickle')

def save_kosdaq():
    for stock in kosdaq.values:
        kor_name = stock[0]
        ticker = stock[1]
        df = data.get_data_yahoo(ticker + '.KQ', '1996-05-06', thread=20)
        df.to_csv('./kosdaq/{}.csv'.format(ticker))
        print('{}.csv is saved'.format(ticker))

def save_kospi():
    for stock in kospi.values:
        kor_name = stock[0]
        ticker = stock[1]
        df = data.get_data_yahoo(ticker + '.KS', '1996-05-06', thread=20)
        df.to_csv('./kospi/{}.csv'.format(ticker))
        print('{}.csv is saved'.format(ticker))

save_kosdaq()
save_kospi()

def reload_empty(market):
    file_list = glob.glob('./{}/*.csv'.format(market))
    six_digit = re.compile('\d{6}')
    for file_name in file_list:
        file = pd.read_csv(file_name)
        if file.empty:
            print("empty file {} is updated".format(file_name))
            ticker = six_digit.findall(file_name)[0]
            _ticker = ticker + ['.KQ', '.KS']['market'=='kospi']
            tmp_df = data.get_data_yahoo(_ticker, start='1996-05-06', thread=20)
            tmp_df.to_csv(file_name)

reload_empty('kosdaq')
reload_empty('kospi')

참조

kospi-kosdaq-csv에서 2017-07-07 까지의 데이터를 받을 수 있다.

파이썬객체를 파일로 저장하기

Thu, 08 Jun 2017 08:59:34 +0000

피클 모듈을 사용하면, 파이썬의 객체를 파일로 저장했다가 불러올 수 있다. 저장 가능한 객체는 primitive타입에 한정되지 않는다.

import pickle

_ = {'layout': 'post', 'categories': ['파이썬', '피클']}

# _ 객체를 저장하기
pickle.dump(_, open('./cur_data.pickle', 'wb'))

# pickle파일로 부터 객체를 불러오기
pickle.load(open('./cur_data.pickle'))

open해놓은걸 close해줘야 될거같은데 간략하게 보이기 위해 생략함.

파이썬 명령 분배 패턴

Thu, 08 Jun 2017 08:32:34 +0000

`명령 분배 패턴(Command Dispatch Pattern)`

일반적으로 사용하는 (undo가 있는)커맨드 패턴과는 다르다.

GoF는 명령 패턴을 요청이 객체로 캡슐화되어 있을 경우라고 기술한다.

예전 1997년에 귀도 반 로섬은 비슷하게 기능을 수행하지만, 파이썬과 펄 과 같은 동적 언어에만 있는 패턴을 식별하였고 거기에 명령어 분배(Command Dispatch) 패턴이라고 명명했다.

슬프게도, 파이썬 프로그램에서 일반적으로 이 패턴을 많이 사용하고 있음에도 불구하고 그 이름은 거의 잊혀졌다. 이를 패턴으로 인지하는 것조차도 망각된 듯하다.

바깥의 소스로부터 전송된 수 많은 다양한 명령어들을 실행할 필요가 있는 클래스가 있다고 해보자.

이를 처리하는 다양한 방법이 있다.

1. 조건문으로 구분

if command == 'run':
    run()
elif command == 'fly':
    fly()
elif command == 'eat':
    eat()

2. 딕셔너리 활용

dispatch_table = {
    'run': run,
    'fly': fly,
    'eat': eat,
}

# 명령 분배:
if dispatch_table.has_key(command):
    func = dispatch_table[command]
    func()
else:
    error()

3. 명령분배 패턴

class Dispatcher:
    def do_run(self):
        pass
    
    def do_fly(self):
        pass
    
    def do_eat(self):
        pass
    
    def dispatch(self, command):
        mname = 'do_' + str(command)
        if hasattr(self, mname):
            method = getattr(self, mname)
            method()
        else:
            self.error()

귀도(Guido)가 언급했듯이: 나는 이 접근법이 아주 우아하다고 생각하며 그 동안 많이 사용했다는 것을 발견하였다.

이 패턴은 BaseHTTPServer, cmd, pydoc, repr, sgmllib, SimpleXMLRPCServer, urllib, distutils와 같은 파이썬 라이브러리 전반에 걸쳐서 사용되었다.

참조:

파이썬 디자인패턴