본문 바로가기
728x90
728x90

big data9

R ) future함수 multisession 병렬처리 알아보기 in r future함수의 multisession에 대해 알아보려고 합니다... 솔직히 요게 어떤건지 확실히는 모르겠습니다... 그런데 core여러개를 이용해 R의 multisession을 만들고 각각의 future를 병렬 실행해 빠르게 data의 결과를 얻을 수 있다는 것은 알것 같습니다... 또한 다른 session에서 코드처리를 진행하기 때문에 내가 현재 사용하고 있는 session에서는 계속해서 코드를 처리할 수 있는것 같습니다. 더 자세히 알게되면 업데이트 해야겠습니다... 앞서 말했듯 future함수의 multisession을 이용해 data를 더욱 빠르게 처리할 수 있습니다. 해당 함수는 future 패키지에 있는 함수 입니다. 예시를 보면서 얘기해 보겠습니다. 해당 함수의 실습을 위해 iris da.. 2022. 11. 16.
R ) 병렬처리, 병렬함수 mclapply 알아보기 in r R에서 병렬처리 함수인 mclapply에 관해 알아보려고 합니다. mclapply는 코드를 처리할때 병렬로 처리하여 코드 처리시간을 단축 시킬 수 있는 코드입니다. 해당함수는 윈도우에서는 사용하지 못하는것으로 알고있고 mac이나 linux에서 사용할 수 있는 것으로 알고 있습니다. parallel 패키지에 있는 함수 입니다. mclapply(X=설정값,mc.cores=설정값,FUN=설정값) 의 인자를 갖고 있습니다. mc.cores에는 detectCores() 함수로 사용가능한 core수를 확인하고 적당한 값을 넣어주면 됩니다. 모든 core를 입력하면 다른 작업을 못 할 수도 있으므로 1~2개 작은 core를 사용하는것이 좋은것 같습니다. for문과 비교하여 얼마나 빠른지 확인해 보도록 하겠습니다. 먼.. 2022. 11. 15.
일상 ) 빅데이터 분석기사 필기 합격 후기 안녕하세요 오늘은 빅데이터 분석기사 필기 합격 후기를 써보려고 합니다. 결론은 합격예정인듯 합니다. 사전 점수 공개이지만 요정도면 무난하게 합격할듯 합니다.. 시험을 치고 기억해놓은 답으로 대충 답을 맞추어 보았는데 떨어질줄 알았습니다.. 준비기간 : 2022.09.04~ 로 약 한달정도 됩니다. 공부방법 : 기출 문제집 2개 풀었습니다. - 하나는 800제 문제집을 풀었고, 하나는 시험 기출문제 3회를 풀었습니다 - 직장을 다니며 공부하니 주로 주말을 할애하여 공부했습니다. 난이도 : 문제들 중에 어려운 문제들도 있었지만 문제집 2권을 풀고 가면 무난히 합격할 정도의 난이도 였던것 같습니다. 이제 실기를 준비해야할것 같습니다 실기는 어떤식으로 나올지... 2022. 10. 15.
spotfire ) 예시 data를 이용해 시각화 실습 해보기 feat. R 이용해 data처리, spotfire 이용해 시각화 in spotfire 안녕하세요 이번엔 예시 data를 이용해 실습을 해보려고 합니다. 관련해서 여러 해결방안이 있겠지만 저 나름의 방법으로 해보겠습니다. 우선 사용할 data는 다음과 같습니다. 여기서 구현할 기능은 다음과 같습니다. 1. 정규작업을 했을때 불량이 나온 제품들이 마지막 재작업을 했을때 측정값이 어떻게 변화를 하는지 시각화로 표현할 것입니다. 2. 결론은 정규작업 - 마지막 재작업의 측정 값을 비교할 것입니다. 3. 그렇기 때문에 정규작업, 재작업이 있는 제품 ID만 남길것이며 재측정과 같은 필요 없는 부분은 제거를 할것입니다. 그리고 재작업 측정값은 마지막으로 재작업한 측정값만 필요하므로 중간에 재작업 측정값도 지울 것입니다. 4. x축 : 측정년월일 y축 : 측정값의 평균 색 구분 : 정규작업 vs 재작업.. 2022. 10. 9.
728x90
728x90