그냥저냥

[Spark] 스파크(Spark) - (1)

BlueNoa — Wed, 7 Jan 2026 20:55:10 +0900

[목차]

Spark란?
스파크의 장/단점

압도적인 속도
통합 엔진(Unified Engine)
사용 편의성
높은 메모리 요구량과 비용
실시간 처리의 미세한 한계
복잡한 튜닝

스파크의 주요 특징

데이터 분산(Data Distribution)
병렬 처리(Parallel Processing)
장애 내성(Fault Tolerance)

• Spark란?

아파치 스파크(Spark)는 하둡의 맵리듀스를 빠르게 대체하는 빅데이터 처리 플랫폼이다.

아파치 하둡은 분산 컴퓨팅용 자바 기반 오픈소스 프레임워크로 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS)과 맵리듀스 처리 엔진으로 구성된다.

*맵리듀스란?

*맵리듀스 : 큰 문제는 작게 나누고(Map), 결과를 다시 합치는(Reduce) 방식으로 맵 단계에서는 입력 데이터를 (키-값) 쌍으로 변환하고 셔플 및 정렬을 통해 같은 키(Key)를 가진 것끼리 모아서 리듀스로 전달한다. 이후 중복된 키를 합치고 값들을 집계하여 최종 결과물을 만드는 것(Reduce)

예를 들어)

사과, 바나나, 사과 → Map : (사과, 1), (바나나, 1), (사과, 1) → Suffle : 사과 : [1, 1], 바나나 [1] → Reduce : 사과: 2, 바나나: 1

스파크는 메모리를 보다 효율적으로 활용해 하둡의 맵리듀스 보다 10~100배는 더 빠른 속도로 같은 작업을 수행할 수 있다.

스파크의 컬렉션(자료 구조, 예로 List, Dict 또는 Scala의 Seq 등)은 로컬에서 자바와 파이썬의 자료 구조를 사용하는 느낌을 주지만 실제로는 여러 노드(네트워크에 연결된 개별 컴퓨터)에 분산된 데이터를 참조한다.

728x90

• 스파크의 장/단점

압도적인 속도

위에서도 언급했듯 데이터를 디스크에 매번 I/O 하여 저장하는 맵리듀스와 달리, 데이터를 메모리(RAM)에 올려두고 처리하기 때문에 맵리듀스보다 최대 100배 빠르다. 메모리가 부족하여 디스크를 사용하더라도 약 10배 정도의 속도를 낼 수 있으며 같은 데이터를 여러 번 반복해서 계산해야 하는 머신러닝 알고리즘에서 좋은 성능을 발휘한다.

통합 엔진(Unified Engine)

하나의 프레임워크 내에서 SQL, 실시간 스트리밍, 머신러닝, 그래프 분석을 모두 처리할 수 있다.

여러 도구를 배울 필요 없이 스파크 하나로 데이터 파이프라인 전체를 구축할 수 있어 개발 효율이 매우 좋다.

사용 편의성

Java, Scala, Python(PySpark), 최근에는 R 언어까지 지원하기 시작했다.

높은 메모리 요구량과 비용

인메모리 방식이다 보니 대용량 데이터를 처리하려면 그만큼 많은 양의 RAM이 필요로 하다.

구축 비용이 하둡보다 비쌀 수 있으며, 메모리 관리를 잘못하면 OOM(Out Of Memory) 에러로 시스템이 멈추는 경우가 있다.

실시간 처리의 미세한 한계

스파크는 분산 아키텍처 때문에 처리 사간에 약간의 오버헤드(Overhead, 별도의 컴퓨팅 리소스)가 필연적으로 발생한다.

0.1초 미만의 초저지연이 필수적인 서비스에서는 Apache Flink 같은 전문 스트리밍 엔진에 비해 불리하다.

즉, 온라인 트랜잭션 처리(OnLine Transaction Processing, OLTP) 애플리케이션을 염두하지 않았기 때문에 대량의 원자성(Atomicity) 트랜잭션을 빠르게 처리해야 하는 작업에는 스파크는 적합하지 않다.

반면 일괄 처리 작업이나 데이터 마이닝 같은 온라인 분석 처리(OnLine Analytical Processing, OLAP)에 적합하다.

복잡한 튜닝

설정해야 할 파라미터가 매우 많다. (파티션의 개수, 메모리 할당 비율, 직렬화 방식 등)

• 스파크의 주요 특징

데이터 분산(Data Distribution)

스파크는 거대한 데이터를 파티션(Partition)이라는 작은 단위로 쪼개어 클러스터 내의 여러 노드에 나누어 저장한다.

여러 노드에 흩어져 있는 데이터 조각들을 마치 하나의 리스트처럼 다룰 수 있게 해주는 것이 RDD(분산 컬렉션)이다.

사용자는 데이터가 어디에 있는지 신경 쓰지 않고 하나의 데이터 셋처럼 사용할 수 있다.

*RDD에 대한 설명은 다음 내용(2)에 한다.

병렬 처리(Parallel Processing)

데이터가 여러 노드에 있기 때문에, 각 노드는 자신이 가진 데이터 조각(파티션)을 동시에 계산할 수 있다.

장애 내성(Fault Tolerance)

분산 환경에서 특정 노드가에 에러가 발생하였다 가정하면 스파크는 이를 계보(Lineage)라는 개념으로 해결한다.

계보란 데이터가 만들어진 과정을 기록하여 파일을 복원하는 것이 아닌 파일을 만드는 레시피를 이용해 복구하는 개념이다.

즉, 특정 노드가 죽어서 파티션이 유실되면, 스파크는 기록된 계보를 통해 유실된 조각만 다시 계산하여 복구한다.

이를 RDD의 탄력성이라 한다.

파킨슨 병, 관리부터 예방까지

BlueNoa — Wed, 3 Sep 2025 23:27:19 +0900

[목차]

파킨슨 병이란?
파킨슨 병의 주요 증상
파킨슨 진단 방법
치료 방법
관리와 예방

728x90

• 파킨슨 병이란?

파킨슨병은 뇌의 특정 부위인 '중뇌 흑질'에 있는 도파민 신경세포가 서서히 소실되면서 발생하는 진행성 퇴행성 뇌 질환입니다.

우리 몸의 움직임은 뇌에서 분비되는 '도파민'이라는 신경전달물질에 의해 조절되는데, 도파민 분비량이 부족해지면 운동 기능에 문제가 생기게 됩니다.

주로 60세 이상에서 1~2% 정도 발생하며, 치매 다음으로 흔한 대표적인 신경 퇴행성 질환으로 알려져 있습니다.

• 파킨슨 병의 주요 증상

파킨슨병은 '운동 증상'과 '비운동 증상'으로 나눌 수 있습니다.

초기에는 비운동 증상이 먼저 나타나는 경우가 많아 다른 질환으로 오인하기 쉽습니다.

<비운동 증상>
무표정한 얼굴(가면 얼굴)	얼굴 근육의 움직임이 줄어들어 표정이 굳어집니다.
정신적 증상	우울증, 불안, 무감동 등이 흔하게 동반됩니다.
수면 장애	불면증, 렘수면 행동 장애(REM sleep behavior disorder) 등으로 잠꼬대나 과격한 행동을 보일 수 있습니다.
기타	변비, 후각 저하, 통증, 피로감, 배뇨 장애, 침 흘림, 삼킴 곤란 등 다양한 증상이 나타납니다.

<운동 증상>
떨림(떨림증, Tremor)	특히 손, 발, 턱 등이 가만히 있을 때 떨리는 '안정 시 떨림'이 특징적입니다. 스트레스를 받거나 긴장하면 심해질 수 있습니다.
경직(경직증, Rigidity)	근육이 뻣뻣해지고 굳어지는 현상입니다. 목, 팔, 다리가 뻣뻣해져 움직임이 부자연스러워지고 통증을 유발하기도 합니다.
느린 행동 (운동 완서증, Bradykinesia)	모든 동작이 느려지는 증상입니다. 걸음이 느려지고, 표정이 무표정해지며, 글씨체가 작아지는 소서증(micrographia) 등이 나타납니다.
자세 불안정 (자세반사 소실, Postural Instability)	균형을 잡기 어려워져 걸을 때 몸이 앞으로 구부러지고, 넘어지기 쉽습니다. 보폭이 좁고 종종걸음을 걷게 되며, 한번 시작한 걸음을 멈추기 어렵거나 방향을 전환하기 힘들어합니다.

파킨슨 병의 대표 증상

• 파킨슨 진단 방법

파킨슨병은 단 하나의 검사로 확진하기 어렵기 때문에 여러 방법을 종합하여 진단합니다.

파킨슨 병을 확인하기 위한 검사
임상 증상 확인	숙련된 신경과 전문의가 환자의 떨림, 경직, 서동증 등 운동 증상을 직접 관찰하고 평가하는 것이 가장 중요합니다.
신경학적 검진	근력, 감각, 반사 등을 포함한 포괄적인 신경학적 검사를 시행합니다.
+
다른 질환과의 감별을 위한 추가 검사
영상 검사 (뇌 MRI, PET-CT)	파킨슨병과 유사한 증상을 보이는 다른 질환(예: 뇌졸중, 뇌종양)을 감별하기 위해 뇌 MRI를 촬영합니다. 도파민 대사 이상을 확인하는 PET-CT(도파민 운반체 PET) 검사는 파킨슨병을 진단하는 데 큰 도움을 줍니다.
약물 반응 확인	파킨슨병 치료 약물인 '레보도파'에 대한 환자의 반응을 관찰하는 것도 진단에 중요한 단서가 됩니다.

• 치료 방법

약물 치료
레보도파(Levodopa)	가장 효과적인 치료 약물로, 뇌에서 도파민으로 전환되어 운동 기능을 개선합니다.
도파민 효현제 (Dopamine Agonist)	도파민과 비슷한 작용을 하여 증상을 완화합니다.
기타 약물	다른 약물과 병용하여 효과를 높이는 약물들도 사용됩니다.

재활 치료
규칙적인 운동	걷기, 스트레칭, 수영 등 유산소 및 근력 운동을 꾸준히 하면 근육 경직을 완화하고 균형 감각을 유지하는 데 도움이 됩니다.
물리 치료, 작업 치료, 언어 치료	전문가의 도움을 받아 보행 훈련, 일상생활 동작 훈련, 삼킴 곤란 예방 등을 연습할 수 있습니다.

수술 치료
뇌심부 자극술 (DBS, Deep Brain Stimulation)	뇌에 전극을 삽입하여 전기 자극을 주는 수술로, 떨림, 경직, 서동증 등 운동 증상 개선에 큰 효과를 보입니다.

• 관리와 예방

파킨슨병은 단기간에 완치되는 질환이 아니므로 환자와 보호자, 의료진이 함께하는 장기적인 관리가 중요합니다.

약물 복용 시간 엄수	처방된 약물을 정해진 시간에 맞춰 규칙적으로 복용하는 것이 증상 관리에 필수적입니다. 특히 단백질이 많은 음식은 '레보도파' 흡수를 방해할 수 있으므로, 약 복용 전후 30분~1시간 동안은 단백질 섭취를 피하는 것이 좋습니다.
꾸준한 운동	재활 치료를 통해 배운 운동법을 일상생활에서 꾸준히 실천하여 근육을 유연하게 유지하고 낙상을 예방해야 합니다.
안전한 생활 환경 조성	넘어지기 쉬운 물건을 치우고, 미끄럼 방지 매트를 설치하는 등 낙상 예방에 신경 써야 합니다.
균형 잡힌 식단	충분한 수분 섭취와 섬유질이 풍부한 음식으로 변비를 예방하는 것이 좋습니다.
정기적인 진료	증상 변화를 의료진과 상의하며 약물 용량을 조절하고 관리 계획을 점검해야 합니다.

[DB] DataBase

BlueNoa — Tue, 7 Jan 2025 16:42:54 +0900

[목차]

DB(DataBase, 데이터베이스)

DBMS 종류
DBMS 특징

DBMS 분류

망형 데이터베이스(Network Database)
계층형 데이터베이스(Hierarchical Database)
관계형 데이터베이스(Relational Database)
객체 - 관계형 데이터베이스(Object-Relational Database)
객체 - 지향형 데이터베이스(Object-Oriented Database)

SQL(Structured Query Language) 개요

SQL의 특징

• DB(DataBase, 데이터베이스)

데이터베이스는 '데이터의 집합'이며 이를 관리하는 시스템을 DBMS(DataBase Management System)라고 한다.

DBMS는 데이터베이스를 관리/운영하는 역할을 한다. 이는 정보의 중복을 줄이고, 효율적인 검색과 업데이트가 가능하도록 하는 역할을 의미한다.

또한, 여러 명의 사용자나 응용프로그램이 공유하고 동시에 접근이 가능해야 한다.

DBMS에 데이터를 구축하고 관리하고 활용하기 위해서 사용되는 언어가 SQL이다.

DBMS 개념도

DBMS에는 여러가지 종류가 있다.

[DBMS 종류]

DBMS	제작사	운영체제	기타
MariaDB	MariaDB	Unix, Linux, Windows	오픈 소스(무료)
MySQL	Oracle	Unix, Linux, Windows, Mac	오픈 소스(무료) or 상용
PostgreSQL	PostgreSQL	Unix, Linux, Windows, Mac	오픈 소스(무료)
Oracle	Oracle	Unix, Linux, Windows	상용 (시장 점유율 1위)
SQL Server	MS	Windows
DB2	IBM	Unix, Linux, Windows	메인 프레임 시장 점유율 1위
Access	MS	Windows	PC용
SQLite	SQLite	Android, IOS	모바일 전용, 오픈 소스(무료)

DBMS의 특징

1. 중복제거

데이터베이스는 동일한 데이터를 여러 번 저장하는 것을 방지한다.

이는 공간 절약과 데이터의 일관성을 유지하는 데 도움이 된다.

2. 효율적인 검색

데이터베이스는 복잡한 질의를 빠르게 처리할 수 있다. 이를 위해 인덱싱, 쿼리 최적화 등의 기술이 사용된다.

3. 데이터 무결성

데이터베이스 안에 있는 데이터는 오류가 있어서는 안 된다. 그렇기 때문에 무결성을 위해 '제약조건(Constraint)'이라는 특성을 가진다.

예를 들어서 우리가 주민등록증을 통해 어떤 문서를 조회할 때 중복이 있어서는 안되는 것처럼 중복 방지의 제약 조건 등을 통해 정확한 데이터를 찾을 수 있다는 것이다. 그 외에도 여러 제약 조건이 있을 수 있다.

4. 데이터 일관성 유지

데이터 베이스는 '트랜잭션' 이라는 개념을 통해 데이터의 일관성을 유지한다. 이는 여러 작업이 동시에 이루어질 때에도 데이터가 일관된 상태를 유지하도록 한다.

트랜잭션이란?
데이터베이스에서 하나 이상의 작업 단위를 의미한다.
이 작업들은 원자성(Atomicity), 일관성(Consistency), 격리성(Isolation), 지속성(Durability)이라는 ACID 속성을 갖는다.

원자성 트랜잭션 내의 모든 작업이 성공적으로 완료되어야만 전체 트랜잭션이 성공으로 간주. 하나라도 실패하면, 롤백을 통해 원래 상태로 복구된다.

일관성 트랜잭션이 실행되기 전과 후 데이터베이스는 항상 일관된 상태를 유지해야 한다.
예를 들어, 외래 키 제약 조건이나 고유한 값의 중복을 방지하는 등의 규칙 적용

격리성 여러 트랜잭션이 동시에 실행될 때 각각의 트랜잭션은 다른 트랜잭션의 작업에 영향을 받지 않아야 한다.

지속성 트랜잭션이 성공적으로 완료되면 그 결과는 영구적으로 저장되어야 한다.

5. 확장성

데이터베이스는 많은 양의 데이터를 저장하고 처리할 수 있으며, 시스템의 성능을 향상시키기 위해 분산 데이터베이스 등의 기술을 사용할 수 있다.

6. 보안

데이터베이스는 데이터에 대한 접근을 제어하고 보호하는 기능을 제공한다. 데이터를 소유한 사람, 데이터 접근이 허가된 사람많이 데이터에 접근할 수 있다. 이는 권한 관리, 암호화 등 다양한 방법으로 이루어진다.

7. 데이터 공유 및 통합

여러 사용자와 애플리케이션 간에 데이터를 쉽게 공유하고 통합할 수 있다.

8. 백업 및 복구

데이터베이스는 데이터 손실을 방지하기 위해 백업과 복구 기능을 제공한다. 이를 통해 중요한 데이터를 안전하게 보호할 수 있다.

728x90

• DBMS 분류

망형 데이터베이스(Network Database)

데이터를 복잡한 네트워크 형태로 저장한다. 각 레코드(행)는 다른 레코드와 여러 개의 관계를 가질 수 있다.

구조는 부모 - 자식 또는 형제 - 형제 관계를 가지며, 이들 간의 연결을 통해 데이터를 구현한다.

항공편 예약이나 도서관 시스템 등이 예시로 있지만 구현하기 어렵고 복잡하기 때문에 관계형 데이터베이스를 더 많이 사용한다.

계층형 데이터베이스(Hierarchical Database)

데이터를 계층(트리) 구조로 저장한다. 각 레코드(행)는 부모 - 자식 관계를 가지며, 이들 간의 연결을 통해 데이터를 조직한다. 하나의 레코드가 여러 개의 자식 레코드를 가질 수 있으며, 계층 구조로 데이터를 표현한다.

가계도, 조직도 또는 파일 구조에 대한 표현을 할 때 사용된다.

단순한 계층적인 관계를 효율적으로 처리할 수 있으며, 성능이 우수하다.

하지만 다대다의 관계 표현에 제약이 있어 복잡한 데이터 모델링이 어려울 수 있다.

관계형 데이터베이스(Relational Database)

데이터를 테이블 형태로 저장하며, 각 테이블 간의 관계를 통해 데이터를 조직한다.

테이블은 행(레코드)과 열(칼럼 또는 필드)로 구성되며, 기본 키와 외래 키를 사용하여 레코드 간의 관계를 정의한다.

대부분의 데이터베이스는 관계형 데이터베이스를 위주로 사용하며 MySQL, Oracle 등도 관계형 데이터베이스이다.

데이터 모델링이 직관적이고 표준 SQL을 통해 쿼리 작성 및 관리가 용이하며 ACID 특성을 지니어 데이터 일관성을 보장한다.

복잡한 쿼리를 처리할 때 성능 저하가 발생할 수 있으며, 대용량 데이터 처리에 어려움이 있을 수 있다.

객체 - 관계형 데이터베이스(Object-Relational Database)

객체 지향 프로그래밍의 개념을 데이터베이스 모델링에 도입하여, 객체와 그 속성, 메서드를 테이블로 저장한다.

객체와 클래스를 기반으로 데이터를 조직하며, 관계형 데이터베이스의 장점을 유지하면서 객체 지향 프로그램의 특성을 활용할 수 있다.

객체 - 지향형 데이터베이스(Object-Oriented Database)

객체 - 관계형 데이터베이스와 마찬가지로 객체와 그 속성, 메서드를 직접 저장하지만 클래스와 객체로 데이터를 조직하며, 상속과 다형성 등의 객체 지향 특성을 지원하여 관계형 데이터베이스의 테이블과 열을 기반으로 하는 구조와 달리, 객체의 속성과 메서드를 직접 저장하고 처리한다.

• SQL(Structured Query Language) 개요

SQL은 데이터베이스를 관리하고 조작하기 위한 표준화된 언어이다.

일반적인 프로그래밍 언어인 C, C++, JAVA 등 비교하면 좀 다른 특성을 갖는다.

SQL은 데이터베이스에 저장된 데이터를 검색, 삽입, 업데이트 및 삭제하는 데 주로 사용된다.

SQL의 특징

1. DBMS 제작 회사와 독립적

DBMS는 표준 SQL을 기본으로 맞춰서 DBMS를 개발한다. 그러므로 표준 SQL은 대부분의 DBMS 제품에서 공통적으로 호환이 된다.

단, 주의할 점이 모든 DBMS 제작 회사들이 표준 SQL을 지키려고 하지만 각 제품마다 전부 동일하지는 않는다.

2. 호환성

SQL 표준은 서버, 개인, 휴대용 장비에서 운영되는 DBMS마다 상호 호환성이 좋다. 그러므로 어떤 시스템에 이식을 해도 별 문제가 없다.

3. 분산형 클라이언트 / 서버 구조

클라이언트 - 서버 구조를 지원하기 때문에 클라이언트에서 질의를 하면 서버에서 그 질의를 받아 서버에서 처리한 후 다시 클라이언트에게 전달한다.

ERP(Enterprise Resource Planning)

BlueNoa — Sat, 7 Dec 2024 02:22:18 +0900

[목차]

EPR란?

ERP의 역사와 발전
ERP의 주요 기능
ERP 도입 필요성과 기대 효과
ERP 시스템 종류

ERP 선택 방법

ERP 도입 전 고려해야 할 사항
기업 규모, 업종에 따른 ERP 선택 기준
ERP 벤더 선정 시 고려해야 할 점

ERP 구축 및 운영 시 주의해야 할 점

ERP 구축 프로젝트의 단계별 진행 과정
데이터 마이그레이션 및 시스템 테스트
사용자 교육 및 변화 관리
ERP 시스템의 안정적인 운영을 위한 유지보수
ERP와 관련된 최신 트렌드(클라우드 ERP, 모바일 ERP)

• EPR(전사적 자원 관리 시스템, Enterprise Resource Planning)

ERP는 기업의 모든 자원을 통합적으로 관리하는 시스템입니다.

재무, 생산, 인사, 고객관계관리 등 기업 운영에 필요한 모든 기능을 하나의 시스템으로 연결하여 업무 효율성을 높이고, 정확한 의사결정을 지원합니다.

ERP의 역사와 발전

ERP는 1960년대 후반 MRP(Material Requirements Planning, 자재 요구 계획) 시스템에서 시작되었습니다.

이후 MRP II, MRP III를 거쳐 90년대 들어 ERP란 용어가 일반화되었습니다..

초기 ERP 시스템은 주로 제조업 중심으로 개발되었지만, 현재는 서비스업 및 유통업 등 다양한 산업 분야에서 활용되고 있으며, 클라우드 기술의 발달과 함께 ERP 시스템도 클라우드 기반으로 제공되어 도입 비용과 관리 부담을 줄일 수 있습니다.

ERP의 주요 기능

EPR 시스템은 모든 기능을 통합적으로 관리하지만, 주요 기능은 다음과 같습니다.

재무 : 회계, 자금 관리, 예산 관리 등 기업의 재무 활동을 통합적으로 관리합니다.
생산 : 생산 계획, 재고 관리, 품질 관리 등 생산 관련 모든 프로세스를 관리합니다.
인사 : 인사 관리, 급여 관리, 교육 관리 등 인적 자원 관리를 효율적으로 지원합니다.
고객 관계 관리(CRM) : 고객 정보 관리, 영업 지원, 마케팅 활동 등 고객과의 관계를 강화합니다.
공급망 관리(SCM) : 구매, 물류, 재고 관리 등 공급망 전반을 관리하여 원활한 제품 공급을 보장합니다.

ERP 도입 필요성과 기대 효과

정보 통합 : 모든 비즈니스 프로세스를 통합하여 정보를 한 곳에서 관리할 수 있게 합니다. 이로 인해 정보의 일관성이 유지됩니다.
효율성 향상 : 자동화된 시스템을 통해 반복적인 작업을 줄이고, 시간과 비용을 절약할 수 있습니다.
비즈니스 의사결정 : 실시간 데이터 분석을 가능하게 하여 기업의 성과를 즉각적으로 평가하고, 비즈니스 전략을 개선하는 데 도움이 됩니다.
규모 확장성 : ERP 시스템은 클라우드 기반으로도 제공되므로, 기업의 규모가 확장될 때도 쉽게 확장이 가능합니다.
안전성과 보안성 : ERP는 강력한 보안 기능을 갖추어 중요한 데이터를 안전하게 관리하고 보호할 수 있습니다.

ERP 시스템 종류

SAP(Systems, Applications, and Products in Data Processing) : SAP는 세계적으로 잘 알려진 ERP 시스템 중 하나로, 다양한 산업 분야의 기업들이 사용하고 있습니다. 모듈화된 설계로 각각의 비즈니스 프로세스를 독립적으로 관리할 수 있으며, 또한 클라우드와 온프레미스 두 가지 구동 방식을 지원합니다.
Oracle : 글로벌 기업들이 많이 사용하고 있으며, Oracle의 ERP 솔루션은 MRP II, SCM, CRM, HRM 등 다양한 모듈을 제공하며, 또한 클라우드와 온프레미스 두 가지 구동 방식을 지원합니다.
Microsoft Dynamics 365 : D365라고 하는 Microsoft가 개발한 ERP 시스템으로, Office 365와 통합되어 사용할 수 있습니다. D365는 클라우드 기반의 솔루션으로, 비즈니스 프로세스를 즉각적으로 업데이트하고 관리하는 데 도움이 됩니다.

728x90

• ERP 선택 방법

ERP 도입 전 고려해야 할 사항

1. 비즈니스 목표 정의

ERP 도입의 주요 목적과 기대 효과를 명확히 파악해야 합니다. 예를 들어, 생산성 향상, 재고 관리 개선, 고객 서비스 개선 등이 있습니다.

2. 현재 상태 분석

기존 비즈니스 프로세스와 IT 시스템을 평가하여 현재의 문제점을 파악합니다. 이는 기존 시스템의 제한사항과 개선 방향성을 이해하는 데 도움이 됩니다.

3. 예산 및 시간 계획

ERP 구축 프로젝트의 예산과 시간 계획을 세웁니다. 이를 통해 프로제그틩 실현 가능성과 리스크를 평가할 수 있습니다.

4. 인력 및 교육 계획

ERP 시스템을 사용하기 위한 인력을 준비하고, 필요한 교육과 훈련을 계획해야 합니다. 이는 ERP 시스템의 적응성과 성공적인 도입을 보장하는 데 중요합니다.

기업 규모, 업종에 따른 ERP 선택 기준

1. 기업 규모

소규모 기업 : 비용 효율성이 중요하며, 클라우드 기반 ERP가 적합할 수 있습니다.
중소기업 : 다양한 ERP 솔루션을 고려할 수 있으며, 클라우드와 온프레미스 시스템 모두 선택 가능합니다.
대기업 : 복잡한 비즈니스 프로세스를 관리해야 하므로, 전문적인 ERP 시스템과 자동화가 필요합니다.

2. 업종

제조업 : 생산 계획, 재고 관리, 품질 관리 등이 중요합니다.
서비스업 : 고객 관계 관리, 서비스 제공 및 지원이 중요합니다.
IT/소프트웨어 개발 : 소프트웨어 개발 프로세스를 효율적으로 관리해야 합니다.

ERP 벤더 선정 시 고려해야 할 점

1. 기술적 능력

시스템 요구사항 충족 가능성 : 선택한 ERP 시스템이 기업의 비즈니스 요구를 충족하는지 확인해야 합니다.
확장성 : 향후 규모 확장을 고려하여 시스템의 확장성을 평가합니다.

2. 지원 및 서비스

기술 지원 : ERP 시스템 사용 중 발생할 수 있는 문제에 대한 지원이 충분한지 확인합니다.
교육 및 트레이닝 : ERP 시스템을 적응하기 위한 교육과 훈련 프로그램이 제공되는지 확인합니다.

3. 비용

총비용 계산 : 초기 구축비, 유지보수비, 교육비 등을 포함한 전체적인 비용을 계산하여 비교합니다.
프로젝트 예산 : ERP 구축 프로젝트의 예산과 일치하는지 확인합니다.

• ERP 구축 및 운영 시 주의해야 할 점

ERP 구축 프로젝트의 단계별 진행 과정

1. 요구 분석

비즈니스 목표 정의 : ERP 도입 주요 목적과 기대 효과를 명확히 파악
현재 상태 분석 : 기존 비즈니스 프로세스와 IT 시스템을 평가하여 현재의 문제점을 파악

2. 계획 및 설계

프로젝트 계획 : 예산, 시간, 리소스 등을 포함한 전체적인 프로젝트 계획
시스템 설계 : ERP 시스템의 구조와 구성 요소를 설계

3. 구현 및 설치

시스템 구축 : 설계된 ERP 시스템을 구축하고, 필요한 소스트웨어와 하드웨어를 설치
데이터 마이그레이션 : 기존 데이터를 새로운 ERP 시스템으로 이전

4. 테스트 및 검증

시스템 테스트 : ERP 시스템의 모든 기능을 테스트하여 정상적으로 작동 여부 확인
사용자 교육 : ERP 시스템을 사용하기 위한 교육과 훈련을 진행

5. 출시 및 운영

시스템 출시 : ERP 시스템을 실무에 적용하여 비즈니스를 시작합니다.
변화 관리 : 시스템의 변경사항을 관리하고, 필요한 업데이트와 유지보수를 진행

데이터 마이그레이션 및 시스템 테스트

1. 데이터 마이그레이션

데이터 분석 : 기존 데이터의 구조와 내용을 분석하여 새로운 ERP 시스템에 적합하게 변환
데이터 이전 : 기존 데이터를 새로운 ERP 시스템으로 이전하며, 필요한 데이터 전처리 작업을 수행

2. 시스템 테스트

단위 테스트 : 각 모듈의 기능을 개별적으로 테스트하여 오류를 확인
통합 테스트 : 모든 모듈이 통합되어 동작하는지 확인
사용자 테스트 : 실제 사용자들이 시스템을 활용할 때 발생할 수 있는 문제점을 파악하고 수정

사용자 교육 및 변화 관리

1. 사용자 교육

교육 계획 : ERP 시스템을 적응하기 위한 교육과 훈련 프로그램을 계획
교육 진행 : 실제 사용자들이 시스템을 활용할 수 있도록 교육을 진행

2. 변화 관리

변경 사항 관리 : ERP 시스템의 변경사항을 관리하고, 필요한 업데이트와 유지보수를 진행
사용자 피드백 : 사용자가 시스템에 대한 피드백을 제공하여 지속적인 개선이 이루어질 수 있도록 합니다.

ERP 시스템의 안정적인 운영을 위한 유지보수

1. 유지보수 계획

유지보수 계획 : ERP 시스템의 유지보수를 위한 계획을 세웁니다.
예산 및 리소스 할당 : 유지보수 비용과 필요한 리소스를 할당합니다.

2. 정기적인 업데이트

시스템 업데이트 : 시스템에 대한 새로운 기능이나 보안 패치 등을 주기적으로 적용합니다.
사용자 피드백 반영 : 사용자가 시스템에 대한 피드백을 제공하여 지속적인 개선이 이루어 질 수 있도록 합니다.

3. 문제 해결

문제 진단 및 해결 : ERP 시스템에서 발생하는 문제를 신속하게 진단하고 해결
고객 지원 : 사용자가 시스템에 대한 질문이나 문제를 해결할 수 있도록 고객 지원을 제공

ERP와 관련된 최신 트렌드(클라우드 ERP, 모바일 ERP)

1. 클라우드 ERP

장점 : 비용 절감, 확장성, 유연성 등
적합 시나리오 : 중소기업, 비즈니스 규모가 크지 않은 경우

2. 모바일 ERP

장점 : 어디서든 접근 가능, 편리한 작업 가능
단점 : 적합 시나리오 : 필드 근무자, 고객 서비스 담당자 등이 자주 이동하는 경우

3. 인공지능 및 머신러닝 기반의 ERP

장점 : 예측 분석, 자동화된 결정 지원 등
적합 시나리오 : 데이터를 활용하여 비즈니스 의사결정을 보다 효과적으로 수행해야 하는 경우

[취미] 자전거의 종류

BlueNoa — Wed, 31 Jan 2024 02:02:56 +0900

자전거 종류

로드 자전거(Road Bike)
산악 자전거(MTB, Mountain Bike)
시티 자전거(City Bike)
하이브리드 자전거(Hybrid Bike)
접이식 자전거(Folding Bkie)
BMX 바이크(BMX Bike)

전기 자전거 종류

전기 로드 자전거
전기 산악 자전거(eMTB)
전기 도심형 자전거
전기 미니벨로

• 자전거 종류

우리가 일상 생활에서 자주 접하는 자전거에도 여러 가지 형태가 존재한다.

자전거를 선물 받아 자가 수리를 도전해보면서 자전거에도 종류가 다양하다는 것을 알게 되었다.

1. 로드 자전거(Road Bike)

출처 : https://www.daejinkr.com/shop/item.php?it_id=1661323565

로드 바이크는 포장 도로와 같이 고속 주행에 유리한 환경에서 달리기 위해 경량으로 디자인된 자전거다.

두께가 얇고 단단한 타이어와 경량 프레임(몸체)가 특징이며, 길 위에서 빠른 속도를 경험하고 싶은 사람들에게 적합하다.

그 밖에도 로드 바이크는 힘을 잘 전달할 수 있어 에너지 손실을 줄일 수 있다. 또 핸들의 형태가 드롭바이기 때문에 다양한 자세를 취할 수 있어 장시간 라이딩 중에 피로를 줄일 수 있다.

로드 바이크도 세분화된 종류가 있는데 간단하게 정리하면 평지에 유리한 에어로 타입, 언덕에서는 올라운드 타입 등 자신이 라이딩 하는 환경에 따라 선택하면 된다.

단점으로 로드 바이크는 전반적으로 꽤 비싼 가격대를 형성하고 있다. 또 타이어가 얇고, 고압의 공기를 넣기 때문에 노면이 고르지 못한 곳에선 자주 타이어 펑크를 겪을 수 있다.

2. 산악 자전거(MTB, Mountain Bike)

출처 : 내꺼

산악 자전거는 비포장 도로와 산악 지형에 특화된 자전거로, 두꺼운 타이어와 튼튼한 프레임 바디가 특징이다.

자전거의 형태가 일반적인 생활형 자전고와 똑같기 때문에 탑승하는 데 큰 지장이 없다.

사진에서도 보면 알 수 있는만 MTB는 기본적으로 앞바퀴에 서스펜션 또는 쇼바(충격을 흡수해주는 기능)라고 불리는 장치가 장착되어 있기 때문에 노면의 홀이나 균열을 넘어갈때 발생하는 충격에 강하다.

또 범용성이 좋아서 가파른 오르막길에도 쉽게 올라갈 수 있다.

MTB의 종류로는 하드테일과 풀샥으로 나눠진다. 사진에 있는 내 자전거가 하드테일이며, 뒷바퀴 쪽에 서스펜션(쇼바)이 추가적으로 설계되어 생산된 자전거를 풀샥이라고 한다.

단점으로는 평지 도로에서 매우 느리다... 또한 자전거 자체의 무게도 무거운 편이다.

장시간 주행을 하게 되면 손바닥과 손목에 통증이 온다.

흔히 깍두기 타이어라고 불리는 산악 타이어를 사용하면 포장도로에서는 금방 닳아 없어질 수 있다.

3. 시티 자전거(City Bike)

출처 : 나무위키 "따릉이"

도시형 자전거는 우리가 길에서 흔히 접하는 "따릉이"이다.

도시 환경에서 편안하게 이동하기 위해 디자인된 자전거로 안정적이고 편안한 라이딩을 제공하며, 바구니와 함께 짐을 싣기 편하게 되어 있다.

4. 하이브리드 자전거(Hybrid Bike)

출처 : 위키백과

하이브리드 자전거는 로드 바이크와 MTB의 특징을 혼합한 자전거다.

로드 자전거의 장점인 공기 저항을 줄이면서 힘을 덜 쓰게 하는 얇은 두께의 타이어와 MTB의 일자 핸들이 특징이다.

일상 생활에서 간편하게 타기 좋게 설계되어 있으며, 각종 악세사리 예를 들어서 짐받이 등을 부착하기 좋아 출퇴근 및 장보기 등에 활용하기 좋다.

이외에도 초보자가 접하기 좋은 자전거이기도 한데 로드 자전거처럼 주행에 특화된 자세를 유지할 필요도 없고, MTB처럼 핸들이 일자형태이기 때문에 전방 시야를 넓게 보기 좋다.

단점은 하이브리드 제품들이 겪는 문제를 포함한다는 것이다. 즉, 이도저도 아니라는 것이다.

로드만큼 쾌적하고 빠른 주행 성능이 나오는 것도 아니며, MTB처럼 서스펜션(쇼바)이 존재해서 험지 주행이 가능한 것도 아니기 때문에 찬밥 신세가 되기도 한다.

~~(솔직히 MTB 자전거의 휠을 얇은 것으로 바꿔서 고속주행용 타이어를 사용하는 것이 더 좋다고 개인적으로 생각한다.)~~

5. 접이식 자전거(Folding Bike)

출처 : 엔비 스포츠

우선 접이식 자전거는 미니벨로와는 다르다는 점을 강조한다.

미니벨로는 '작은 자전거'라는 뜻으로 휠의 크기가 24인치 미만의 자전거를 통칭한다.

다시 본론으로 들어가서 접이식 자전거는 MTB와 미니벨로 등을 포함하여 자전거의 프레임(몸체)을 접을 수 있는 형태의 자전거들을 말한다.

자전거를 접을 수 있다는 것은 공간의 활용성이 높다는 것을 말한다. 그렇기 때문에 미니벨로에 속하는 16인치, 20인치 바퀴 휠을 가진 자전거들은 대중교통과 함께 도심에서 사용하기 쾌적하다.

아니면 26인치 이상의 큰 휠을 가진 MTB도 접이식 프레임이라면 자동차와 지하철 그리고 고속버스 및 KTX같은 기차에도 탑승할 수 있기 때문에 현대인들에게 가장 적합한 자전거라고 할 수 있다.

(단, 산악 주행을 자주 하면 접이식은 비추다. 관절이 많으면 부러질 확률도 큰 법..)

단점으로는 접이식 구조에 필요한 부품과 충격을 견뎌야 하는 프레임의 강도 때문에 부피는 작아도 무게는 나갈 수 있다.

이는 주행 시 들어가는 힘이 늘어날 수 있다는 것이다. (단, 브롬톰 같은 브랜드 자전거는 무게도 가볍다... 가격은....)

바로 위에서 설명했지만 접이식 구조로 인해 프레임의 내구성이 약해질 수 있다.

6. BMX 바이크(BMX Bike)

출처 : 슈레드

BMX 바이크는 흔히 우리가 예능이나 서양 배경의 영화에서 자주 등장하는 트릭이나 점프를 위해 특별 제작된 짧은 프레임의 튼튼한 내구성을 가진 자전거다.

단, BMX는 휠이 작지만 미니벨로에는 속하지 않는다.

일반 도로에서는 기어가 고정되어 있어서 보통 일어서서 주행하는 경우가 많으며, 경량화를 위해서 브레이크를 모두 제거하는 경우가 많다. (하나만 장착하던가... 참고로 픽시 자전거도 마찬가지다.)

BMX 자전거의 단점은 구지 서술하진 않겠다. 일반적인 자전거와는 거리가 멀기 때문에 묘기를 즐기는 사람들에게 추천할만하다.

728x90

• 전기 자전거 종류

전기 자전거의 형태는 바로 위에서 다룬 자전거의 종류에서 크게 벗어나지 않는다.

대부분이 기존의 자전거에 전기 모터 구동장치를 추가한 형태이기 때문이다.

그렇기 때문에 전기 자전거의 종류는 크게 보면 전기 로드 자전거, eMTB, 전기 도심형 자전거, 전기 미니벨로 등으로 구별지을 수 있다.

전기 자전거를 구매할 경우에는 자전거 종류 외에도 구동 방식, 배터리 형태/용량, 접이식 가능 여부, 모터 종류와 출력 등을 확인하는 것이 좋다.

[전기 자전거 필수 숙지 용어]

페달 어시스트(PAS)

라이더가 페달을 밟으면 전동 모터가 전기의 힘으로 도움을 주는 방식이다. 페달을 밟으면 주기적으로 전기 모터가 활성화 된다.

스토틀(Throttle)

페달을 밟지 않고도 전동 모터를 직접 사용할 수 있는 방식이다. 오토바이처럼 핸들에 있는 스토를을 당기면 자전거가 작동한다.

허브모터

바퀴 휠(보통 뒷바퀴) 자체에 모터가 장착된 형태로 구동계(스프라켓이나 체인 등)에 무리를 주지 않지만 무게가 많이 증가한다. 허브 모터 내부에는 유성 기어가 탑재되는데 모터의 출력이 500w 이상인 경우 '유성기어 파손'이 자주 발생한다.

중앙구동(미드 방식) 모터

e-MTB 자전거에서 채택하는 방식이다. 자연스러운 구동감과 허브모터보다 강한 토크 출력을 낼 수 있기 때문에 오르막길과 산악 지형에 강하다. 단, 스프라켓과 체인 같은 구동계가 강한 힘을 버티지 못하고 마모되고 망가질 확률이 크기 때문에 기어 변속에 신경써야 한다. 가장 큰 단점은 가격이다.

[전기 자전거 필수 상식]

- 모터 구동 시 최고 속력이 25km/h로 제한이 되어 있어야 한다.

- 자전거 전체 중량이 30kg 미만이어야 한다.

- 전기로 구동되는 자전거 및 킥보드 등의 원동기장치는 헬멧을 착용하지 않을 경우 범칙금 2만원이 부과된다.

- 자전거 도로를 주행하기 위해서는 PAS방식 또는 PAS, 스로틀 겸용으로 작동되는 자전거만 주행 가능하다.

- 전기 자전거가 자전거 도로에서 주행하기 위해서는 모터 출력은 500w이하로 제한된다.

1. 전기 로드 자전거

출처 : 다나와

전기 로드는 내장형 배터리를 사용한다. 아무래도 바람의 저항 등등 생각해보면 프레임 바디 내부에 배터리를 넣는 것이 가장 효율이 좋을 것이다. 그렇기 때문에 배터리 용량에는 한계가 존재한다.

솔직히 외관으로만 보면 일반 로드와 구별이 힘들다. 뒷바퀴에 있는 모터를 확인하지 않으면 전기 로드는 정말 구별하기 어렵다.

구동 방식은 PAS 형태다.

2. 전기 산악 자전거(eMTB)

출처 : ebiketips

풀샥 eMTB는 직접 탑승해보면 정말 최고의 승차감을 느낄 수 있다.

기존의 MTB를 전기 자전거 개조 키트(추천하지 않는다. 전기 자전거는 일반 자전거에 비해 프레임이 튼튼하게 나오기 때문에 처음부터 전기 자전거를 구매하는 것을 추천한다.) 등을 이용해서 eMTB로 개조하는 방법이 있지만, 처음부터 완성형 eMTB를 구매하면 모터가 페달 쪽에 있는 미드 모터다. 미드 모터가 토크의 힘을 더 많이 발휘할 수 있기 때문에 뒷바퀴에 모터가 있는 허브 모터에 비해 오르막길과 비포장 도로에서 강한 힘을 낼 수 있다.

단, 스프라켓과 체인은 강한 토크의 힘이 가해지면 박살날 수 있으니 항상 기어 변속을 신경 써야 한다.

배터리는 내장형과 외장형 형태를 둘 다 판매하고 있기 때문에 개인 취향에 맞는 제품을 고르면 된다.

3. 전기 도심형 자전거

출처 : 다나와 - 팬텀 페리아2023

도심형 자전거에 허브 모터와 배터리를 장착한 모습이다. 주로 아이를 키우는 어머니들이 이용하기 좋다.

뒤에 있는 짐받이를 아이를 태우는 용도의 의자로 개조하거나 가방을 장착하여 장보기 등에 활용하기 좋으며 기본적으로 바구니가 있기 때문에 일상 생활의 범용성은 매우 넓다.

단, 대부분의 도심형 전기 자전거(삼천리 자전거 등)는 의자에 배터리가 있기 때문에 매번 충전을 하기 위해서는 안장을 분리해야 한다는 단점이 존재한다. (매번 의자 높이를 다시 조절하는 것은...)

구동 방식은 PAS 또는 쓰로틀을 지원하거나 둘 다 동시 지원하기도 한다.

4. 전기 미니벨로

출처 : 다나와 - 타이탄 700

미니벨로 자전거에 전기 모터와 배터리를 장착한 형태다.

국내에선 배달용 자전거로 많이 사용되는 제품 라인업이다. 그렇기 때문에 배터리 교체도 외장형으로 간편하며 구동 방식도 PAS와 쓰로틀 모두 지원하고 접이식인 경우가 대부분이기 때문에 일반적인 도시와 흙길 등을 달리기에 적합하다.

일부 모델은 뒤쪽에도 서스펜션을 장착하기 때문에 승차감까지 확보할 수 있다.

(산악 라이딩을 즐기는 것이 아니라면 전기 미니벨로면 어디든 갈 수 있기 때문에 가장 추천하는 자전거 종류다.)

머신러닝 - 분류(Classification)와 퍼셉트론(Perceptron)

BlueNoa — Mon, 22 Jan 2024 16:10:26 +0900

<목차>

분류(Classification)란?
퍼셉트론(Perceptron)

퍼셉트론의 구조
퍼셉트론의 요소
퍼셉트론의 특성

가중치 결정(1) - 경사하강법과 손실함수, 힌지 손실
가중치 결정(2) - 확률적 경사하강법

• 분류(Classification)란?

분류는 주어진 입력 데이터를 미리 정의된 클래스 또는 범주로 구분하는 작업을 의미한다. 즉 비연속적인 값을 예측한다.

지도학습의 한 유형으로, 모델을 훈련시키기 위해 레이블(정답)이 지정된 훈련 데이터를 사용한다. 각 입력 데이터 포인트는 특징(feature)으로 구성되어 있고, 모델은 이러한 특징을 기반으로 해당 데이터가 어떤 크랠스에 속하는지 예측한다.

클래스 또는 범주의 수가 2개면 이진 분류라고 하며, 3개 이상이면 다중클래스 분류(Multiclass Classification)라고 한다.

이진 분류(Binary Classification)

두 개의 클래스 중 하나로 분류하는 문제다. 예를 들어, 이메일이 스팸인지 아닌지를 판별하는 문제가 있다.

다중 클래스 분류(Multiclass Classification)

세 개 이상의 클래스 중 하나로 분류하는 문제다. 손글씨 숫자를 인식하거나 동물 종을 분류하는 문제가 다중 클래스 분류에 해당한다.

분류가 사용되는 분야는 다음과 같다.

금융 : 고객의 신용 위험을 평가하는 데 사용

의료 : 질병을 진단하는 데 사용

보안 : 침입을 감지하는 데 사용

소비자 : 제품의 선호도를 예측하는 데 사용

NOTE : 앞으로 다룰 퍼셉트론, 로지스틱 회귀, SVM과 신경망은 두 클래스의 경계면에 대한 함수(경계면을 나타내는 수식)를 학습한다.

• 퍼셉트론(Perceptron)

퍼셉트론은 인공 신경망의 기초를 이루는 간단한 형태의 인공 뉴런이다.

그렇기 때문에 다중 퍼셉트론은 신경망까지의 개념으로 확장될 수 있다.

프랑크 로젠블라트(Frank Rosenblatt)에 의해 1957년에 제안되었으며, 이는 선형 분류 문제를 위한 간단한 모델이다.

퍼셉트론의 구조

입력층 -> 가중치 -> 편향 -> 출력층

퍼셉트론 구조

손글씨가 악필인 것은... 아쉽다.

동작 원리를 보면 입력층에서 입력값을 받은 후 가중치와 계산 후 합산하여 활성화 함수를 통해서 임계값을 구한다.

이를 수식으로 표현하면 다음과 같다.

z = w1*x1 + w2*x2 + ..., wn-1 * xn-1 + wn * xn

y = step(z)

각각의 요소를 좀 더 자세히 설명하면 다음과 같다.

퍼셉트론의 요소

입력(input)	각각의 입력은 하나의 특성(feature)을 나타내며, 이 특성은 실제 데이터에서 추출된 값이다. 위 그림을 참고하면 'x1, x2, ..., xn-1, xn'까지의 값들이 입력층에 해당하는 입력값이다.
가중치(Weight)	가중치는 해당 입력값에 대한 중요도를 나타내며, 모델이 학습하는 파라미터다. 위 그림을 참고하면 'w0, w1, w2, ..., wn-1, wn' 값들이 가중치에 해당한다.
활성화 함수 (Activation Function)	가중치를 곱한 입력값들의 합에 활성화 함수를 적용하여 출력값을 생성한다. 활성화 함수는 일반적으로 계단 함수(Step Function)를 사용하며, 출력이 특정 임계값을 넘으면 1, 그렇지 않으면 0을 출력한다. 활성화 함수에는 'Sign, Sigmoid, Tanh, ReLU, Leaky ReLU' 함수 등이 있다.
임계값(Threshold)	활성화 함수의 출력이 결정되는 임계값이다. 임계값을 초과하면 1, 아니면 0을 출력한다. 이를 통해서 분류를 한다.
편향(Bias Node)	편향 또는 바이어스 노드라고 불리는 해당 값은 입력 데이터의 평균값을 조절하는 역할을 한다. 편향의 역할은 입력값이 모두 0일 때에도 퍼셉트론이 활성화 되도록 하는 것이다. 즉, 편향을 통해 원점을 지나도록 하여 더 다양한 패턴을 학습할 수 있다. 위 그림을 통해 보면 x0의 값에 해당한다.

728x90

퍼셉트론의 특성

1. 선형 분류

퍼셉트론은 선형 분리 가능(Linearly Separable)한 문제만을 풀 수 있다.

즉, 입력 공간에서 클래스를 구분하는 초평면(Hyperplane)이 존재하는 경우에 효과적으로 작동할 수 있다.

NOTE 초평면(Hyperplane)이란?

초평면이란 결정 경계(Decision Boundary)를 나타내는 용어다.

예를 들어, 2차원 입력 공간에서는 직선이 초평면이 될 수 있다. 해당 직선은 두 클래스(카테고리, 범주)를 나누는 경계를 형성하여, 입력값이 해당 경계를 넘어가면 하나의 클래스로 분류되고 그렇지 않은 경우에는 다른 클래스로 분류하는 기준이 된다.

즉, 초평면은 학습 과정에서 가중치와 편향을 조절하여 분류를 결정하는 경계선이 되고, 퍼셉트론은 이러한 초평면을 학습하여 데이터를 분류한다.

초평면 또는 결정 경계

<R - 결정 경계>

# 필요한 라이브러리 로드
library(ggplot2)

# 데이터 생성을 위한 시드 설정
set.seed(123)

# 무작위로 2차원 데이터 생성
data <- data.frame(
  x1 = runif(100, 0, 10),  # 0에서 10까지의 무작위 x1 값
  x2 = runif(100, 0, 10)  # 0에서 10까지의 무작위 x2 값
)

# 퍼셉트론의 초평면을 기준으로 클래스 레이블 생성
data$label = factor(ifelse(2 * data$x1 - 1.5 * data$x2 + 5 + rnorm(100) > 0, 1, 0))

# 초평면을 나타내는 함수 정의
perceptron_hyperplane <- function(x1) {
  return(1.5 * x1 - 5) / 2
}

# 산점도와 퍼셉트론 초평면 시각화
ggplot(data, aes(x = x1, y = x2, color = label)) +
  geom_point() +
  geom_abline(slope = 1.5, intercept = 5/2, linetype = "dashed", color = "blue") +
  labs(title = "Perceptron Hyperplane Example",
       x = "X1",
       y = "X2",
       color = "Label") +
  theme_minimal()

2. 단일 뉴런

퍼셉트론은 하나의 뉴런으로 이루어져 있다. 이는 입력과 가중치의 선형 조합을 계산하고 그 결과를 활성화 함수에 통과시켜 출력을 생성한다. 다만 여러 퍼셉트론을 결합하여 다중 퍼셉트론(MLP)과 같은 복잡한 신경망을 생성할 수 있다.

3. AND, OR, NOT 연산

퍼셉트론은 선형 분리가 가능한 문제에만 적용이 가능하기 때문에 XOR 같은 비선형 문제를 해결하기에는 한계가 있다.

그렇기 때문에 AND, OR, NOT 연산만을 지원하며 XOR 연산을 해결하기 위해 다중 퍼셉트론이 등장했다.

<퍼셉트론의 AND, OR, NOT 연산 자세한 내용 + XOR 연산>

<AND 연산 : 논리곱>

입력된 값이 모두 참일 경우에만 참이 출력되는 논리 연산을 수행한다.

import numpy as np
# AND 연산자
def AND_gate(x1, x2):
    inputs = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    result = np.sum(inputs * w) + b
    # return 1 if result > 0 else 0
    if result > 0:
        print(1)
        return 1
    else:
        print(0)
        return 0

print("and 연산자")
AND_gate(0, 0) # 0
AND_gate(1, 0) # 0
AND_gate(0, 1) # 0
AND_gate(1, 1) # 1

<OR 연산자 : 논리합>

입력 중 하나 이상이 참이면 참이 출력되는 논리 연산이다.

# OR 연산자
def OR_gate(x1, x2):
    inputs = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    result = np.sum(inputs * w) + b
    if result > 0:
        print(1); return 1
    else:
        print(0); return 0

print("OR 연산자")
OR_gate(0, 0) # 0
OR_gate(1, 0) # 1
OR_gate(0, 1) # 1
OR_gate(1, 1) # 1

<NOT 연산자 : 부정>

def NOT_gate(x):
    w = -0.5
    b = 0.5
    result = x * w + b
    if result > 0:
        print(1); return 1
    else:
        print(0); return 0

# AND, OR 함수에서 if문의 print 결과를 주석처리한 후 출력하면 깔끔하다.
print("NOT AND 연산자")
NOT_gate(AND_gate(0, 0)) # 1
NOT_gate(AND_gate(1, 0)) # 1
NOT_gate(AND_gate(0, 1)) # 1
NOT_gate(AND_gate(1, 1)) # 0
print("NOT OR 연산자")
NOT_gate(OR_gate(0, 0)) # 1
NOT_gate(OR_gate(1, 0)) # 0
NOT_gate(OR_gate(0, 1)) # 0
NOT_gate(OR_gate(1, 1)) # 0

<XOR 연산자 : 배타적 논리합>

두 입력 값이 서로 다를 때만 결과가 참이 되고, 두 입력 값이 같으면 결과가 거짓이 되는 연산이다.

일반적으로 퍼셉트론으로는 구현이 불가능하며 다중 퍼셉트론을 이용하여 구현할 수 있다.

두 개의 은닉층을 사용하며 활성화 함수로는 시그모이드 함수를 사용한다.

아래 코드는 위에서 사용한 AND, OR, NOT 연산자들을 이용하여 구현하였다.

def XOR_gate(x1, x2):
    result = OR_gate(AND_gate(x1, NOT_gate(x2)), AND_gate(NOT_gate(x1), x2))
    print(result)
    return result
    
print("XOR 연산자")
XOR_gate(0, 0) # 0
XOR_gate(1, 0) # 1
XOR_gate(0, 1) # 1
XOR_gate(1, 1) # 0

4. 빠른 학습

퍼셉트론은 단일 뉴런으로 간단하면서도 학습이 빠르다. 결정경계를 통해서 선형 분리 가능한 문제를 처리하기 때문에 보통의 성능으로 빠른 학습이 가능하다.

5. 과적합(Overfitting)에 취약

과적합이란 간단히 말해서 학습 데이터(Traning Data)에서는 높은 성능을 보이지만 처음 보는 데이터에는 낮은 성능을 보이는 현상이다.

과적합은 머신러닝에서 자주 발생하는 현상으로 특징의 수를 줄이거나 여러 제한 사항을 넣거나, 간단한 알고리즘을 사용하여 해결하는 등 여러 방법을 사용할 수 있다. 전통적인 단일 퍼셉트론에는 과적합을 억제하는 기능이 없다.

과적합의 원인으로는 학습 데이터 양 부족, 모델이 너무 복잡하거나, 특성의 과다 활용, 지나친 학습 시간과 반복, 드롭아웃(정규화), 데이터 불균형 등이 있다.

<TIP : 과소적합(Underfitting)이란?>

과소적합은 학습 데이터에 대해 너무 과하게 학습하여 생기는 과적합과는 반대되는 현상으로 학습 데이터에 대해 너무 단순하게 학습되어, 학습 데이터와 테스트 데이터 모두 성능이 낮게 나타나는 현상이다.

모델이 너무 단순하거나, (다양한)학습 데이터의 양이 적거나 훈련 방법에 문제(너무 과도한 정규화, 잘못된 특징 선택, 클래스 불균형 등)가 있을 경우 발생한다.

6. 온라인 학습 방식(Online Learning)

퍼셉트론은 온라인 학습 방식이다. 온라인 학습은 데이터를 한 번에 하나씩 순차적으로 학습하며, 새로운 데이터가 도착할 때마다 실시간으로 모델을 업데이트 한다.

특징을 나열하면 모델은 즉시 데이터를 사용하여 가중치를 업데이트하고 적응한다.

메모리 효율이 좋고, 실시간으로 변하는 데이터에 대해 유용하다.

빠른 학습이 가능하지만 노이즈나 이상치에 민감할 수 있다.

데이터가 끝없이 생성되는 스트리밍 데이터와 같은 경우 유용하다.

<TIP : 배치 학습(Batch Learning)이란?>

배치 학습은 온라인 학습과는 상반되는 개념으로 전체 데이터 세트를 한 번에 모델에 제공하고, 모델은 전체 데이터에 대한 학습을 수행한다.

특징으로는 전체 데이터 세트에 대한 핵습을 한 번에 진행하므로 높은 계산 비용을 필요로 한다.

더 안정적이고 일관된 학습 결과를 제공한다.

대량의 데이터를 모아 한 번에 처리하는 데 유리하며, 학습이 완료된 후에만 모델을 업데이트한다.

• 가중치 결정(1) - 경사하강법과 손실함수, 힌지 손실

퍼셉트론에 대해 공부를 하면서 의문이 생기기 시작했다. 가중치는 어떤 원리로 부여하는 건가?

이는 경사 하강법(Gradient Descent)에 대해 숙지해야 한다. 경사 하강법은 비용 함수(손실 함수, Loss Function) 또는 오차 함수(Error Function)를 최소화하는 방향으로 가중치를 조정하는 최적의 알고리즘 중 하나이다.

비용 함수는 실제 출력과 기대 출력 간의 차이를 측정하는 함수로 이 차이를 최소화하기 위해 가중치를 조정하면 된다.

즉 같은 용어인 세 개의 함수는 이렇게 구성되어 있다.

[비용함수 = 손실함수 = 오차 함수] = (실제값 - 예측값)

여기서 가중치 벡터를 w, 입력된 값의 벡터를 x, 정답 레이블(분류될 범주)을 t(1 OR -1)이라고 표현하면 퍼셉트론에서 사용하는 손실 함수인 힌지 손실(Hinge Loss)를 다음과 같이 표현할 수 있다.

[TIP : 손실 함수(Loss Function)의 종류]

해당 게시글에서 설명하고 있는 힌지 함수는 퍼셉트론과 SVM(서포트 벡터 머신)에서 주로 사용하는 손실 함수다.

각각의 손실 함수에 대해 설명하면 다음과 같다.

1. 힌지 손실(Hinge Loss)

분류 모델에서 사용되며, 마진을 최대화하도록 하는 데 중점을 둔다. 여기서 마진이란 결정 경계와 가장 가까운 데이터의 위치 사이의 거리를 가르키며, 마진이 클수록 결정 경계가 더 안정적이며, 새로운 데이터에 대한 일반화 성능이 좋다.

2. 평균 제곱 오차(Means Squared Error, MSE)

회귀 문제에서 사용된다. 회귀 분석에 대한 게시글에도 잘 정리되어 있으므로 참고하면 좋다.

실제 값과 예측 값 간의 제곱 오차의 평균을 계산한 값이다.

3. 교차 엔트로피 손실(Corss-Entropy Loss)

분류 문제에서 사용되며, 예측된 확률 분포와 실제 분포 간의 차이를 측정한다.

4. 로그 손실(Log Loss 또는 Binary Cross-Entropy Loss)

이진 분류에서 사용되며, 예측된 확률과 실제 레이블 간의 로그 변환을 사용하여 손실을 계산한다.

힌지 손실 공식

여기서 'y'는 't', 'w * x = f(x)'이다.

그러면 위의 식 중 퍼셉트론의 힌지 함수를 기준으로 해석하면 아래와 같다.

-t * w * x > 1 인 경우

값의 결과가 1을 초과한 경우 0을 반환한다. 이는 곧 손실이 없다는 뜻이다.

-t * w * x <= 1 인 경우

1 - t * w * x 이므로 여유가 부족하거나 오분류된 경우로 1과 같거나 작다면 손실이 발생했다는 뜻이다.

만약 이해가 안된다면 일반식의 y 또는 퍼셉트론 식의 t에 분류가 되는 1 또는 -1의 값을 대입해서 계산해보면 된다.

[TIP : 힌지 손실 그래프]

힌지 손실 그래프

힌지 손실은 그래프를 보면 경첩(힌지)처럼 생겼기 때문에 이름이 붙여졌다.

값이 0보다 작을 때 즉, 잘못 분류하였을 때 y축 loss(손실) 값은 증가하는 것을 알 수 있다.

반면 제대로 분류한 경우에는 0이 된다. 예측값이 크게 틀릴수록 손실값은 선형으로 증가하는 특성이 있다.

import numpy as np
import matplotlib.pyplot as plt

def hinge_function(t, w, x_values):
    return np.maximum(0, -t * w * x_values)

# 가중치와 편향을 설정
t = 1
w = 1 # 가중치
b = -0.5 # 임의로 정한 편향, 계산식에는 추가하지 않았다.

# 입력 데이터 생성
x_values = np.linspace(-3, 3, 300) # 라인 범위 -3 ~ 3까지 300개의 값을 지정.

# 힌지 함수 값 계산
hinge_values = hinge_function(t, w, x_values) # 편의상 편향값(b)을 제외했다

# 그래프 그리기
plt.plot(x_values, hinge_values, label='Hinge Function')
plt.axhline(0, color='black', linewidth=0.5, linestyle='--', label='y=0')
plt.axvline(0, color='black', linewidth=0.5, linestyle='--', label='x=0')
plt.xlabel('x_value')
plt.ylabel('max(0, -t * w * x)')
plt.title('Perceptron Hinge Function')
plt.legend()
plt.grid(False)
plt.show()

잘못 분류된 데이터의 수가 되도록 작아지는 loss값을 찾아 가중치를 적용하면 이 전체 데이터에 대한 손실값의 합도 최소가 된다.

• 가중치 결정(2) - 확률적 경사하강법

가중치 결정(1) 마지막 결론에서도 언급하였지만 손실 함수 loss 즉, 손실값이 최소가 될 때 가장 좋다고 했다.

이를 평가하기 위해 일반화 되어 모델이 데이터에 부합한지를 나타내는 것이 목적 함수(Objective Function)이다.

목적 함수 = 모든 데이터에 대한 손실 함수값의 합

정리하면 목적 함수가 최소라면 가장 최적의 상태라고 할 수 있다.

이런 상태를 만들어 주는 가중치 w값을 구하는 것이 '모델 학습'이다.

최적의 파라미터(w) 최적화에는 확률적 경사하강법(Stochastic Gradient Descent)을 많이 사용한다.

SGD는 최적의 목적 함수 값을 구하기 위해 경사가 심한 부분(골짜기)을 조금씩 내려가면서 최적의 파라미터 값을 구한다.

현실 문제에서는 해당 골짜기가 어디에 있는지 모르기 때문에 경사가 가장 심한 곳에서부터 파라미터를 수정해 나간다.

이 과정에서 목적 함수의 값이 가장 작은 지점에 도달하면 해당 지점의 파라미터 값을 최적값으로 지정한다.

이때 파라미터를 한 번에 어느 정도 수정할지를 결정하는 것이 학습률(Learning Rate)이라고 한다.

파라미터 수정 폭을 '학습률 * 경사'로 표현하는 데 학습률을 높게 주면 골짜기를 지나쳐 버릴 수 있다. 반대로 너무 적게 지정하면 계산하는 횟수가 증가하므로 학습 속도가 느리다는 단점이 있다.

보통 간단한 방법에서는 학습률은 고정되어 있지만 신경망에서는 해당 값의 선택을 동적으로 수정하는 다양한 방법이 있다.

[TIP : 확률적 경사하강법은 양의 기울기를 가진 2차함수의 기울기를 하나하나 계산한다고 생각하면 된다.]

이렇게 최적의 값으로 구해진 가중치 값은 퍼셉트론의 예상값을 계산하는데 사용된다.

핵심 내용을 요약하면

퍼셉트론 예상값은 가중치 벡터(w)와 입력 벡터(x)의 곱셈합의 부호에 따라 결정된다.

따라서 해당 곱셈합을 계단 함수(Step Function)에 통과시킨 것과 같다.

왜냐하면 계단 함수는 입력값을 +1 또는 -1로 바꿔준다.

계단 함수 같은 활성화 함수는 출력값을 비선형 변환해준다.

단, 일반적으로 계단 함수는 0과 1을 출력하지만 퍼셉트론 이진 분류에서는 편의를 위해 1과 -1로 표현한다.

머신 러닝(Machine Learning) 알고리즘의 선택

BlueNoa — Tue, 26 Dec 2023 15:06:55 +0900

<목차>

알고리즘 선택 방법 종류
알고리즘을 선택 요령

• 알고리즘 선택 방법 종류

머신러닝에 사용되는 알고리즘은 각각의 특성에 따라 사용하는 종류가 달라진다.

큰 범주로 보면 세 가지로 볼 수 있다.

지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)이 있다.

(각 범주에 속해 있는 알고리즘에 대해서는 따로 자세히 다룰 것이다.)

여기서도 각 특성으로 정리가 된다.

지도 학습(Supervised Learning)

레이블(정답)이 있는 데이터로 모델을 훈련하고 예측한다.

회귀(Regression) : 정답과 입력 데이터 변수 간의 관계를 학습하여 새로운 데이터를 통해 연속적인(Continuous) 값을 예측한다.
분류(Classification) : 데이터가 비연속적(이산형, Discrete) 클래스(범주)로 분류하여 새로운 데이터의 클래스를 예측한다.

비지도 학습(Unsupervised Learning)

레이블(정답)이 없는 데이터로 모델을 훈련한다.

군집화(Clustering) : 데이터의 유사한 특성이나 패턴을 가진 그룹으로 나눈다.
차원 축소(Dimensionality Reduction) : 고차원의 데이터를 저차원으로 변환하는 과정을 통해 시각화 또는 계산량 절감을 목적으로 매핑한다.
이상 탐지(Anomaly Detection) : 데이터 집합에서 일반적인 패턴과는 다른 패턴을 갖는 비정상적인 사례를 탐지하는 과정을 의미한다. 정상적인 데이터의 패턴을 학습한 후, 새로운 데이터가 학습된 패턴과 얼마나 다른지를 평가하여 데이터를 식별한다.
고빈도 패턴 마이닝(High-Frequency Pattern Mining) : 대규모 데이터 집합에서 자주 발생하는 패턴을 탐색하고 식별하는 데이터 마이닝 기술이다. 자주 발생하는 패턴이란 특정 패턴, 규칙, 혹은 항목 집합을 찾아내는 것을 목적으로 한다.

강화 학습(Reinforcement Learning)

에이전트(Agent : 의사 결정을 하는 주체, 강화 학습의 대상이되는 주체)가 환경(Environment : 에이전트가 상호 작용하는 대상이며, 에이전트의 행동에 반응하여 상태가 변하고, 보상을 제공한다.)과 상호작용하며 어떤 작업을 수행 후, 그 결과로 얻은 보상(Reward : 에이전트의 행동 후 환경으로부터 받는 피드백, 목표는 누적된 보상을 최대화 하는 것)을 최대화하기 위해 학습하는 방법이다.

• 알고리즘 선택 요령

사이킷런 튜토리얼 홈페이지에서는 각 상황에 선택할 수 있는 컨닝 페이퍼(Cheat-Sheet)를 제공해주고 있다.

해당 사이트의 표를 보기 편하게 임의로 정리해보았다.

(작은 글씨로 써놓은 설명 글이 안보인다면 Ctrl + 마우스 휠로 확대/축소 해서 볼 수 있다.)

알고리즘 선택 요령

728x90

머신러닝(Machine Learning) - 개요 / 시작

BlueNoa — Thu, 14 Dec 2023 15:37:45 +0900

<목차>

머신러닝이란?
머신러닝의 작동 원리
프로젝트 생성 과정
머신러닝 적용 문제 대처
머신러닝 프로젝트 역할군
머신러닝 프로젝트와 일반적인 프로젝트의 유사점과 차이점

• 머신러닝이란?

머신러닝은 컴퓨터 시스템이 데이터를 학습하며 학습 과정의 내용을 기반으로 판단, 예측, 결정을 내리는 인공 지능(AI)의 한 분야다. 이는 명시적(쉽게 관찰되거나, 명확한)인 프로그래밍 없이도 컴퓨터가 경험을 통해 학습하고 새로운 데이터에 대한 판단을 수행할 수 있도록 하는 기술이다.

• 머신러닝의 작동 원리

머신러닝은 과거의 경험(데이터)을 기반으로 예측을 하는 데 주로 사용된다. 과거 우리 조상들은 관측 도구(측우기 등)를 통해 매일매일 날씨를 기록하여 "내년 7월 20일엔 비가 올 확률이 높다." 같은 기록 예측을 하였다. 현대에는 '스팸 메일 필터링'이나 '상품 추천 서비스' 등이 대량의 과거 데이터를 기반으로 예측을 수행하는 원리와 비슷하다.

이렇게 과거의 데이터를 통해 예측하는 머신러닝의 대표적인 예로는 '지도학습(Supervised Learning)'이다.

각 자료를 이용하여 도출된 결과(모델*)로 예측을 수행하는 데 여기서 입력되는 데이터로는 이미지의 RGB 값들이나 기온이나 속도 등의 수치(벡터화한 것)들이 있다. 출력 데이터는 수치 또는 유형이 될 수 있다.

- 모델이란?

주어진 입력에서 출력을 예측하는 데 사용되는 수학적인 관계를 수식이나 규칙을 통해 표현한 것

모델은 훈련 데이터로 학습되며, 이를 기반으로 새로운 데이터에 대한 예측을 수행한다.

주로 매개변수와 특징(알고리즘)으로 구성된다.

- 모델의 종류

1. 회귀 모델(Regression Model)

출력이 연속적인 값을 가지는 경우 사용. 예를 들어 주택 가격과 같은 문제에 사용된다.

2. 분류 모델(Classification Model)

출력이 이산적인 클래스 또는 레이블을 가지는 경우 사용. 스팸 여부 판별, 이미지 분류 등에 해당된다.

3 .신경망(Neural Network)

인공 신경망은 머신러닝에서 널리 사용되는 모델 중 하나로, 생물학적 뉴런의 작동을 모방한 구조를 갖고 있다.

4. 결정 트리(Decision Tree)

의사 결정 규칙을 트리 구조로 표현한 모델로, 해석이 쉽고 설명력이 높다.

작동 과정은 학습 단계와 예측 단계로 이뤄진다.

학습 단계와 에측 단계의 과정

▶ 학습 단계(Training)

1. 데이터 수집

모델 학습을 위한 레이블이 지정된 훈련 데이터를 수집하며, 데이터는 특징(feature)과 그에 대응하는 정답(label or target)으로 이루어져 있다.

2. 특징 추출

훈련 데이터에서 모델이 학습할 수 있는 특징을 추출한다.

3. 모델 선택

적절한 머신 러닝 알고리즘과 모델 아키텍처를 선택한다. 예측해야 되는 데이터의 성격과 특성을 고려해야 한다.

4. 손실 함수(평균 제곱 오차 MSE 등)와 최적화

모델의 성능을 측정하기 위해 손실 함수를 정의하고, 함수를 최소화하도록 모델을 학습시키는 최적화 알고리즘을 사용한다.

5. 모델 학습

훈련 데이터를 사용하여 모델의 가중치(Weight)와 편향(Bias)을 조정하여 손실 함수를 최소화하는 방향으로 학습

▶ 예측 단계(Inference or Prediction)

1. 새로운 데이터 입력

학습된 모델로부터 새로운 즉, 이전에는 입력하지 않은 데이터를 제공한다.

2. 특징 추출

새로운 데이터에서도 모델이 학습한 것과 유사한 특징을 추출한다.

3. 모델 예측

추출된 특징을 사용하여 모델은 새로운 입력에 대한 예측을 수행한다.

4. 평가

모델이 새로운 데이터에서 얼마나 정확한 예측을 했는지 평가한다. 지표로는 정확도, 정밀도, 재현율 등이 포함된다.

728x90

• 프로젝트 생성 과정

머신러닝 프로젝트는 일련의 과정을 거쳐야 한다.

1. 문제 정의 및 이해

프로젝트의 목표를 명확히 이해하고 정의해야 한다. 어떤 문제를 해결하려고 하는지, 어떤 유형의 모델을 필요로 하는지 등을 결정해야 하며, 해당 문제가 비즈니스나 실제 응용 분야와 어떻게 연결되는지 이해해야 한다.

2. 머신러닝을 사용하는 방법이 적절한지 검토하기

머신러닝에 대한 글을 작성하는 데 머신러닝을 사용하지 않아야 하는 경우를 생각해야 한다는 것이 아이러니 하지만 모든 문제에 대해 머신러닝 기술을 사용하면 또 다른 문제가 발생할 수 있기 때문이다. 예를 들어 다음과 같다.

2-1. 확률적인 부분이 존재하여 테스트가 어려운 경우
2-2. 오랜 시간 사용하면 사용자의 의견이 바뀌어서 데이터에 영향이 가는 경우
2-3. 처리 파이프라인이 복잡해지는 경우
2-4. 데이터 의존관계가 복잡한 경우
2-5. 실험 코드 또는 파라미터가 포함되는 경우
2-6. 개발 시스템과 운영 시스템 간의 언어 또는 프레임워크가 다른 경우

3. 시스템 설계

시스템 설계는 예측 결과를 어떤 방법으로 사용할 것인지를 결정하는 단계다.

예를 들어 RDB(관계형 데이터베이스)를 통해 배포하는 방법, 웹서비스나 애플리케이션에서 사용자 액션마다 비동기적으로 예측하는 방법 등이 있다. 또 필연적으로 존재하는 오류를 어떻게 대처할 것인지를 고려해야 한다.

이런 설계 기간의 목표 "일정 기간 안에 정확도 90%를 달성한다." 등을 구성해두는 것이 좋다.

4. 데이터 수집과 전처리

문제 해결에 필요한 데이터를 수집하고, 데이터의 양과 품질은 모델의 성능에 큰 영향을 미친다.

수집한 데이터는 시각화하여 데이터 특성을 이해하거나 이상치 또는 패턴을 발견하여 데이터 전처리를 해야 한다.

데이터 전처리는 불필요한 정보를 제외하고, 데이터를 머신러닝에 사용할 수 있는 형태로 바꾸는 과정이다.

(1) 결측치 처리 : 수치 데이터의 누락값이나 정상 범위를 벗어난 이상값을 처리한다.

(2) 특징 공학 : 모델에 사용할 수 있는 적절한 특징을 추출하거나 변형한다. 여기서 특징은 모델에 입력될 정보를 뜻한다. 범주형 데이터인 경우 더미 변수를 사용하여 수치화한다.

(3) 정규화 및 표준화 : 텍스트 데이터는 단어별 빈도를 세어 빈도가 낮은 단어를 제거하는 등의 조치를 취한다.

5. 모델 선택(알고리즘 선택)

(1) 모델 선택 : 과거에 비슷한 유형의 자료를 어떻게 풀었는지 조사해서 적합한 회귀, 분류, 클러스터링 등의 모델 또는 스캐터플롯 매트릭스로 시각화하여 모델을 선택한다.

(2) 학습 데이터 분할 : 전체 데이터를 학습 데이터와 테스트 데이터로 나누어 모델을 훈련하고 검증한다.

(3) 모델 훈련 : 선택한 모델을 학습 데이터에 맞게 훈련시킨다. 손실 함수를 최소화하도록 매개변수를 조정한다.

6. 모델 평가

테스트 데이터 평가 : 모델을 테스트 데이터에 적용하여 성능을 평가한다. 정확도, 정밀도, 재현율 등의 지표를 사용하여 모델의 성능을 측정한다.

결과 해석 : 모델의 결과를 해석하고, 비즈니스 요구 사항과 얼마나 일치하는지 확인한다.

7. 모델 개선(파라미터 튜닝)

예측 모델에서 99.9%와 같이 아주 높은 성능이 나온다면 의심을 해야 한다. 이런 경우 테스트 데이터에서만 성능이 좋고 처음 보는 데이터에서는 예측을 못하는 '과적합'이거나 테스트 데이터가 일부 섞여 발생하는 '데이터 유출'이 생긴 것이다.

과적합을 방지하기 위해선 '교차검증(Cross Validation)'을 사용하여 평균 성능이 높은 하이퍼파라미터를 선택한다.

하이퍼파라미터란 신경망의 은닉층 개수나 로지스틱 회귀의 문턱값처럼 모델의 성능을 좌우할 수 있는 값이다.

https://bluenoa.tistory.com/55

교차 검증(Cross Validation)

· 교차검증(Cross Validation) 일반적으로 데이터를 사용할 때 dataset에는 Train과 Test로 나눌 데이터(독립변수 또는 Feature)와 Label(종속변수 또는 결과)로 구성되어 있다. ※ 참고로 scikit learn에선 default

bluenoa.tistory.com

https://bluenoa.tistory.com/46

회귀분석의 과적합(Overfitting)

· 과적합(Overfitting) 과적합이란 데이터 분석을 진행함에 있어 모델 학습을 과하게 한 경우를 말한다. 학습 데이터에 대한 분석을 과하게 해서 실제 데이터에 대한 적중률이 떨어져서 오차가 증

bluenoa.tistory.com

또는 규제화를 사용하거나 학습곡선으로 시각화하여 살펴보는 방법이 존재한다.

8. 배포 및 유지보수

모델 배포 : 최종 모델을 실제 운영 환경에 배포한다.

모니터링 및 유지보수 : 모델의 성능을 모니터링하고 필요에 따라 업데이트와 유지보수를 한다.

• 머신러닝 적용 문제 대처

바로 위에서 설명한 프로젝트 생성 과정의 2번(표 참고)에서 머신러닝을 적용하기 적절한지 검토해야 되는 경우에 대해 정리했었다.

해당 문제에 대해 대응하는 방법을 정리하려고 한다.

1. 황금 기준을 적용하여 모니터링한다.(2-1, 2-2, 2-4)

확률적인 문제, 응답자의 의견이 바뀌는 경우, 데이터 간의 의존관계가 존재할 때 황금 기준을 적용하여 사람이 모니터링을 해야 한다. 여기서 '황금 기준'이란 모델의 성능을 평가하고 비교하는 데 사용되는 기준을 의미한다.

이는 모델이 얼마나 효과적으로 작동하는지 측정하고 다른 모델이나 방법과 비교할 때 사용된다.

다양한 문제와 모델에 따라 사용되는 황금 기준도 다르기 때문에 이를 적절히 잘 검토해야 한다.

대표적인 황금 기준의 예시는 다음과 같다.

(1) 정확도(Accuracy)
가장 기본적이고 널리 사용되는 평가 기준이기도 하다. 전체 샘플 중에 올바르게 예측한 비율을 나타낸다.

(2) 정밀도(Precision)와 재현율(Recall)
이진 분류 문제에서 사용되며, 양성 클래스(관심을 가지고 예측하려는 대상)의 대한 정확성과 해당 클래스의 실제 존재율을 측정한다. 미세 조정이 필요한 상황에서 황금 기준으로 사용된다.

(3) F1 스코어
정밀도와 재현율의 조화 평균(역수들의 산순 평균)으로, 두 지표 사이의 균형을 나타낸다.

(4) 평균 제곱 오차(MSE, Mean Squared Error) 또는 평균 절댓값 오차(MAE, Mean Absolute Error)
회귀 문제에서 사용되며, 예측 값의 실제 값 간의 차이를 나타낸다.

(5) ROC-AUC(Receiver Operating Characteristic - Area Under the Curve)
이진 분류 문제에서 모데르이 성능을 시각화하고 측정하는 데 사용되는 방법 중 하나다.

(6) 특정 도메인에 따른 특별한 메트릭
특정 응용 분야에서는 특별한 메트릭이 필요할 수 있다. 예를 들어 의료 영역에서는 모델의 예측이 얼마나 정확하게 이루어지는지에 대한 특화된 메트릭이 필요할 수 있다.

2. 예측 모델의 알고리즘에 대한 A/B 테스트를 실시한다.(2-2)

과거 응답자의 응답과 시간이 지나 동일한 응답자의 응답 결과가 바뀌는 경우가 존재하거나 모듈의 개선 전/후 등이 있다.

그렇기 때문에 'A/B 테스트'를 사용하는 데 A/B 테스트란 두 가지 또는 그 이상의 변형을 비교하여 어떤 변형이 더 효과적이었는지를 판단하는 실험적인 방법이다. 이를 모듈화한 알고리즘에 대입해서 보면 여러 모델을 두고 병렬로 A/B 테스트를 진행할 수 있다.

A/B 테스트로는 랜덤화(참가자들을 랜덤으로 할당),

변형(Variations : A그룹과 B그룹으로 전/후 비교),

목표 지표(Metric : 실험 목적에 따라 성과 지표를 선택하고 측정한다. 대표적으로 크릭률, 구매율, 이용자 유입 등),

통계적 검정(실험이 통계적으로 유의미한지 확인),

실시간 모니터링(실험 중에는 지속적으로 결과를 모니터링하고, 언제든지 중간에 실험을 중단하거나 수정하는 것) 등이 있다.

3. 모델을 버전 관리하여 언제든 원하는 시점으로 롤백(2-4, 2-5)

데이터 사이의 의존 관계 또는 코드나 파라미터 등의 수정 또는 데이터 형식 변경, 처리 과정 중 문제 발생으로 인해 예측 성능이 떨어지거나 예측 불가한 상황이 올 수 있다.

그렇기 때문에 이전 버전의 모델로 언제든지 롤백할 수 있도록 해야만 한다. 소스 코드, 모델, 데이터 전부 버전별로 관리하는 것이 좋다.

4. 데이터 처리 파이프라인 저장(2-3, 2-5)

데이터 처리 파이프라인이란 데이터를 수집하고, 정제, 저장, 분석하는 일련의 작업 단계를 의미한다.

각 과정을 저장하기 때문에 하이퍼 파라미터, 전처리 과정, 예측 모델 구축 등 파라미터의 수가 많아지고 데이터가 복잡해지는 경우 저장한 파이프라인을 조정하여 사용할 수 있다..

이는 데이터를 비즈니스나 분석 목적에 맞게 효과적으로 처리하고 활용하기 위한 구조적인 체계를 제공한다.

사이킷런(파이썬 머신 러닝 라이브러리)이 추상화가 잘 되어 있어 데이터 처리를 파이프라인으로 만들기 수월하다. 또 이에 영향을 받은 스파크 등의 라이브러리 역시 파이프라인을 통해 재사용이 가능하다.

※ 파이프라인 과정

1. 데이터 수집(Data Collection)

- 원천 데이터 수집 : 외부 소스, 로그 파일, 센서 등에서 원천 데이터를 수집한다.

- 이벤트 추적 : 웹사이트 또는 응용 프로그램에서 발생하는 이벤트를 추적하고 수집한다.

- API 호출 : 외부 서비스나 데이터베이스에서 데이터를 가져오기 위해 API를 호출한다.

2. 데이터 전처리(Data Preprecessing)

- 데이터 정제 : 불완전하거나 오류가 있는 데이터를 정제하고 처리한다.

- 변환 및 통합 : 데이터를 필요한 형식으로 변환하고 여러 소스의 데이터를 통합한다.

- 데이터 샘플링 : 대규모 데이터셋에서 불필요한 부분만을 추출하여 처리한다.

3. 데이터 저장(Data Storage)

- 데이터베이스 저장 : 구조화된 데이터를 DB에 저장하여 검색과 분석을 용이하게 한다.

- 분산 저장 시스템 : 대용량의 데이터를 효과적으로 저장하기 위해 분산 저장 시스템을 활용한다.

- 클라우드 스토리지 : 클라우드 기반의 스토리지 서비스를 사용하여 저장한다.

4. 데이터 처리(Data Processing)

- 배치 처리 : 주기적으로 일관적으로 데이터를 처리하는 방식으로 대용량 데이터를 처리한다.

- 스트리밍 처리 : 실시간으로 데이터를 처리하고 분석하여 실시간 통찰력을 제공한다.

- 머신 러닝 모델 적용 : 데이터를 기반으로 머신 러닝 모델을 훈련하고 적용하여 예측, 분류 작업을 수행한다.

5. 결과 제공 및 시각화(Result Delivery & Visualization)

- 대시보드 및 리포트 : 데이터의 요약된 정보를 제공하는 대시보드 및 리포트를 생성한다.

- 시각화 도구 활용 : 데이터를 시각적으로 표현하여 이해하기 쉽고 의사 결정에 도움이 되는 시각화를 제공한다.

6. 모니터링 및 유지보수(Monitoring & Maintenance)

- 성능 모니터링 : 데이터 처리 파이프라인의 성능을 지속적으로 모니터링하고 병목 현상을 확인한다.

- 오류 처리 : 데이터 품질이나 파이프라인 실행 중 발생하는 오류를 식별하고 처리한다.

- 유지보수 : 변경된 데이터 소스, 새로운 요구 사항 등에 대응하기 위해 파이프라인을 유지보수한다.

데이터 처리 파이프라인

5. 개발 시스템과 운영 시스템 간의 언어/프레임워크 일치(2-6)

예측 모델을 파이썬 또는 R을 이용해서 제작했지만 배포를 위한 애플리케이션은 자바로 해야 되는 경우를 생각해보면 해당 문제의 상황을 이해하기 쉽다. 기존의 모델 개발에 사용한 알고리즘을 변경해야 되므로 비용과 시간이 소요되고 최악의 경우 구현할 수 없는 상황이 발생할 수 있다.

예측 모델을 만드는 데에는 여러 번의 실험을 거쳐야 하고 코드도 정리되지 않은 경우가 상당수다.

그렇기 때문에 처음부터 별도의 API 서버를 통해 머신러닝 학습을 수행하는 방법도 좋다.

• 머신러닝 프로젝트 역할군

머신러닝 프로젝트를 진행하기 위해서는 참여자들이 맡는 각각의 역할이 매우 중요하다.

웹 서비스처럼 개발 주기를 자주 가질 수 없는 데이터 형태도 있기 때문에 길게는 수개월이 걸리는 프로젝트가 있을 수 있다. 다음은 범주별로 구성한 역할이다.

1. 도메인 전문가(Domain Expert)
2. 통계 및 머신러닝 전문가(Statistics and Machine Learning experts)
3. 엔지니어(Engineer)
4. 책임자 또는 관리자(Director or Administrator)

1. 도메인 전문가(Domain Expert)

캐글을 통해서 올라오는 머신러닝 자료들을 보면 전문적인 문제 해결 능력을 요구로 하는 자료들이 올라온다. 그렇기 때문에 해당 분야의 전문가는 빼놓을 수 없는 필수요소다. 전반적인 프로젝트의 방향을 결정하고, 비즈니스 프로세스, 기술적 측면의 폭넓은 지식(문제 해결을 위한 전문 분야 지식)을 기반으로 도메인 전문가의 통찰력은 프로젝트의 길잡이라고 볼 수 있다.

2. 통계 및 머신러닝 전문가(Statistics and Machine Learning experts)

도메인 전문가가 전문 지식을 소유한 프로젝트 매니저라는 느낌이면 통계와 머신러닝을 다루는 전문가는 데이터 과학자라고 보면 된다. 데이터를 탐색하고 모델을 개발하여 비즈니스 문제를 해결하는 주체이자 통계, 머신러닝, 딥러닝 등의 기술을 활용하여 모델을 구축하는 역할을 한다.

3. 엔지니어(Engineer)

엔지니어는 간단히 말해서 인프라를 구축하는 역할이다. 데이터 수집, 저장, 전처리 등의 관련된 기술적인 부분을 담당하는 데이터 엔지니어, 머신러닝 기술을 실제 서비스에 통합하는 소프트웨어 엔지니어, 클라우드 기술을 이용한 클라우드 엔지니어, 품질 보증을 위한 QA 엔지니어, 보안 등의 관리를 전반적으로 맡는 역할을 한다.

4. 책임자 또는 관리자(Director or Administrator)

프로젝트 전반을 책임을 담당하는 사람이다. 머신 러닝 프로젝트의 실패 확률을 책임지고 성공을 해야 하기 때문에 머신 러닝과 데이터 분석 경험이 풍부한 사람이 해당 역할을 맡아 위험 요소들을 잘 파악하여 팀원들을 이끌어 나갈 수 있는 사람이어야 한다.

• 머신러닝 프로젝트와 일반적인 프로젝트의 유사점과 차이점

머신러닝 프로젝트와 일반적인 프로젝트(회사에서 진행하는 프로젝트 등) 관리에는 유사한 점과 차이점이 존재한다.

유사점

각 프로젝트의 수명 주기가 존재하며 목표 달성과 품질 향상을 위해 팀 단위의 프로젝트가 진쟁된다.

차이점

1. 데이터 중심

머신 러닝 프로젝트는 데이터에 중점을 둔다. 데이터의 품질, 양, 다양성이 모델의 성능에 크게 영향을 주며 일반적인 프로젝트는 데이터가 중요하긴 하나 머신러닝 프로젝트만큼 중점적이진 않다.

2. 모델 구축과 평가

머신러닝 프로젝트는 모델의 구축과 평가가 핵심 단계이다. 적절한 알고리즘과 모델 아키텍처 선택, 학습 데이터를 기반으로 한 모델 훈련, 평가 지표를 통한 성능 평가 등이 중요한 요소이다.

3. 불확실성과 실험

머신러닝에서는 불확실성이 상대적으로 더 높다. 예측 모델이나 분류 모델은 항상 일정 수준의 불확실성을 포함하고 있으며, 실험과 검증을 통해 모델의 예측 불확실성을 평가한다. 일반적인 프로젝트에서는 보기 힘든 특징이다.

4. 커뮤니케이션의 중요성

머신러닝 프로젝트에서는 결과의 해석과 모델의 의미를 이해하기 위한 커뮤니케이션이 특히 중요하다.

도메인 전문가, 비전문가 간의 원활한 소통이 필요하다. 일반적인 프로젝트도 커뮤니케이션이 중요하지만, 머신러닝은 모델의 작동 방식, 예측의 근거 등을 이해하고 설명해야 하는 경우가 많다.

[참고 책] - 머신러닝 실무 프로젝트

[파이썬] 자막 파일 번역해보기

BlueNoa — Wed, 13 Dec 2023 17:53:51 +0900

[SubsPlease] Mobile Suit Gundam - The Witch from Mercury - 06.ass

0.03MB

<목차>

서론
네이버 파파고 API 소개
자막 파일 직접 번역해보기

• 서론

가끔씩 애니메이션이나 영화 파일을 소장하고 싶을 때 자막 파일을 구하기 어렵거나 구할 수 있어도 외국어 자막 파일만 존재하는 경험을 한 적이 있다.

직접 자막 파일을 하나하나 번역해서 만들거나 타임라인을 설정해서 만드는 과정을 본 적이 있는데 적지 않은 피로감을 주는 것 같았다.

그렇기 때문에 완벽하거나 대체 가능한 수준은 아니지만 자동으로 자막이 되는 코드를 한 번 만들어 보고 싶다는 생각이 들어서 작성해보았다.

• 네이버 파파고 API 소개

번역이라는 것은 정말 많이 축척된 데이터를 통해서 이뤄지는 과정이다. 기본적으로 번역 대상이 되는 언어 데이터와 언어 간의 번역이 포함된 데이터(병렬 코퍼스, Parallel Corpora)가 쌍을 이루며 존재해야 한다.

또 통계적인 기계 번역을 통해서 번역 모델을 만들어야 하며, 신경망을 이용한 기계 번역이 있다. 대표적으로 순환 신경망(RNN), 장단기 기억망(LSTM), 트랜스포머와 같은 모델 아키텍처가 그 예시이다.

직접 사용하려고 하는 파파고 Open API 같은 경우 대규모로 사전 훈련된 언어 모델을 사용하여 번역 성능을 향상시키는 방법으로 개인이 접근하기에 가장 손쉬운 방법 중 하나일 거라 생각한다.

물론 네이버 외에도 무료 번역 Open API는 여러 곳에서 지원하고 있다.

1. 구글 클라우드 번역 API
기본적으로 무료로 제공하고 있으며, 월별로 일정한 양의 무료 번역을 사용할 수 있고 할당량을 초과하면 유료로 전환해야 한다.

2. MS 번역 API
마이크로 사에서도 번역 서비스를 지원한다. 구글과 마찬가지로 무료로 제공되며 초과 시에는 요금이 부과되는 방식이다.
텍스트와 음성 번역을 지원한다.

3. Yandex API
다소 생소할 수 있다. 얀덱스는 러시아에서 주로 사용하는 즉, 우리나라의 네이버 같은 존재다. 기본적으로는 무료로 제공되나 사용한 문장의 양에 따라 요금을 부과한다.

4. IBM 언어 번역 API
IBM Watson의 언어 번역 서비스로 무료 플랜이 제공된다. 다양한 언어 번역을 지원하며 텍스트 및 HTML 문서 번역이 가능하다고 한다. 하지만 2023년 6월 10일부로 신규 가입자 대상으로 서비스를 제공을 중단하고, 기존 가입자만 접근할 수 있다.
2024년 6월 10일부로 서비스 중단 절차가 진행되어 2024년 12월 10일 완전 중단된다고 한다.

이렇게 여러가지 무료 API들이 존재하지만 접근성이 좋은 네이버 서비스를 이용하기로 결정했다.(카카오도 있다.)

https://developers.naver.com/products/papago/nmt/nmt.md

Neural Machine Translation - INTRO

Neural Machine Translation NAVER Developers - Papago 소개 NMT는 Neural Machine Translation(인공신경망 기반 기계번역)의 약어입니다. 파파고의 NMT 기술은 입력 문장을 문장벡터로 변환하는 신경망(encoder)과 문장벡

developers.naver.com

우선 위 사이트에 들어가서 로그인 후 'Open API 이용 신청'을 통해 신청하면 된다.

애플리케이션 이름은 대충 지어도 되고, 사용 API는 '파파고'를 선택

비로그인 서비스 환경은 'WEB' 선택 후 주소는 'http://localhost'로 입력해주면 된다.

728x90

• 자막 파일 직접 번역해보기

파이썬을 이용해서 파파고 API를 직접 사용해보자.

자막 파일은 팟플레이어를 이용해서 외국어 자막 파일을 받아왔다. 자막은 건담 -수성의 마녀- 6화를 사용했다.(첨부파일)

만약 프로그램 실행 시 바탕화면에 번역본 파일이 생성 후 잘 작동하다 오류가 발생할 수 있다.

오류의 내용이 "<urlopen error [WinError 10060] 연결된 구성원으로부터 응답이 없어 연결하지 못했거나, 호스트로부터 응답이 없어 연결이 끊어졌습니다>"라면 일일 사용 할당량을 소진해서 그런 것이다.

그렇기 때문에 해당 코드를 이용해서 자막 파일들을 자동으로 번역하는 것은 크게 기대하기는 어렵다.

(번역 퀄리티도 솔직히 기대에 미치지는 않았다. 개인적으로는 애니나 영화는 카카오 번역이 더 좋은 것 같았다.)

혹시나 자막 파일이 아래와 같은 양식일 경우 코드 내용 중에 있는 중괄호를 인식하는 코드를 변형해서 꺽새로 수정하고, 문장 시작 줄의 숫자를 수정해서 실행하면 될 것이다.

1
00:00:44,790 --> 00:00:59,790
Fixed & Synced by bozxphd. Enjoy The Flick.

2
00:01:00,920 --> 00:01:06,370
Fear.
Treachery. Bloodlust.

3
00:01:06,600 --> 00:01:08,409
Thousands of years ago...

4
00:01:08,520 --> 00:01:11,808
these were the forces
that ruled our world.

<자막 번역 파이썬 코드>

import os
import urllib.request
import json
import time

# 메모 : 파파고 api를 이용해서 작성할 것, 바탕화면에 있는 메모장 내용을 토대로 중괄호 문제 해결할 것
# 네이버 api : https://developers.naver.com/apps/#/myapps/

try:
    # 위치
    location = "C:/Users/Jo/OneDrive/Desktop/"
    # file 이름
    names = "[SubsPlease] Mobile Suit Gundam - The Witch from Mercury - 06.ass"
    
    # 파일 생성
    with open(os.path.join(location, "번역본 " + names), mode="w", encoding="UTF-8") as cr_file:
        cr_file.write("")
    
    # 번역 기능(구글 번역 -> 파파고 번역으로 변경)
    def translate_text(text, source_lang, target_lang):
        # ------------------------------------------------------------------------
        """
        api_url = "https://openapi.naver.com/v1/papago/n2mt"
        headers = {
            "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
            "X-Naver-Client-Id": "",  #발급받은 클라이언트 아이디 입력
            "X-Naver-Client-Secret": "",  #발급받은 클라이언트 시크릿 입력
        }
        data = {
            "source" : source_lang,
            "target" : target_lang,
            "text" : text,
        }
        """
        # response = requests.post(api_url, headers = headers, data = data)
        # ------------------------------------------------------------------------
        client_id = "R1Mww6ge4KiNQEQV4I63" # 개발자센터에서 발급받은 Client ID 값
        client_secret = "1FH8pXekin" # 개발자센터에서 발급받은 Client Secret 값
        encText = urllib.parse.quote(text) # URL에서 특수 문자나 공백 같은 문자열을 사용하기 위한 인코딩
        data = "source=" + source_lang + "&target=" + target_lang + "&text=" + encText
        url = "https://openapi.naver.com/v1/papago/n2mt"
        request = urllib.request.Request(url)
        request.add_header("X-Naver-Client-Id", client_id)
        request.add_header("X-Naver-Client-Secret", client_secret)
        response = urllib.request.urlopen(request, data=data.encode("utf-8"))
        rescode = response.getcode()
        
        # json 처리 문장 넣기
        if(rescode == 200):
            response_body = response.read().decode('utf-8')
            output_dict = json.loads(response_body)
            output_text = output_dict["message"]["result"]["translatedText"]
            # print(output_text)
            return output_text
        else:
            print("Error Code : " + rescode)
            
        
    # 중괄호 내의 내용 추출
    def extract_brackets(text):
        brackets_contents = [] # 중괄호 내용을 저장할 곳
        in_brackets = False # 중괄호 존재 여부
        current_content = ""
        for char in text:
            if char == '{':
                in_brackets = True
                if current_content: # 내용이 존재하면
                    brackets_contents.append(current_content)
                    print(current_content)
                current_content = ""
            elif char == '}':
                in_brackets = False
            elif in_brackets: # True라면
                current_content += char # 문자열을 하나씩 더해간다.
        return brackets_contents
        
    # 파일 읽기
    with open(os.path.join(location, names), mode="r", encoding="UTF-8") as file:
        original = [] # 자막 파일의 원본 파일 정보를 담을 리스트(1~19줄의 내용을 저장)
        count_1 = 0 # 전체 줄 개수를 카운트할 변수
        count_2 = 0 # 구분점과 번역 내용을 다룰 줄 개수 카운터
        after_subtitle_1 = []; after_subtitle_2 = []; after_subtitle_3 = []
        
        for line in file:
            line = line.strip() # 개행 문자 제거
            # print(line)
            if count_1 <=17: # !!시작 위치는 자막 파일마다 다를 수 있음 확인해야함!!
                original.append(line)
                with open(os.path.join(location, "번역본 " + names), mode="a", encoding="UTF-8") as new_file:
                    new_file.write(original[count_1] + "\n")
                # print(original[count_1], "줄 개수 : " + str(count_1))
            count_1 += 1
            
            if ",," in line: # ",,"이 존재한다면 -> split으로 구분 지어줘서 나중에 합칠 땐 ',' 추가해야함
                after_subtitle_1.append(line.split(",,", 2)[0]) # 자막 시간 정보
                after_subtitle_2.append(line.split(",,", 2)[1]) # 자막 색상 정보
                after_subtitle_3.append(line.split(",,", 2)[2]) # 번역할 문자열
                # print(after_subtitle_3[count_2])
                
                input_text = after_subtitle_3[count_2] # 번역할 문자열
                cleaned_text = input_text
                bracket_contents = extract_brackets(input_text)
                # print(bracket_contents)
                # count_2 += 1
                
                time.sleep(1)           
                # 번역
                lang = {"한국어":"ko", "영어":"en", "일본어":"ja", "중국어_간체":"zh-CN", "중국어_번체":"zh-TW",
                        "베트남어":"vi", "인도네시아어":"id", "독일어":"de", "러시아어":"ru", "스페인어":"es", "이탈리아어":"it",
                        "프랑스어":"fr"}
                source_lang = lang.get("영어") # 원본 언어
                target_lang = lang.get("한국어") # 번역하고자 하는 언어
                translated_text = translate_text(cleaned_text, source_lang, target_lang)
                print("번역할 내용 : " + str(cleaned_text))
                print("번역된 내용 : " + str(translated_text) + "\n")

                # 번역된 텍스트와 중괄호 내용 다시 합치기
                output_text = translated_text
                # print(output_text)
                
                for content in bracket_contents:
                    output_text = output_text.replace('{}', '{' + content + '}')
                # 파일 내용 추가
                with open(os.path.join(location, "번역본 " + names), mode="a", encoding="UTF-8") as new_file:
                    new_file.write(after_subtitle_1[count_2] + ",," + after_subtitle_2[count_2] + ",," + str(output_text) + "\n")
                count_2 += 1
                    
    print("작업 완료")
    
except Exception as e:
    print("에러 발생 : " + str(e))

자바 - Thread / Lambda / Stream

BlueNoa — Sun, 5 Nov 2023 20:20:13 +0900

<목차>

Tread란?
Thread의 작동 원리
Lambda
Stream

• Tread란?

컴퓨터에 대해 잘 아는 사람이라면 스레드에 대해 들어봤을 것이다. 보통 CPU에서 작업을 할 때 '프로세스'라고 하는 데 이를 나눠서 병렬 처리 하는 것을 스레드라고 한다. 자바를 비롯한 다른 언어에서 사용하는 스레드도 이와 마찬가지로 두 가지 이상의 일을 동시에 처리하는 것을 'Tread'라고 한다.

자바에서 스레드를 생성하고 관리하는 주요 클래스는 'java.lang.Thread' 클래스다. 일반적으로 메인 스레드에서 시작하며, 이후에 필요한 경우 추가 스레드를 생성하여 병렬 작업을 수행한다.

스레드를 생성하려면 'Thread' 클래스의 하위 클래스를 만들거나 'Runnable' 인터페이스를 구현하는 클래스를 사용한다.

스레드 객체를 생성한 후에는 'start()' 메서드를 호출하여 실행한다.

※ 참고로 파이썬에서의 스레드도 해당 개념 및 원리가 동일하다.

<예제 - 간단한 스레드 예시>

import java.lang.Thread;

public class sample extends Thread {
    public void run() {
        for (int i = 1; i <= 10; i++) {
            System.out.println("스레드 : " + i);
        }
    }
    public static void main (String[] args) {
        sample sm = new sample();
        sm.start();
    }
}

<결과>

스레드 : 1
스레드 : 2
스레드 : 3
스레드 : 4
스레드 : 5
스레드 : 6
스레드 : 7
스레드 : 8
스레드 : 9
스레드 : 10

Process finished with exit code 0

• Thread의 작동 원리

<예시1 - 작동 원리>

해당 예시는 교재 '점프 투 자바'의 예시를 사용하였습니다.

import java.lang.Thread;

public class sample extends Thread {
    int count;

    public sample(int count) {
        this.count = count;
    }

    public void run() {
        System.out.println("작업 시작 : " + this.count);
        try {
            Thread.sleep(1000);
        } catch (Exception e) {
            e.getStackTrace();
        } System.out.println("작업 종료 : "+ this.count);
    }
    public static void main (String[] args) {
        for (int i = 1; i<=10; i++) {
            sample sm = new sample(i);
            sm.start();
        }
        System.out.println("main end");
    }
}

<결과>

시작과 종료가 순차적이지 않고 제각각이다. 즉 순서와는 관계없이 작업이 진행된다는 것을 알 수 있다.

이는 파이썬(Python)에서 스레드를 구현해도 동일하게 작동한다.

작업 시작 : 3
작업 시작 : 6
작업 시작 : 2
작업 시작 : 8
작업 시작 : 4
작업 시작 : 1
작업 시작 : 5
작업 시작 : 10
작업 시작 : 9
main end
작업 시작 : 7
작업 종료 : 9
작업 종료 : 1
작업 종료 : 10
작업 종료 : 4
작업 종료 : 8
작업 종료 : 5
작업 종료 : 7
작업 종료 : 3
작업 종료 : 6
작업 종료 : 2

Process finished with exit code 0

<예시2 - 작동 원리(배열과 join)>

import java.lang.Thread;
// 배열 생성
class Create {
    public int[] array = new int[10];
    public void Array() {
        for (int i = 0; i < 10; i++) {
            array[i] = i+1;
        }
    }
}

// 스레드 작업
public class sample extends Thread {
    public static void main(String[] args) {
        Create cr = new Create();
        cr.Array();
        int mid = cr.array.length / 2;
        int[] sum = new int[2];
        // 1~10까지의 값을 반으로 나눈 후 각자 더하여 합산을 구한는 스레드
        
        // 1~5까지 합산
        Thread th1 = new Thread() {
            public void run() { // 스레드는 'run' 메서드 안에서 코드를 작성해야 한다.
                for (int j = 0; j < mid; j++) {
                    sum[0] += cr.array[j];
                }
                System.out.println("1번 스레드 완료");
            }
        };
        // 6~10까지 합산
        Thread th2 = new Thread() {
            public void run() {
                for (int k = mid; k < cr.array.length; k++) {
                    sum[1] += cr.array[k];
                }
                System.out.println("2번 스레드 완료");
            }
        };
        // 스레드 실행
        th1.start();
        th2.start();

        try {
            th1.join(); // join은 해당 스레드가 끝나야지만 다음 스레드가 작동하게끔 해줌
            th2.join();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        int total = sum[0] + sum[1];
        System.out.println("총 합 : " + total);
    }
}

join은 작동 중인 스레드가 종료되어야만 다음 스레드가 실행되게끔 해준다. 일종의 작업 '순서'를 부여해 준다고 보면 된다.

<결과>

1번 스레드 완료
2번 스레드 완료
총 합 : 55

<예시3 - Runnable>

Thread 클래스를 상속하여 사용하기도 하지만 Runnable 인터페이스를 사용하여 구현하기도 한다.

왜냐하면 Thread 클래스를 상속하면 다른 클래스를 상속할 수가 없기 때문이다.

즉, 해당 방법은 클래스가 다른 클래스를 상속해야 하는 경우 유용하다.

아래 코드는 예시2를 변형하여 Runnable을 사용하였다.

import java.lang.Thread;

// 배열 생성
class Create {
    public int[] array = new int[10];
    public void Array() {
        for (int i = 0; i < 10; i++) {
            array[i] = i+1;
        }
    }
}

// 스레드 작업
public class sample implements Runnable {
    private Create cr;
    private int mid;
    private int[] sum;

    public sample(Create cr, int mid, int[] sum) {
        this.cr = cr;
        this.mid = mid;
        this.sum = sum;
    }

    @Override
    public void run() {
        if (mid == 0) {
            System.out.println("mid(중간) 값이 제대로 설정되지 않았습니다.");
            return; // 중단
        }

        // 1~5 까지 합산
        if (Thread.currentThread().getName().equals("Thread-0")) {
            for (int j = 0; j < mid; j++) {
                sum[0] += cr.array[j];
            }
            System.out.println("1번 스레드 완료");
        }
        // 6~10 합산
        else if (Thread.currentThread().getName().equals("Thread-1")) {
            for (int k = mid; k < cr.array.length; k++) {
                sum[1] += cr.array[k];
            }
            System.out.println("2번 스레드 완료");
        }
    }

        public static void main(String[] args) {
            Create cr = new Create();
            cr.Array();
            // 확인용 System.out.println(Arrays.toString(cr.array));
            int mid = cr.array.length / 2;
            int[] sum = new int[2];

            Thread thread1 = new Thread(new sample(cr, mid, sum));
            Thread thread2 = new Thread(new sample(cr, mid, sum));

            thread1.start();
            thread2.start();

            try {
                thread1.join();
                thread2.join();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            int total = sum[0] + sum[1];
            System.out.println("총 합 : " + total);
        }
    }

<결과>

1번 스레드 완료
2번 스레드 완료
총 합 : 55

728x90

• Lambda

람다(Lambda) 표현식은 함수형 프로그래밍 기법을 지원하는 기능 중 하나다.

람다 표현식은 간결하고 읽기 쉬운 방식으로 익명 함수(무명 함수)를 표현할 수 있게 해 준다.

즉, 함수를 변수처럼 다룰 수 있게 해 주어 코드를 간결하게 만들어 준다.

※ 람다 표현식은 Python에서도 지원한다.

람다 표현식은 함수형 인터페이스와 함께 사용되는 것이 일반적이다. 함수형 인터페이스는 하나의 추상 메서드만 가지는 인터페이스를 말하며, 스트림(Stream) API와 병렬 프로그래밍 및 함수형 프로그래밍의 기본 요소로 활용된다.

일반적인 람다 표현식 구문

(parameter) -> expression

parameter : 람다 함수의 매개변수, 필요한 경우 생략이 가능하다.

-> : 람다 연산자, 매개변수와 함수 본문을 구분을 구분한다.

expression : 람다 함수의 본문으로, 작동할 코드를 나타낸다.

<예제1 - 일반 코드 vs 람다 사용>

- 일반 코드

import java.util.Arrays;
import java.util.List;
import java.util.Collections;
import java.util.Comparator;

public class sample {
    public static void main(String[] args) {
        List<String> names = Arrays.asList("김철수", "조준", "다람이", "판다", "나람단");
        // 정렬하기 위해 Collections, Comparator 사용
        Collections.sort(names, new Comparator<String>() {
            @Override
            public int compare(String s1, String s2) { // 두 문자열을 비교
                return s1.compareTo(s2);
            }
        });
        for (String name : names) {
            System.out.println(name);
        }
    }
}

- 람다 사용

import java.util.Arrays;
import java.util.List;
import java.util.Collections;
import java.util.Comparator;

public class sample {
    public static void main(String[] args) {
        List<String> names = Arrays.asList("김철수", "조준", "다람이", "판다", "나람단");
        // compare 객체를 생성한 것과 같은 역할을 한다.
        Collections.sort(names, (s1, s2) -> s1.compareTo(s2));

        for (String name : names) {
            System.out.println(name);
        }
    }
}

두 코드의 실행 결과는 동일하다. 하지만 람다를 사용함으로써 코드를 간소화시킬 수 있었다.

<결과>

김철수
나람단
다람이
조준
판다

하지만 인터페이스(interface)를 사용하는 경우 메서드가 1개 이상이라면 람다 함수를 사용할 수 없다.

그렇기 때문에 람다 함수를 사용할 인터페이스는 '@FunctionalInterface'라는 어노테이션을 사용한다.

위 어노테이션을 사용하면 2개 이상의 메서드를 가진 인터페이스를 작성하는 것은 불가능하다.

<예시2 - @FunctionalInterface>

@FunctionalInterface
interface Calculator {
    // 메소드를 하나만 작성 가능하게 해준다.
    int operation(int a, int b);
}

public class sample {
    public static void main(String[] args) {
        Calculator add = (a,b) -> a+b;
        Calculator sub = (a,b) -> a-b;

        System.out.println("합 : "  + add.operation(4, 5));
        System.out.println("차 : "  + sub.operation(10, 2));
    }
}

<결과>

합 : 8
차 : 8

<예제3 - 축약함수 : 리스트 반복문>

람다를 사용하면 반복문도 간편하게 작성할 수 있다.

- 일반 코드

import java.util.Arrays;
import java.util.List;



public class sample {
    public static void main(String[] args) {
        List<String> names = Arrays.asList("김두한", "송하나", "한지우");
        for (String name : names) {
            System.out.println("안녕하세요. " + name + "님");
        }
    }
}

- 축약 함수 사용

import java.util.Arrays;
import java.util.List;



public class sample {
    public static void main(String[] args) {
        List<String> names = Arrays.asList("김두한", "송하나", "한지우");
        names.forEach (name -> System.out.println("안녕하세요. " + name + "님"));
    }
}

<결과>

안녕하세요. 김두한님
안녕하세요. 송하나님
안녕하세요. 한지우님

• Stream

스트림이란 '흐름'이라는 뜻을 가지고 있으며 데이터 요소의 시퀀스(순차적으로 나열되어 있는 것을 의미)를 처리하기 위한 시퀀셜 한 요소의 모음을 나타내는 개념이다.

스트림은 람다와 같이 Java8부터 소개되었다. 컬렉션, 배열, I/O 등 다양한 데이터 소스를 처리하는 데 사용된다.

또한 데이터를 다루는 함수형 스타일의 연산을 지원하여 코드를 간결하고 가독성 있게 만들어준다.

스트림의 주요 특징 및 개념

1. 시퀀셜 한 데이터 처리

데이터 요소를 연속적으로 처리하고 연속적으로 연산을 수행할 수 있음을 의미한다.

2. 데이터 소스

스트림은 다양한 데이터 소스로부터 생성될 수 있다. 예를 들어 컬렉션과 배열, 파일과 함수 등이 스트림 데이터 소스가 될 수 있다.

3. 중간 연산과 최종 연산

스트림의 연산은 중간 연산과 최종 연산으로 구분된다. 중간 연산은 스트림을 다른 스트림으로 변환하거나 필터링하며, 최종 연산은 스트림의 처리를 시작하고 결과를 반환하는 연산이다.

4. 지연 연산

스트림은 지연 연산을 지원한다. 최종 연산을 호출하기 전까지 중간 연산이 실제로 수행되지 않았을 경우 필요한 연산만을 수행하게 되어 효율적인 처리를 가능하게 한다.

5. 함수형 프로래밍

스트림은 함수형 프로그래밍 스타일을 지원하며, 람다 표현식과 함께 사용된다.

스트림을 사용하면 데이터 처리 코드를 간결하게 작상할 수 있으며, 병렬 처리를 간단하게 수행할 수 있어 멀티코어 프로세서에서의 성능을 향상할 수 있다. 데이터 필터링, 매핑, 정렬, 그룹화 및 집계를 할 수 있다.

<예시1 - 문자열 필터링 매핑 후 반환>

import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;


public class sample {
    public static void main(String[] args) {
        List<String> animals = Arrays.asList("dog", "cat", "pig", "horse", "rabbit");
        // 'r'로 시작하는 동물을 필터링하고, 대문자로 변환한다.
        List<String> filteredAnimal = animals.stream()
                .filter(animal -> animal.startsWith("r")) // 필터 메서드 사용
                .map(animal -> animal.toUpperCase()) // 일치하는 문자열을 변환
                .collect(Collectors.toList()); // collect 메서드로 최종 결과를 리스트로 수집

        System.out.println(filteredAnimal);
    }
}

<결과>

[RABBIT]

<예시2 - 짝수 필터링>

import java.util.*;
import java.util.stream.Collectors;

class Create {
    public List<Integer> Create() {
        List<Integer> numbers = new ArrayList<>();
        for (int i = 1; i <= 10; i++) {
            numbers.add(i);
        }
        // System.out.println(numbers);
        return numbers;
    }
}


public class sample {
    public static void main(String[] args) {
        Create cr = new Create();
        List<Integer> num = cr.Create();

        List<Integer> filteredNumbers = num.stream()
                .filter(n -> n % 2 == 0) // 중간 연산 : 짝수
                .sorted() // 정렬 : 오름차순
                .collect(Collectors.toList()); // 최종 연산 : 리스트화

        System.out.println(filteredNumbers);
    }
}

<결과>

[2, 4, 6, 8, 10]

<예시3 - 중복 값을 제거하여 출력 비교하기>

- 일반 코드

import java.util.*;


class Create {
    public List<Integer> Create() {
        int numberCount = 10; // 원하는 랜덤 값의 개수
        int minValue = 2; // 랜덤 값의 최소값
        int maxValue = 8; // 랜덤 값의 최대값

        Random random = new Random();
        List<Integer> randomList = new ArrayList<>();

        for (int i = 0; i < numberCount; i++) {
            // 0 ~ n-1까지 값 생성, 예를 들어 최대 8, 최소 2라고 하면 8-2+1 = 7
            // 0 ~ 6까지 생성하므로 최소값인 2를 더해줘서 2~8 범위가 된다.
            int randomValue = random.nextInt((maxValue - minValue) + 1) + minValue;
            randomList.add(randomValue);
        }
        System.out.println("랜덤 리스트 : " + randomList);
        return randomList;
    }
}


public class sample {
    public static void main(String[] args) {
        Create cr = new Create();
        List<Integer> randomSet = cr.Create();
        // 중복을 제거()
        HashSet<Integer> numSet = new HashSet<>(randomSet);
        // Set -> List 변경
        ArrayList<Integer> distinctList = new ArrayList<>(numSet);

        // 역순 정렬
        distinctList.sort(Comparator.reverseOrder());
        
        // 정수 배열 변환
        int[] result = new int[distinctList.size()]; // 크기 설정
        for (int i = 0; i < distinctList.size(); i++) {
            result[i] = distinctList.get(i);
        }
        System.out.println("결과 : " + Arrays.toString(result));
    }
}

- 스트림을 이용한 축약 함수

import java.util.stream.Collectors;
import java.util.*;


class Create {
    // 생성 개수, 최소값, 최대값을 받아온다.
    public List<Integer> Create(int numberCount, int minValue, int maxValue) {
        Random random = new Random();
        // 생성값, 최소값, 최대값(n-1) 범위에 +1
        List<Integer> randomList = random.ints(numberCount, minValue, maxValue + 1)
                .boxed() // int, double, float -> Integer 형태로 박싱
                .collect(Collectors.toList());
        System.out.println("랜덤 리스트 : " + randomList);
        return randomList;
    }
}


public class sample {
    public static void main(String[] args) {
        Create cr = new Create();
        List<Integer> randomSet = cr.Create(10, 2, 8);

        int[] result = randomSet.stream()
                .distinct() // 중복제거
                .sorted(Comparator.reverseOrder()) // 정렬(오름차순)
                .mapToInt(Integer::intValue) // 스트림 요소를 정수 변환, Stream<Integer> -> IntStream
                .toArray(); // 배열로 반환

        System.out.println("결과 : " + Arrays.toString(result));
    }
}

단, 결과는 매번 다를 수 있다. 매 순간 랜덤으로 생성되는 값이 고정되어 있지 않기 때문이다.

<결과>

랜덤 리스트 : [7, 3, 5, 7, 5, 3, 2, 2, 6, 3]
결과 : [7, 6, 5, 3, 2]

원자성	트랜잭션 내의 모든 작업이 성공적으로 완료되어야만 전체 트랜잭션이 성공으로 간주. 하나라도 실패하면, 롤백을 통해 원래 상태로 복구된다.
일관성	트랜잭션이 실행되기 전과 후 데이터베이스는 항상 일관된 상태를 유지해야 한다. 예를 들어, 외래 키 제약 조건이나 고유한 값의 중복을 방지하는 등의 규칙 적용
격리성	여러 트랜잭션이 동시에 실행될 때 각각의 트랜잭션은 다른 트랜잭션의 작업에 영향을 받지 않아야 한다.
지속성	트랜잭션이 성공적으로 완료되면 그 결과는 영구적으로 저장되어야 한다.