작성자: shop2world

[특이점] 새로운 문명사회 – 더 나은 AI를 쓸 수 있는가가 결정하는 경쟁력의 시대

인공지능 기술이 발전함에 따라 자본과 노동력만으로는 경쟁력과 가치를 결정하기 어려워질 것입니다. 이는 노동의 역할이 줄어들면서 노동력을 통한 가치 창출과 임금을 통한 분배가 자본주의의 기초를 흔들게 될 것이라는 것을 의미합니다. 이러한 변화는 새로운 경제 체제와 정치 체제의 탄생을 초래할 수 있습니다.

인공지능 기술과 자동화 기술 등의 발전으로 인해 노동의 역할이 줄어들고, 경쟁력과 가치의 결정은 더 많은 자동화와 기술적 노하우를 가진 기업이 차지하게 될 것이라는 것을 시사합니다. 이러한 변화는 새로운 문명의 특징으로 다음과 같은 것들을 가져올 수 있습니다.

  1. 더욱 발전한 인공지능과 자동화 기술을 활용한 생산 시스템과 산업 구조
  2. 기존의 경제체제와 노동시장의 변화, 새로운 산업 생태계의 등장
  3. 새로운 형태의 기술 중심적인 교육과 직업적 전문성의 중요성
  4. 기존의 자본주의적인 가치관과의 대립, 노동과 임금에 대한 새로운 개념과 모델의 필요성
  5. 인공지능과 로봇 기술 등의 발전으로 인한 인간의 삶과 권리, 윤리적 문제들에 대한 논의와 대처 방안 등이 새로운 문명의 특징이 될 것입니다.

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술은 Facebook AI Research(FAIR)에서 개발되었습니다. 이는 FAIR의 연구자들이 2020년에 발표한 논문 “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”에서 제안되었습니다. 이후 RAG 기술은 많은 자연어처리 연구 분야에서 많은 관심을 받고 있습니다.  RAG는 기존의 자연어 생성 모델에서 검색 결과를 활용하여 보다 정확하고 일관성 있는 결과를 생성하는 기술입니다.

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 생성 모델과 검색 기반 모델을 결합한 기술입니다. 이 기술은 기존의 생성 모델의 한계점 중 하나인 지식의 부족을 극복하기 위해 검색 기반 모델을 통해 추가적인 지식을 수집하여 생성 모델의 답변에 반영합니다. 이를 통해 보다 정확하고 풍부한 답변을 생성할 수 있게 됩니다.

생성 모델은 학습 데이터에 나타나지 않은 맥락에서 일반화할 수 있는 능력이 한계가 있어, 학습 데이터에 대한 패턴 이외에는 적절한 응답을 생성하기 어려운 경우가 있습니다.

RAG는 이러한 한계를 극복하기 위해 검색 기반 모델을 결합합니다. 검색 기반 모델은 미리 수집된 대규모의 외부 지식 그래프를 이용하여 입력 문장과 관련 있는 정보를 추출하고, 이를 생성 모델의 입력으로 사용하여 적절한 응답을 생성합니다. 이를 통해 생성 모델이 예측하기 어려운 지식이나 정보를 활용할 수 있고, 보다 정확하고 일관된 응답을 생성할 수 있습니다.

 

예를 들어 설명하면, 남녀의 관계라는 주제에 대한 질문이 있다고 가정해보겠습니다.

만약 생성 모델만을 사용하여 질문에 대한 답변을 생성하려고 하면, 생성 모델은 질문에 대한 답변을 생성하기 위해 이전에 학습한 데이터를 기반으로 예측을 수행합니다. 그러나 생성 모델은 이전에 학습하지 않은 새로운 지식이나 정보에 대해서는 예측을 정확하게 수행하기 어렵습니다.

하지만 검색 증강 생성(RAG) 기술을 사용하면, 생성 모델과 함께 검색 기반 모델을 결합하여 이전에 학습하지 않은 새로운 지식이나 정보를 활용할 수 있습니다. 예를 들어, 남녀의 관계라는 주제에 대한 질문에 대한 답변을 생성할 때, 검색 기반 모델을 사용하여 관련된 문서나 뉴스 기사 등의 정보를 검색하고, 생성 모델과 결합하여 보다 정확하고 일관된 답변을 생성할 수 있습니다.

이러한 방식으로 검색 증강 생성(RAG) 기술은 생성 모델이 예측하기 어려운 지식이나 정보를 활용할 수 있고, 보다 정확하고 일관된 응답을 생성할 수 있게 됩니다.

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술은 다양한 분야에서 활용될 수 있습니다.

의료 분야에서는, 환자의 증상과 관련된 질문에 대한 답변을 생성하는 데 활용될 수 있습니다. 의료 전문가들은 RAG 모델을 학습시켜, 환자의 증상과 관련된 문서나 연구 논문 등에서 정보를 검색한 후, 이를 기반으로 질문에 대한 답변을 생성할 수 있습니다.

법률 분야에서는, RAG 모델을 활용하여 법률 문서 검색과 관련된 질문에 대한 답변을 생성할 수 있습니다. 이를 통해 변호사나 법률 전문가들은 빠르게 정보를 검색하고, 관련된 사례나 판례를 기반으로 법률 문제에 대한 답변을 생성할 수 있습니다.

이처럼 RAG 기술은 다양한 분야에서 정보 검색과 생성에 활용될 수 있으며, 전문 인공지능 서비스에서도 많이 활용되고 있습니다.

 

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술과 검색엔진 이용.

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술에는 검색엔진이 필요합니다. 이 기술에서는 먼저 검색 엔진을 사용하여 대량의 문서 또는 정보에서 적절한 문서나 정보를 검색합니다. 그런 다음, 검색된 문서나 정보를 생성 모델에 제공하여 보다 정확하고 일관된 응답을 생성합니다. 검색 엔진은 RAG 기술에서 중요한 역할을 담당하며, 검색 쿼리 처리 및 검색된 결과를 적절하게 전달하는 데 사용됩니다. RAG 기술에서는 대량의 문서나 정보에서 필요한 정보를 검색하기 위해 검색 엔진을 사용하며, 이를 통해 생성 모델이 예측하기 어려운 지식이나 정보를 보다 쉽게 활용할 수 있습니다.

검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술에는 검색엔진이 필요합니다. 이 기술에서는 먼저 검색 엔진을 사용하여 대량의 문서 또는 정보에서 적절한 문서나 정보를 검색합니다. 그런 다음, 검색된 문서나 정보를 생성 모델에 제공하여 보다 정확하고 일관된 응답을 생성합니다. 검색 엔진은 RAG 기술에서 중요한 역할을 담당하며, 검색 쿼리 처리 및 검색된 결과를 적절하게 전달하는 데 사용됩니다. RAG 기술에서는 대량의 문서나 정보에서 필요한 정보를 검색하기 위해 검색 엔진을 사용하며, 이를 통해 생성 모델이 예측하기 어려운 지식이나 정보를 보다 쉽게 활용할 수 있습니다.

검색 기반 모델과 생성 모델은 각각 다음과 같은 역할을 합니다.

  • 검색 기반 모델: 검색 기반 모델은 데이터베이스에서 원하는 정보를 검색하고, 검색된 정보를 임베딩하여 벡터 공간에 매핑합니다. 이 때 검색 기반 모델로 Faiss와 Pyserini를 사용할 수 있습니다. 예를 들어, 의료 정보에서 남녀 각각의 건강 문제에 대한 정보를 검색 기반 모델을 사용하여 찾아내고, 각각의 정보를 벡터로 매핑합니다.
  • 생성 모델: 생성 모델은 검색된 정보를 바탕으로 요약, 질문 응답 등 다양한 자연어 생성 태스크를 수행합니다. 이 때 생성 모델로 Hugging Face Transformers 라이브러리를 사용할 수 있습니다. 예를 들어, 검색 기반 모델에서 찾아낸 건강 정보를 바탕으로, 해당 건강 문제에 대한 자세한 설명을 제공하거나, 해당 문제와 관련된 질문에 대한 응답을 생성합니다.

따라서 검색 증강 생성(RAG) 기술은 검색 기반 모델로부터 검색된 정보를 생성 모델에 입력하여 보다 정확하고 일관된 응답을 생성할 수 있도록 합니다.

 

향후 RAG 기술의 현황과 발전 방향

현재까지는 Facebook AI Research의 RAG 기술이 가장 널리 알려진 RAG 기술입니다. 그러나 최근에는 다른 기업 및 연구자들도 RAG와 관련된 연구 및 개발을 수행하고 있습니다. 예를 들어, OpenAI에서는 GPT-3와 함께 RAG 모델을 사용하여 일부 벤치마크 작업에서 좋은 성능을 보였습니다. 또한, 구글의 연구자들은 T5와 함께 RAG 모델을 개발하고 있으며, Microsoft에서도 RAG와 관련된 연구를 수행하고 있습니다. 이러한 기업 및 연구자들은 각자의 방식으로 RAG 모델을 구현하고 활용하여, 향후 RAG 기술의 발전을 이끌어낼 것으로 기대됩니다.

RAG 기술의 발전 방향은 크게 두 가지로 볼 수 있습니다.

첫째, 검색 기반 모델과 생성 모델 간의 상호작용을 보다 개선하여 더욱 정확하고 효과적인 응답을 생성하는 것입니다. 예를 들어, 더 나은 검색 모델을 개발하거나 생성 모델의 학습 방식을 개선하여 더 나은 응답을 생성할 수 있도록 하는 등의 연구가 진행될 것입니다.

둘째, RAG 기술을 다양한 분야에 활용하는 방법을 연구하는 것입니다. 예를 들어, 의료 분야에서는 환자 진료 내역과 의학 논문 등을 검색 기반 모델에 활용하여 질병 진단과 치료 방법 등에 대한 전문적인 정보를 제공하는데 활용될 수 있습니다. 또한 법률 분야에서는 판례나 법률 관련 논문 등을 검색 기반 모델에 활용하여 전문가 수준의 법률 자문을 제공하는데 활용될 수 있습니다.

앞으로 RAG 기술은 보다 정확하고 효과적인 인공지능 서비스를 제공하는데 큰 역할을 할 것으로 기대됩니다.

인공지능이용 보안기술 – 전자상거례에서 사기성 주문 여부 판단

머신러닝은 사기성 주문 판별에 유용한 도구 중 하나입니다. 일반적으로, 사기성 주문 판별을 위한 머신러닝 모델을 만들기 위해서는 다음과 같은 단계를 거칩니다.

  1. 데이터 수집: 머신러닝 모델을 학습시키기 위해서는 레이블링된 사기성 주문 데이터와 정상 주문 데이터가 필요합니다.
  2. 데이터 전처리: 수집된 데이터를 전처리하여 모델 학습에 적합한 형식으로 변환합니다. 이 단계에서는 데이터의 결측치, 이상치 등을 처리하고, 필요한 특성을 추출하거나 생성합니다.
  3. 모델 학습: 전처리된 데이터를 사용하여 머신러닝 모델을 학습시킵니다. 이 단계에서는 주로 분류 알고리즘을 사용하여 주문이 사기인지 아닌지를 판별하는 이진 분류 모델을 만듭니다.
  4. 모델 평가 및 성능 향상: 학습된 모델을 평가하고 성능을 향상시키기 위해 모델의 하이퍼파라미터를 조정하거나 다른 분류 알고리즘을 시도할 수 있습니다. 또한, 새로운 데이터에 대한 모델의 예측 성능을 평가하기 위해 검증 데이터를 사용할 수 있습니다.
  5. 모델 배포: 학습된 모델을 실제 운영 환경에 배포하여 사용합니다. 이 단계에서는 모델을 서버나 클라우드에 배포하거나, 모델 API를 만들어 다른 애플리케이션에서 사용할 수 있도록 합니다.

이러한 과정을 거쳐 만들어진 머신러닝 모델은 주문 데이터의 특징을 분석하여 사기성 주문 여부를 판단할 수 있습니다. 주문의 금액, 결제 방식, 주문자 정보, 배송지 정보 등 다양한 특성을 고려하여 모델이 예측한 결과를 바탕으로 사기성 주문을 차단하거나 확인하는 등의 대응 방안을 수립할 수 있습니다.

패턴 분석 기술을 사용하여 사기성 주문 여부를 판단하는 예시 코드는 다음과 같습니다.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score

# 데이터셋을 로드합니다.
dataset = pd.read_csv('주문데이터.csv')

# 입력 데이터와 출력 데이터를 분리합니다.
X = dataset.drop('fraud', axis=1)
y = dataset['fraud']

# 학습 데이터와 테스트 데이터를 분리합니다.
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델을 정의하고 학습합니다.
model = DecisionTreeClassifier()
model.fit(X_train, y_train)

# 테스트 데이터로 예측을 수행합니다.
y_pred = model.predict(X_test)

# 모델의 정확도를 측정합니다.
accuracy = accuracy_score(y_test, y_pred)
print('모델의 정확도: {:.2f}%'.format(accuracy * 100))

이 예시 코드에서는 사기성 주문 여부를 판단하는 모델을 학습하고, 테스트 데이터로 예측을 수행하여 모델의 정확도를 측정합니다. 이때, 입력 데이터로는 주문 내역의 금액, 결제 방법, IP 주소 등의 정보가 사용될 수 있습니다. 이러한 정보를 바탕으로 모델은 주문이 사기인지 아닌지를 판단하게 됩니다.

인공지능이용 보안기술 – 스팸 필터링

인공지능은 보안 분야에서도 다양하게 활용됩니다. 스팸 필터링은 이메일이나 메시지 등에서 스팸으로 분류되는 내용을 차단하는 기술입니다. 인공지능을 활용하면, 머신러닝 알고리즘을 이용해 스팸 메시지의 패턴을 학습하고, 새로운 스팸 메시지를 탐지하여 차단할 수 있습니다.

예들 들어 브라우저의 JavaScript 코드가 사용자의 행동 패턴과 이전 상호작용에 대한 정보를 수집하여, – 예를 들어 클릭, 키보드 입력, 마우스 이동 등- 이런 패턴을 기반으로 사용자가 로봇인지 아닌지를 판단합니다.
기술의 간단한 예시를 보겠습니다.

실행하기

 

# 데이터셋을 정의합니다.
dataset = [
  {'input': [0.1, 0.2, 0.3], 'output': [1]},
  {'input': [0.4, 0.5, 0.6], 'output': [1]},
  {'input': [0.7, 0.8, 0.9], 'output': [0]},
  {'input': [0.2, 0.3, 0.4], 'output': [1]},
  {'input': [0.5, 0.6, 0.7], 'output': [0]}
]

위 코드에서 입력 데이터의 패턴은 ‘input’ 키에 대응되는 값입니다. 이 예시에서는 각 데이터가 3차원 벡터로 이루어져 있으며, 이 벡터는 사용자의 클릭, 키보드 입력, 마우스 이동 등의 동작을 수치화한 값일 수 있습니다. 모델은 이러한 입력 데이터의 패턴을 학습하여, 로봇이 아닌 사용자와의 차이점을 찾아내고 이를 바탕으로 로봇 여부를 판단합니다. 따라서 입력 데이터의 패턴이 모델의 정확도와 판단력에 큰 영향을 미치게 됩니다. 이를 실제 웹사이트에서 사용하려면, 이벤트 리스너를 추가하여 사용자의 클릭, 키보드 입력, 마우스 이동 등의 동작을 감지하고 이를 모델에 입력 데이터로 전달하면 됩니다.

예를 들어 아래는 마우스 클릭 이벤트 리스너를 추가하는 예시입니다.

# 예시: 마우스 클릭 이벤트 리스너 추가
from browser import document

def on_mouse_click(event):
    # 클릭 위치를 수치화하여 input 값으로 사용
    x = event.clientX
    y = event.clientY
    input_data = [x, y]

    # 모델에 입력 데이터를 전달하여 결과를 예측
    result = model.predict(input_data)

    # 결과에 따른 동작 수행
    if result > 0.5:
        # 로봇일 가능성이 높음
        print("Suspicious activity detected!")
    else:
        # 로봇이 아닐 가능성이 높음
        print("Human user")
        
document.bind('click', on_mouse_click)

이외에도, 키보드 입력, 마우스 이동 등의 이벤트를 감지하는 방법은 다양하므로, 상황에 맞게 적절한 이벤트 리스너를 추가하여 사용자의 동작을 입력 데이터로 변환하여 모델에 전달할 수 있습니다.

전체 코드는 다음과 같습니다.

import tensorflow as tf
import numpy as np

# 데이터셋을 정의합니다.
dataset = [
  {'input': [0.1, 0.2, 0.3], 'output': [1]},
  {'input': [0.4, 0.5, 0.6], 'output': [1]},
  {'input': [0.7, 0.8, 0.9], 'output': [0]},
  {'input': [0.2, 0.3, 0.4], 'output': [1]},
  {'input': [0.5, 0.6, 0.7], 'output': [0]}
]

# 모델을 정의합니다.
model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Dense(units=4, input_shape=[3], activation='relu'))
model.add(tf.keras.layers.Dense(units=1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')

# 모델을 학습합니다.
xs = np.array([data['input'] for data in dataset])
ys = np.array([data['output'] for data in dataset])
history = model.fit(xs, ys, epochs=100)

# 예측합니다.
input = np.array([0.3, 0.4, 0.5])
output = model.predict(np.array([input]))
print(output[0][0])

 

 

[cafe AI] 머신러닝을 이용한 이미지 인식

  • 이 강의는 shop2world 의 캐나다 몬트리올에서 진행되는 일반인 대상의 AI 강의인 cafe AI 2023 강의 시리즈 교재입니다.
  • 강의 참여를 원하시는 분은 info@shop2world.com 으로 신청 주세요.
    강의 언어는 영어, 불어, 한국어 입니다.
  • 강의 결과 실행: [cafe AI] 머신러닝을 이용한 이미지 인식기법

머신러닝을 이용하여 이미지를 인식하는 예시로는, 손글씨 숫자 인식 프로그램이 있습니다. 이 프로그램은 숫자가 쓰인 이미지를 입력으로 받아 머신러닝 알고리즘을 통해 숫자를 인식합니다.

머신러닝 알고리즘은 먼저 숫자 이미지 데이터셋을 사용해 학습합니다. 학습을 통해 이미지에서 특징을 추출하고, 이를 바탕으로 숫자를 인식할 수 있는 모델을 만들어냅니다. 이렇게 만들어진 모델은 새로운 이미지를 입력으로 받아, 학습한 내용을 바탕으로 숫자를 인식할 수 있습니다.

이러한 손글씨 숫자 인식 프로그램은 손글씨 숫자를 자동으로 인식해주는데 사용될 수 있습니다. 이를 응용하여 우편물에서 우편번호를 인식하는 등 다양한 분야에서 활용될 수 있습니다.

먼저 실행을 해 보겠습니다.
실행하기

이 예제에서는 MNIST 데이터셋을 사용합니다. MNIST는 0부터 9까지의 숫자 이미지 데이터셋으로, 이미지 분류 문제에서 가장 대표적인 데이터셋 중 하나입니다.
Keras가 제공하는 데이터셋을 이용합니다.

먼저, 필요한 라이브러리와 데이터를 불러옵니다.

import tensorflow as tf
from tensorflow import keras
import numpy as np
mnist = keras.datasets.mnist
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

이제 데이터셋을 살펴보겠습니다.

print(train_images.shape)   # (60000, 28, 28)
print(len(train_labels))    # 60000
print(test_images.shape)    # (10000, 28, 28)
print(len(test_labels))     # 10000

총 60,000개의 학습 데이터와 10,000개의 테스트 데이터가 있습니다. 각 이미지는 28×28 크기의 흑백 이미지입니다.

데이터 전처리를 수행합니다. 픽셀값을 0과 1 사이로 정규화하고, 레이블을 범주형으로 변환합니다.

train_images = train_images / 255.0
test_images = test_images / 255.0
train_labels = keras.utils.to_categorical(train_labels)
test_labels = keras.utils.to_categorical(test_labels)

이제 모델을 구성합니다. 2개의 은닉층과 1개의 출력층으로 구성된 인공신경망을 사용합니다.

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(64, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

이제 모델을 컴파일합니다.

model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

모델을 학습시킵니다.

model.fit(train_images, train_labels, epochs=5)

마지막으로 모델을 평가합니다.

test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)

전체 코드는 다음과 같습니다.

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.datasets import mnist

# MNIST 데이터셋 로드
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 데이터 전처리
x_train = x_train / 255.0
x_test = x_test / 255.0

# 모델 구성
model = tf.keras.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dense(10, activation='softmax')
])

# 모델 컴파일
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 모델 훈련
model.fit(x_train, y_train, epochs=5, validation_data=(x_test, y_test))

# 모델 평가
test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2)
print('\nTest accuracy:', test_acc)

# 예측 결과 확인
predictions = model.predict(x_test)

# 예측 결과 시각화
num_rows = 5
num_cols = 3
num_images = num_rows*num_cols
plt.figure(figsize=(2*2*num_cols, 2*num_rows))
for i in range(num_images):
  plt.subplot(num_rows, 2*num_cols, 2*i+1)
  plt.imshow(x_test[i], cmap='gray')
  plt.axis('off')
  predicted_label = np.argmax(predictions[i])
  true_label = y_test[i]
  if predicted_label == true_label:
    color = 'blue'
  else:
    color = 'red'
  plt.subplot(num_rows, 2*num_cols, 2*i+2)
  plt.bar(range(10), predictions[i], color=color)
  plt.xticks(range(10))
  plt.ylim([0, 1])
  plt.tight_layout()

이 코드는 TensorFlow를 사용하여 MNIST 데이터셋에 있는 손글씨 숫자 이미지를 분류하는 모델을 학습하고, 학습된 모델을 이용하여 테스트 데이터셋에 있는 이미지를 분류하는 코드입니다. 코드 실행을 위해서는 TensorFlow와 NumPy, Matplotlib 라이브러리가 필요합니다. 또한, Google Colab에서 실행할 경우 !pip install tensorflow numpy matplotlib 명령어를 사용하여 라이브러리를 설치해야 합니다.

AI 데이터의 공유와 투명성의 중요성

현재 인터넷 기업들이 보유한 데이터는 그들의 재산으로 인정받고 있습니다. 하지만 이러한 데이터의 독점은 AI 기술의 발전을 방해하고, 사회 전반의 발전을 둔화시킬 수 있습니다. 이에 대한 해결책으로는 데이터의 공유를 적극 권장하고, 데이터의 소유권과 이용권을 분리하는 것이 필요합니다.

데이터의 소유권과 이용권을 분리하면, 데이터를 보유한 사람이 아니라 데이터에 접근할 수 있는 사람들이 AI 모델을 학습시킬 수 있습니다. 또한 데이터의 공유를 적극적으로 권장하면, 다양한 조직이나 개인이 데이터를 공유하고 AI 기술을 발전시키는 데 기여할 수 있습니다.

이를 위해서는 데이터의 공유를 유도하고 장려하는 제도적인 조치가 필요합니다.

데이터가 사회 전체의 공통 자산이라는 인식이 AI의 발전에 따른 문제 해결에 중요한 요인입니다.

 

데이터의 공유와 투명성이 중요한 이유는 다음과 같습니다.

  1. AI의 성능 향상: AI는 데이터를 학습하고 분석하여 예측 결과를 도출합니다. 따라서 다양하고 풍부한 데이터가 필요합니다. 데이터의 공유와 투명성을 통해 데이터의 양과 질을 높일 수 있습니다. 이는 AI의 성능 향상에 큰 영향을 미칩니다.
  2. 신뢰성 확보: 데이터의 공유와 투명성은 AI의 신뢰성 확보에 중요한 역할을 합니다. 공유되고 투명하게 관리되는 데이터는 조작이나 편향성이 없으며, 이를 통해 AI가 도출하는 결과도 신뢰성 있는 것으로 인식됩니다.
  3. 진보된 협력: 데이터의 공유와 투명성을 통해 다양한 분야에서 협력이 가능해집니다. 데이터의 공유를 통해 각 분야에서 발생하는 문제를 해결할 수 있으며, 이를 통해 인공지능의 발전을 더욱 가속화시킬 수 있습니다.
  4. 개인 정보 보호: 데이터의 공유와 투명성을 통해 개인 정보 보호도 확보할 수 있습니다. 공유되는 데이터는 개인 정보를 제거하거나 익명화된 데이터를 사용하며, 이를 통해 개인 정보 보호 문제를 해결할 수 있습니다.

따라서 데이터의 공유와 투명성은 AI의 발전과 사회적 문제 해결에 중요한 역할을 합니다. 이를 위해 데이터의 공유와 투명성을 보장하는 적극적인 정책과 시스템이 필요합니다.

AI 는 불확실성에 대해 어떤 자세를 취하도록 개발되어야 하는가?

AI는 인간처럼 불확실성과 고통을 수용하고 극복하는 능력을 가지고 있지는 않습니다. 따라서 AI의 개발과 응용에서는 항상 인간의 윤리적, 사회적 책임과 함께 고려되어야 합니다. 불확실성이나 고통을 다루는 AI 기술이 개발될 때, 이러한 기술이 사회적으로 적절하게 적용되고 인간의 이익을 위해 사용되는지를 보장하기 위해 인간의 개입과 윤리적 검토가 필요합니다.

이를 전제로 한다면, 인간의 도우미로서 AI는 통계적인 자세를 취하도록 해야 합니다.
AI는 불확실성에 대해 통계적인 자세를 취할 수 있습니다. 통계학은 불확실성과 관련된 다양한 개념과 방법을 제공하기 때문입니다. 예를 들어, 확률론과 통계학의 개념을 활용하여 AI 시스템은 불확실성을 모델링하고 예측할 수 있습니다. 이를 통해 AI 시스템은 불확실성을 감안하면서도 최적의 결정을 내릴 수 있습니다. 따라서, AI 시스템을 개발할 때, 통계학적인 접근 방법을 고려하여 불확실성을 다룰 수 있도록 설계하는 것이 좋습니다.

건강한 성격의 모형 – 자아초월의 사람

빅터 프랭크(Viktor Frankl)는 성장 심리학의 대표적인 인물 중 한 명으로, 20세기 초반 오스트리아 출신의 정신의학자이자 철학자입니다. 그는 ‘자아초월(Self-Transcendence)’이라는 개념을 도입하여 건강한 성격의 모형을 제시하였습니다.

프랭크는 자아초월을 인간의 본성 중 하나로 간주하며, 인간은 자아초월의 욕구를 충족시키는 과정에서 진정한 의미를 찾아갈 수 있다고 주장합니다. 자아초월은 개인의 관심사나 이익에 초점을 맞추는 것이 아니라, 다른 사람이나 공동체, 혹은 인류 전체와 같은 더 큰 개념에 대한 관심과 이해를 통해 실현될 수 있다고 합니다.

프랭크는 이러한 자아초월의 욕구를 충족시키기 위해 다음과 같은 요소들이 필요하다고 말합니다.

의미 있는 목표: 자아초월의 욕구를 충족시키기 위해서는 자신에게 의미 있는 목표가 필요합니다. 이를 위해서는 개인의 가치관과 철학에 따라 목표를 설정해야 합니다.

창조적인 경험: 인간은 창조적인 활동을 통해 자아초월의 경험을 얻을 수 있습니다. 예를 들어, 예술, 음악, 문학 등의 활동을 통해 창조적인 경험을 쌓을 수 있습니다.

사회적 연결: 자아초월의 경험은 사회적 연결과 관련이 깊습니다. 타인과의 교류와 공동체 활동을 통해 자아초월을 실현할 수 있습니다.

불확실성과 고통에 대한 수용: 인간은 언제나 불확실성과 고통을 경험하게 됩니다. 이러한 상황에서도 자아초월을 실현하기 위해서는 불확실성과 고통을 수용하고 이를 극복해 나갈 수 있는 유연성과 탄력성이 필요합니다.

프랭크는 이러한 요소들이 결합된 개인이 더 높은 수준의 자아초월을 경험하며, 건강한 성격을 형성할 수 있다고 주장하였습니다.

* 빅터 프랭크(Viktor Frankl)는 그의 책 Man’s Search for Meaning 로 유명합니다. 그의 나치 수용소 경험인데, 그가 수용되었던 수용소는 제2차 세계 대전 중 나치 독일이 점령한 오스트리아의 수용소인 ‘아우슈비츠’와 ‘빌헬름스발트’입니다. 프랭크는 오스트리아를 떠나 체코스로바키아의 수용소도 경험했으며, 그 경험을 토대로 자신의 이론을 개발하게 됩니다.

[양자코딩] 양자 컴퓨팅으로 1과 2를 더하면 100이 될 수도 있다.

다음의 양자 코드를 (Corlab) 실행해 봅니다.

이것은 1과 2를 더한 것입니다.

실행하기

실행결과는 Counter({2: 10}) 라고 나옵니다.

뜻은 2라는 결과가 10번 나왔다고 합니다.
위의 코드에서 2가 출력된 이유는 1과 2를 더하는 양자 게이트가 실험을 실행할 때 2가 나오는 경우가 10번 발생했기 때문입니다. 즉, 1과 2를 더해서 3이라는 값이 나올 확률은 0이었거나 매우 작았기 때문에, 2가 나온 횟수가 더 많았던 것입니다.

양자 컴퓨팅에서는 측정 과정에서 확률적인 결과가 나타납니다. 따라서 1과 2를 더한 결과가 3이 나올 확률은 높지만, 2가 나올 확률도 있습니다. 이러한 확률적인 특성 때문에 양자 컴퓨팅에서는 동일한 계산을 여러 번 실행해서 결과를 확인하는 등의 작업이 필요합니다.

양자 컴퓨터는 일반적인 논리 게이트가 아닌 양자 게이트를 사용하기 때문에, 때로는 다른 결과를 낼 수 있습니다. 예를 들어, 두 개의 양자 비트를 더하는 과정에서 캐리(Carry) 값이 발생할 수 있고, 이 캐리 값은 고전 컴퓨팅에서는 필요하지 않은 개념입니다. 따라서 양자 컴퓨터는 덧셈 연산에서도 다른 결과를 낼 수 있습니다.

 

import cirq

# 입력 비트를 저장할 양자 비트
qubits = [cirq.LineQubit(i) for i in range(2)]

# 양자 게이트를 사용하여 입력을 준비합니다.
circuit = cirq.Circuit(
    cirq.X(qubits[0]), # 1을 나타내는 비트를 설정합니다.
    cirq.X(qubits[1]), # 2를 나타내는 비트를 설정합니다.
    cirq.CNOT(qubits[0], qubits[1]), # XOR 게이트를 수행합니다.
    cirq.measure(*qubits, key='result') # 결과를 측정합니다.
)

# 시뮬레이터를 만들고 양자 회로를 실행합니다.
simulator = cirq.Simulator()
result = simulator.run(circuit, repetitions=10)

# 결과를 출력합니다.
print(result.histogram(key='result'))

 

그럼 3이라는 결과를 내기 위해서는?

양자컴퓨터에서 측정결과는 확률적으로 나타나며, 계산의 정확성은 측정 횟수에 따라 달라집니다.

위에서는 repetitions 값을 10으로 설정하여, 측정을 10번 수행한 결과가 출력되었습니다. 그러나 양자컴퓨터에서는 계산 중간에 상태벡터가 존재하며, 이는 양자역학의 원리에 따라 확률적인 값으로 나타나게 됩니다.

따라서 덧셈 게이트를 사용하여 계산한 후, 측정을 수행하여 3이 출력될 확률이 높은 것으로 나타납니다. 하지만 측정결과는 2가 나올 확률이 존재하기 때문에, 반복횟수를 늘리면 더욱 정확한 결과를 얻을 수 있습니다.

양자 컴퓨팅으로 1과 2를 더하면 3이 아닌 100이 될 수도 있는가?

양자 컴퓨팅에서도 계산에는 오류가 존재할 수 있습니다. 이러한 오류는 노이즈와 양자 비트의 불안정성으로 인해 발생합니다. 그러나 오류는 확률적인 형태로 발생하며, 오류가 발생할 확률은 특히 오류 정정 기술을 이용하여 줄일 수 있습니다. 따라서 이론적으로 가능성은 낮지만 양자 컴퓨팅에서 1과 2를 더하면 3이 아닌 100이 될 수 있는 가능성이 존재합니다.

매개변수 (parameter)

“매개변수”란 머신 러닝 모델의 내부적인 상태값을 나타내는 말입니다. 모델의 학습 과정에서 최적의 매개변수 값을 찾아내는 것이 모델 학습의 목표 중 하나입니다.

매개변수는 일상생활에서 남녀 관계에서 자주 사용되는 ‘조건’에 비유할 수 있습니다.

예를 들어, 데이트를 하러 갈 때 여자친구가 “나한테 좋은 말 좀 해줘”라고 요구한다면, 이때의 ‘좋은 말’은 매개변수 역할을 합니다. 여자친구는 조건으로 ‘좋은 말’을 지정하고, 이에 따라 남자친구는 이를 만족시키기 위해 노력합니다. 이때, 남자친구가 여러 가지 방법으로 ‘좋은 말’을 전달하면서 여자친구의 반응을 관찰하며 조금씩 조정하고 개선해 나가는 것은 머신러닝에서 말하는 ‘학습’ 과정과 유사합니다.

머신러닝에서도 모델에 입력되는 다양한 변수들 중에서 중요한 역할을 하는 변수들이 있습니다. 이러한 변수들을 매개변수라고 부르며, 모델이 데이터를 학습하면서 이 매개변수들의 값을 조정하면서 예측 결과를 개선해 나가게 됩니다.

머신 러닝 모델은 입력 데이터에 대해 예측값을 출력하는데, 이때 모델은 일련의 연산 과정을 통해 입력을 처리하고 출력을 생성합니다. 이때 모델의 매개변수는 이러한 연산 과정에서 사용되는 가중치(weight)와 편향(bias) 등의 값들을 의미합니다. 모델 학습 과정에서는 이러한 매개변수 값을 최적화하여 입력에 대한 정확한 예측을 할 수 있도록 합니다.

“ChatGPT-3″의 경우, 1750억개의 매개변수를 가지는데, 이는 모델이 처리할 수 있는 언어의 다양성과 정확도를 높이기 위해 매우 많은 수의 매개변수를 사용하는 것입니다. 이렇게 많은 매개변수를 가지는 모델은 매우 복잡한 함수를 근사(approximate)할 수 있으므로, 자연어 처리 분야에서 높은 성능을 보이고 있습니다.

매개변수의 개수가 1750억개라는 것은, ChatGPT-3 모델 내부에 사용되는 가중치(weight)와 편향(bias) 값 등을 모두 합쳐서 1750억개가 있다는 것입니다. 즉, 이 매개변수들이 모델 내부에서 각각 어떻게 설정되느냐에 따라 모델이 입력된 데이터를 처리하고 출력하는 방식이 결정됩니다.

따라서, 이 매개변수들을 조정하는 것은 모델의 학습 과정에서 이루어지며, 이를 위해서는 대량의 데이터와 연산능력이 필요합니다. 그러므로, 모델을 학습시키기 위해서는 대규모 컴퓨팅 자원과 많은 시간이 필요합니다.

매개변수  10개의 경우

예를 들어, 매개변수를 다음과 같이 정의해보겠습니다.

  1. 외모 – 0은 싫어하고 1은 좋아합니다.
  2. 부모님 – 0은 싫어하고 1은 좋아합니다.
  3. 자신감 – 0은 낮고, 1은 높습니다.
  4. 돈 – 0은 많이 없으면 싫어하고, 1은 많으면 좋아합니다.
  5. 관심사 – 0은 맞지 않으면 싫어하고, 1은 맞으면 좋아합니다.
  6. 유머감각 – 0은 없으면 싫어하고, 1은 있으면 좋아합니다.
  7. 자신감 – 0은 없으면 싫어하고, 1은 있으면 좋아합니다.
  8. 성격 – 0은 싫어하고, 1은 좋아합니다.
  9. 연봉 – 0은 적으면 싫어하고, 1은 많으면 좋아합니다.
  10. 교육 – 0은 낮으면 싫어하고, 1은 높으면 좋아합니다.

위의 매개변수를 사용하여, 다음과 같은 코드를 작성할 수 있습니다.

실행하기

import random
# 매개변수 초기화
params = [random.randint(0, 1) for _ in range(10)]

# 여자가 "사랑해" 라고 출력하는 함수
def say_love(params):
score = 0
score += 2 * params[0] - 1
score += 2 * params[1] - 1
score += 2 * params[2] - 1
score += 2 * params[3] - 1
score += 2 * params[4] - 1
score += 2 * params[5] - 1
score += 2 * params[6] - 1
score += 2 * params[7] - 1
score += 2 * params[8] - 1
score += 2 * params[9] - 1
if score > 0:
return "사랑해"
else:
return "싫어해"

print(say_love(params))

위 코드는 10개의 매개변수를 초기화한 후, say_love 함수를 사용하여 남자의 조건을 입력하면 여자가 “사랑해” 또는 “싫어해”를 출력합니다. 각 매개변수는 0 또는 1의 값을 가지며, 남자의 조건을 평가하는데 사용됩니다. 함수 내부에서는 매개변수의 값들을 합산하여 score 값을 계산하고, score 값이 양수인 경우 “사랑해”, 음수인 경우 “싫어해”를 출력합니다.

위의 예시 프로그램에서 가중치(weight)는 남자가 여자에게 제시하는 조건들로, 편향(bias)은 조건들이 여자에게 얼마나 긍정적인 영향을 끼치는지를 조절하는 값입니다. 가중치와 편향은 모델의 학습을 통해 최적화되며, 최적화된 가중치와 편향이 사용됩니다. 즉, 이 프로그램에서는 가중치와 편향을 사람이 수동으로 조절하는 것이 아니라, 머신 러닝 알고리즘이 학습을 통해 최적의 값을 찾아내는 것입니다.

위의 프로그램에서 예를 들어 score += 2 * params[5] – 1 을 통해 가중치와 편향을 보겠습니다.params[5]는 가중치(weight)에 해당합니다. 가중치는 모델이 학습을 통해 자동으로 조정하는 값으로, 입력 데이터와 곱해져서 중요한 특성을 강조하거나 약화시키는 역할을 합니다.

2는 가중치에 곱해지는 계수(coefficient)로, 이 값이 높을수록 해당 가중치가 결과값에 미치는 영향이 더 커집니다.

-1은 편향(bias)에 해당합니다. 편향은 모델이 학습을 통해 자동으로 조정하는 값으로, 입력 데이터에 더해져서 결과값에 일정한 영향을 끼치는 역할을 합니다. 이 예시에서는 -1을 더해주므로, 편향이 음의 영향을 끼치게 됩니다.