<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="/resources/xsl/jats-html.xsl"?>
<article article-type="research-article" dtd-version="1.1" xml:lang="ko" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<front>
	<journal-meta>
		<journal-id journal-id-type="publisher-id">jkits</journal-id>
		<journal-title-group>
		<journal-title>한국지식정보기술학회 논문지</journal-title>
		<journal-title xml:lang="en">Journal of Knowledge Information Technology and Systems</journal-title>
		</journal-title-group>
		<issn pub-type="ppub">1975-7700</issn>
		<publisher>
		<publisher-name>한국지식정보기술학회</publisher-name>
		<publisher-name xml:lang="en">Korea Knowledge Information Technology Society</publisher-name>
		</publisher>
	</journal-meta>
	<article-meta>
		<article-id pub-id-type="publisher-id">jkits_2019_14_04_345</article-id>
		<article-id pub-id-type="doi">10.34163/jkits.2019.14.4.004</article-id>
		<article-categories>
			<subj-group>
				<subject>Research Article</subject>
			</subj-group>
		</article-categories>
		<title-group>
			<article-title>Gagné 수업이론에 기반한 AI스피커 교육콘텐츠 분석 및 발전방향 연구 : Amazon Alexa Skills를 중심으로</article-title>
			<trans-title-group xml:lang="en">
				<trans-title>Analysis and Development Direction of Education Content on AI speakers Based on Gagné’s Instructional Theory: Focused on Amazon Alexa Skills</trans-title>
			</trans-title-group>
		</title-group>
		<contrib-group>
			<contrib contrib-type="author" xlink:type="simple">
				<name-alternatives>
					<name name-style="eastern">
						<surname>박</surname><given-names>준서</given-names>
					</name>
					<name name-style="western" xml:lang="en">
						<surname>Park</surname><given-names>Junseo</given-names>
					</name>
					</name-alternatives>
					<xref ref-type="aff" rid="A1"><sup>1</sup></xref>
			</contrib>
			<contrib contrib-type="author" xlink:type="simple">
				<name-alternatives>
					<name name-style="eastern">
						<surname>김</surname><given-names>유진</given-names>
					</name>
					<name name-style="western" xml:lang="en">
						<surname>Kim</surname><given-names>Yujin</given-names>
					</name>
					</name-alternatives>
					<xref ref-type="aff" rid="A2"><sup>2</sup></xref>
			</contrib>
				<contrib contrib-type="author" xlink:type="simple">
				<name-alternatives>
					<name name-style="eastern">
						<surname>김</surname><given-names>민영</given-names>
					</name>
					<name name-style="western" xml:lang="en">
						<surname>Kim</surname><given-names>Minyoung</given-names>
					</name>
					</name-alternatives>
					<xref ref-type="aff" rid="A2"><sup>2</sup></xref>
			</contrib>
			<contrib contrib-type="author" xlink:type="simple">
				<name-alternatives>
					<name name-style="eastern">
						<surname>임</surname><given-names>걸</given-names>
					</name>
					<name name-style="western" xml:lang="en">
						<surname>Lim</surname><given-names> Keol</given-names>
					</name>
					</name-alternatives>
					<xref ref-type="aff" rid="A3"><sup>3</sup></xref>
					<xref ref-type="fn" rid="fn001"><sup>*</sup></xref>
			</contrib>
		</contrib-group>
		<aff-alternatives id="A1">
			<aff><sup>1</sup><italic>건국대학교 교육공학과 석사과정</italic></aff>
			<aff xml:lang="en"><italic>Department of Educational Technology, Konkuk University</italic></aff>
		</aff-alternatives>
		<aff-alternatives id="A2">
			<aff><sup>2</sup><italic>건국대학교 교육공학과 박사과정</italic></aff>
			<aff xml:lang="en"><italic>Department of Educational Technology, Konkuk University</italic></aff>
		</aff-alternatives>
		<aff-alternatives id="A3">
			<aff><sup>3</sup><italic>건국대학교 교육공학과 교수</italic></aff>
			<aff xml:lang="en"><italic>Department of Educational Technology, Konkuk University</italic></aff>
		</aff-alternatives>
			<author-notes>
			<fn id="fn001"><label>*</label><p>Corresponding author is with the Department of Educational Technology, Konkuk University, 120 Neungdong-ro, Gwangjin-gu, Seoul 05029. KOREA </p>
			<p><italic>E-mail address</italic>: <email>gklim01@konkuk.ac.kr</email></p></fn>
		</author-notes>
		<pub-date pub-type="ppub">
			<month>8</month>
			<year>2019</year>
		</pub-date>
		<volume>14</volume>
		<issue>4</issue>
		<fpage>345</fpage>
		<lpage>358</lpage>
		<history>
			<date date-type="received">
				<day>10</day>
				<month>6</month>
				<year>2019</year>
			</date>
			<date date-type="rev-recd">
				<day>22</day>
				<month>7</month>
				<year>2019</year>
			</date>
			<date date-type="accepted">
				<day>9</day>
				<month>8</month>
				<year>2019</year>
			</date>
		</history>
		<permissions>
			<copyright-statement>&#x00A9; 2019 KKITS All rights reserved</copyright-statement>
			<copyright-year>2019</copyright-year>
		</permissions>
		<abstract>
			<title>요약</title>
			<p>지능형 개인비서 역할을 수행하는 AI(Artificial Intelligence) 스피커는 음성기반 사용자 인터페이스 환경에서 사용자와 상호작용함으로서 콘텐츠를 전달한다. Amazon은 AI스피커 Skills 시장을 개방함으로써 생태계를 선도하고 있으며, 교육콘텐츠 영역에 대한 비율도 증가하고 있다. 이에 따라 교육에서 AI스피커를 활용한 적용이 늘어날 것으로 예측된다. 본 연구는 Gagné 수업이론에 기반한 AI스피커 교육콘텐츠 현황을 분석하고 향후 발전방향을 제시하기 위해 수행되었다. 이에 따라 일정기준에 의해 선정된 30개 Amazon “Echo”의 Skills를 대상으로 Gagné의 9가지 수업사태(events) 즉, “주의력 집중”, “수업목표 제시”, “사전지식 재생자극”, “학습안내 제공”, “수행유도”, “피드백 제공”, “수행평가”, “파지와 전이향상”을 바탕으로 이들의 적용여부를 분석하였다. 연구결과 “주의력 집중”, “학습안내 제공”, “수행유도” 등의 기능들이 AI스피커에 주로 적용된 반면, “사전지식 재생자극”, “파지와 전이향상”을 위한 기능은 제대로 활용되지 않았다. 연구결과에 기반하여, AI스피커의 구조적 이해에 기반한 설계, AI 스피커의 기술적 속성을 활용한 설계, 구성주의(constructivism) 학습 패러다임을 적용한 설계, 다각적 학습설계 전략의 적용 등이 제언되었다.</p>
		</abstract>
		<trans-abstract xml:lang="en">
			<title>ABSTRACT</title>
			<p>The artificial intelligence (AI) speaker, as an intelligent personal assistant, interacts with users and delivers content under voice user interfaces. Amazon is leading the market by running open the AI Speaker “skills” ecosystem. Accordingly, educational content skills on AI speakers are increasing and the future of learning could use some features of AI speakers. This research was conducted to analyze major educational content in terms of Gagné’s instructional theory of nine events including “gaining attention (reception),” “informing learners of the objective (expectancy),” “stimulating recall of prior learning (retrieval),” “presenting the stimulus (selective perception),” “providing learning guidance (semantic encoding),” “eliciting performance (responding),” “providing feedback (reinforcement),” “assessing performance (retrieval),” and “enhancing retention and transfer (generalization)” and to suggest future directions. A total of 30 representative educational skills from Amazon “Echo” were investigated to check the effective applications of nine instructional events. As a result, “gaining attention,” “informing learners of objectives,” and “eliciting performance” were applied to many of the skills. However, “stimulating recall of prior learning” and “enhance retention and transfer” were not. Based on the findings, design based on structural understandings and technical properties of the AI speaker, design applied to constructivist learning paradigm, and design for effective instructional strategies were suggested.</p>
		</trans-abstract>
		<kwd-group kwd-group-type="author" xml:lang="en">
			<kwd>AI speakers</kwd>
			<kwd>Smart speakers</kwd>
			<kwd>Educational contents</kwd>
			<kwd>Gagné’s Instructional theory</kwd>
			<kwd>Educational media</kwd>
		</kwd-group>
	</article-meta>
</front>
<body>
<sec id="sec001" sec-type="intro">
	<title>1. 서 론</title>
<p>2016년 알파고(AlphaGo) 열풍 이후 인공지능에 대한 사회적 관심이 증가하고 있다. 인공지능 및 인공지능 관련기술이 일상생활에 전면적 영향을 미치는 데에는 다소 시간이 필요할 것으로 예측되지만, 빅데이터(big data), 딥러닝(deep learning) 기술 등을 활용한 일정한 수준의 인공지능 상품이 생산, 유통되는 시대를 맞이하였다. 이 중 인공지능스피커(artificial intelligence speaker; AI스피커) 또는 스마트스피커(smart speaker)로 불리는 음성기반 대화형 기기는 해당 산업과 시장이 극적으로 발전하고 있어, 생활패턴을 변화시키는 주요한 도구로 등장할 것이 전망되고 있다.</p>
<p>AI스피커는 음악 또는 뉴스청취 등의 취미생활을 비롯하여 IoT(Internet of Things) 기반의 각종 명령을 실천하는 매개체의 역할을 수행한다. 또한 AI스피커 콘텐츠 시장이 개방되면서 교육분야 제품들이 개발, 보급되고 있는데, K-12를 비롯한 기업 및 성인교육 분야 등 안정적 수요처를 확보하고 있는 교육시장에서의 AI스피커 콘텐츠 개발영역은 향후 확대가능성이 매우 높다. 다만 AI스피커 기반의 교육콘텐츠 시장은 초기성장단계이므로 현황을 면밀히 분석하고 향후 체계적 발전방향을 제시하는 것은 매우 중요하다.</p>
<p>이에 본 연구는 대표적 AI스피커 교육콘텐츠의 구성내용을 교수설계 절차에 따라 분석함으로써, AI스피커 교육콘텐츠 효과성 제고의 제언을 목적으로 수행하였다. 이에 따라 첫째, 시장이 개방되어 최대 규모의 콘텐츠 생태계를 보유한 Amazon의 AI 스피커 어플리케이션인 일명 ‘Skills’를 분석의 모집단으로 선정하였다. 둘째, 일정한 기준과 방법에 의거하여 대표적인 AI스피커 교육콘텐츠를 선정하였다. 셋째, 교수학습설계시 널리 준용되는 Gagné를 분석의 준거로 선정하였다. 넷째, 준거(9가지 요소)를 바탕으로 대상 분석(30개)의 매트리스를 구성하여 270개 요소 내용을 확인하였다. 다섯 째, 분석 결과를 바탕으로 효과적 개발을 위한 방안을 제시하였다.</p>
<p>위의 내용은 다음과 같은 구성으로 작성되었다. 1장은 서론으로, 연구의 배경과 필요성, 연구 절차 및 방법 등이 소개되었다. 2장에서는 AI스피커의 개념과 현황, 교육매체로서 AI스피커가 갖는 특징에 대해 논의하였으며 AI스피커 기반 교육용 콘텐츠 현황에 대해 Amazon Alexa Skills를 중심으로 살펴보았다. 3장은 연구 방법으로, 분석 대상을 제시하고 분석의 준거가 되는 Gagné의 수업사태와 분석 방법에 대하여 서술하였다. 4장에서는 분석한 결과에 대해 기술하였으며 이를 바탕으로 5장에서 결론과 함께 AI스피커 기반 교육콘텐츠의 발전 방향에 대해 논의하였다.</p>
</sec>
<sec id="sec002">
<title>2. AI스피커와 교육</title>
<sec id="sec002-1">
<title>2.1 AI스피커 개념 및 현황</title>
<p>AI스피커란 지능형 개인 비서(Intelligent Personal Assistant, IPA) 서비스가 내장된 스피커로서, 사용자는 음성을 이용하여 음악 재생, 정보 검색, 물건 구매 등의 다양한 작업을 스피커에 내장된 가상 개체에 요청할 수 있다[<xref ref-type="bibr" rid="B001">1</xref>,<xref ref-type="bibr" rid="B002">2</xref>]. 스피커에 내장된 가상 비서가 사용자의 발화를 이해하고 사용자가 요청하는 작업을 정확하게 수행하도록 해야 하므로 음성인식, 자연어 처리(Natural Language Processing, NLP), 머신러닝 등의 다양한 인공지능 관련 기술들이 접목된다.</p>
<p>인공지능 스피커의 가장 큰 특징은 음성기반 사용자 인터페이스(Voice User Interface: VUI) 환경에서 구동된다는 점이다. UI(User Interface)란 기계와 인간이 상호작용 하는 공간 또는 양식으로서<xref ref-type="bibr" rid="B003">[3]</xref>, 사람이 음성을 통하여 기계를 조작하려고 시도하는 것은 VUI의 예시에 해당한다. &#x003C;<xref ref-type="fig" rid="f001">그림 1</xref>&#x003E;은 디지털 환경에서 UI 변천 과정을 설명하고 있다[<xref ref-type="bibr" rid="B004">4</xref>-<xref ref-type="bibr" rid="B006">6</xref>]. 명령어 중심(Command-line User Interface: CUI), 문자 중심(Text-based User Interface: TUI) 시대를 거쳐 비로소 시각적 요소의 화려함이 제시되는 그림 중심(Graphical User Interface: GUI) 시대가 전개되었다. 최근 AI스피커가 일상에 보급되면서 VUI가 보편화되는 시대에 이르렀다.</p>
<fig id="f001" orientation="portrait" position="float">
	<label>그림 1.</label>
	<caption>
		<title>UI의 변천과정</title>
		<p>Figure 1. Development of UI</p>
	</caption>
	<graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f001.jpg" position="float" orientation="portrait" xlink:type="simple"></graphic>
</fig>
<p>이와 같은 UI변화 추세에 따라 사용자들이 선호/보유하는 디지털기기의 추세가 변화하고 있다. &lt;<xref ref-type="fig" rid="f002">그림 2</xref>&gt;와 같이 컴퓨터, 노트북, 스마트폰의 변화에 이어 VUI 중심의 AI스피커 판매의 급격한 확대가 기대되고 있다[<xref ref-type="bibr" rid="B007">7</xref>,<xref ref-type="bibr" rid="B008">8</xref>].</p>
<fig id="f002" orientation="portrait" position="float">
	<label>그림 2.</label>
	<caption>
		<title>UI 변화에 따른 사용자 수 증가</title>
		<p>Figure 2. User increase with UI change</p>
	</caption>
	<graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f002.jpg" position="float" orientation="portrait" xlink:type="simple"></graphic>
</fig>
<p>한편, VUI가 AI스피커에만 적용되고 있는 것은 아니다. 일례로, 최근의 스마트폰은 터치스크린과 VUI를 동시에 제공한다. Google 등과 같이 IPA를 활용한 모바일 시장 개척에 적극적인 기업도 있다<xref ref-type="bibr" rid="B009">[9]</xref>. 그러므로 미래에 인공지능 스피커의 물리적 존재가 소멸될 가능성에 대한 문제도 관심사가 될수 있다. 그러나 인공지능 스피커의 향후 존속 여부와는 별개로, 이미 인공지능 스피커를 통해 사용자들에게 새로운 경험들(Voice User Experience: VUX)이 제공되고 있으며 VUX를 설계하는 방식에 대한 다양한 아이디어들이 생성되고 있다. 인공지능 스피커를 통해 얻어진 VUI 및 VUX 구축에 관한 R&#x0026;D는 향후 디지털 콘텐츠 설계 및 개발 과정에서 주요하게 다루어 질 것으로 기대할 수 있다[<xref ref-type="bibr" rid="B010">10</xref>,<xref ref-type="bibr" rid="B011">11</xref>].</p>
<p>2011년 10월에 Apple사가 최초의 IPA인 Siri를 선보인 이후, 여러 IT 업체에서 유사한 서비스 개발에 나서며 본격적으로 IPA 개발 경쟁이 시작되었다. 그 결과 Google Now, Microsoft Cortana 등의 다양한 IPA가 잇따라 상용화 되었으며, 이로써 AI스피커 등장을 위한 소프트웨어의 기반이 마련되었다<xref ref-type="bibr" rid="B009">[9]</xref>.</p>
<p>IPA를 스피커의 형태로 제품화하려는 시도는 2014년 11월에 Amazon사가 최초의 AI스피커인 Amazon Echo를 출시하면서 시작되었으며, 2016년 Google의 Google Home 출시 등 다수 회사에서 AI 스피커를 출시하며 시장 경쟁이 심화되고 있다<xref ref-type="bibr" rid="B010">[10]</xref>. 특히 Amzaon은 Alexa로 불리는 플랫폼을 중심으로 ‘Skill’로 통칭되는 응용프로그램 생태계를 구성하여 개인 사용자들이 개발할 수 있도록 개발 도구인 ASK(Amazon Skill Kits)를 제공하고 있으며, ASK를 바탕으로 활성화된 애플리케이션 시장을 보유하고 있다. 국내의 경우, 2016년에 SK텔레콤이 국내 최초의 AI스피커 SK NUGU를 선보인 이후 KT, 네이버, 카카오 등 주요 IT회사를 중심으로 여러 제품군들이 출시되면서 시장 선점을 위한 경쟁이 벌어지고 있다.</p>
<p>AI스피커 시장은 태동기를 거치고 있는 신생 시장이지만 그 성장세는 매우 가파르다. 2015년 당시 3.6억 달러였던 시장규모는 매년 42%씩 성장하였으며<xref ref-type="bibr" rid="B012">[12]</xref>, 2018년 기준 전 세계에서 1억 6400만 개의 AI스피커가 소비되며, 전체 시장 규모 43억 달러를 형성하였다<xref ref-type="bibr" rid="B013">[13]</xref>.</p>
</sec>
<sec id="sec002-2">
<title>2.2 교육매체로서의 AI스피커 특징</title>
<p>교육콘텐츠를 효과적으로 전달하기 위한 매체는 OHP(Over Head Projector)와 실물환등기 시대를 거쳐 ITV(Instructional Television), CAI(Computer Assisted Instruction: CAI) 등에 이르기까지 기술과 매체의 발전과 더불어 지속적으로 변화해 왔다<xref ref-type="bibr" rid="B014">[14]</xref>. 교육매체로서의 AI스피커는 교육적 도구로서 다음의 특징을 갖는 것으로 분석해 볼 수 있다.</p>
<p>첫째, Sensing이다. Sensing은 AI스피커가 사용자의 대화를 수집하는 것을 의미한다. 향후 기술발전이 전제될 경우 AI스피커를 통해 사용자의 반응 및 사용 습관 등 정보를 맞춤형 콘텐츠를 제공하는 것이 가능하다. 나아가 제반 학습관리 기능을 포함하는 학습관리시스템(Learning Management System)으로서의 포괄적 교육서비스가 가능하다.</p>
<p>둘째, 양방향성이다. TV, VTR, 오디오 등의 기존교수매체가 단방향적인 매체였다면 AI스피커는 학습자와의 상호작용이 가능한 양방향 매체이다. AI 스피커는 학습자들에게 연습 및 발화의 기회를 제공할 수 있으며, 학습자의 선택이나 수행 결과에 따라 학습 양상을 다르게 전개시킬 수 있는 유용한 도구이다.</p>
<p>셋째, 감성적 대화이다. AI스피커는 어조, 표정, 기타 언어적 감정표현 등의 방법을 활용하여 사용자와 감성적으로 의사소통한다. 교수·학습 상황에서 학습자와 정서적 교류가 발생하기 힘들었던 기존의 CAI 방식과 달리, AI스피커에서는 학습 대상자의 연령, 성별, 동기 수준 등 요소를 고려하여 다양한 페르소나를 설계함으로써 흥미 유발 및 정서적 교류가 가능하다[<xref ref-type="bibr" rid="B015">15</xref>,<xref ref-type="bibr" rid="B016">16</xref>].</p>
<p>넷째, 접근성이다. AI스피커는 조작을 위해 별도의 디스플레이나 입력 장치가 필요하지 않으므로, 학습을 시작하기 위해 컴퓨터를 켜거나 책을 준비 하는 등의 사전 동작이 필요하지 않다. 침대에 누워있거나 다른 행동을 하면서도 사용할 수 있으므로 학습 콘텐츠에 대한 접근성을 크게 향상시킬 수 있다.</p>
<p>마지막으로, 확장성이다. AI스피커는 다양한 디지털 기기와의 연계가 가능하다. 즉, IPA가 소프트웨어의 형태로 존재하기 때문에 IPA가 탑재되는 디바이스는 다양하게 확장될 수 있다. 이에 따라 과거에는 학습이 일어날 것으로 기대하지 않았던 상황에서 학습콘텐츠에 대한 접근을 가능하게 하는 등 학습 양상에 다양한 변화를 줄 것이다<xref ref-type="bibr" rid="B017">[17]</xref>.</p>
</sec>
<sec id="sec002-3">
<title>2.3 AI스피커 기반 교육콘텐츠 현황</title>
<p>교육매체로서의 AI스피커 논의에서 나아가 AI스피커를 통해 제공되는 교육콘텐츠의 중요성이 강조될 필요가 있다. 교육매체를 통한 학습내용의 성패는 매체의 고유한 속성 뿐 아니라 이 안에 담겨진 콘텐츠의 질적 수준에 지대한 영향을 받는다[<xref ref-type="bibr" rid="B018">18</xref>,<xref ref-type="bibr" rid="B019">19</xref>].</p>
<p>AI스피커에 탑재된 교육콘텐츠는 주로 개인이 ASK를 통해 개발한 공개마켓인 Amazon사의 AI스피커를 통해 가늠해 볼 수 있다. <xref ref-type="table" rid="t001">표1</xref>에서 보는 바와 같이 2019년 4월 기준으로 Alexa Skills Store에 는 총 70,705개의 Skills가 등록되어 있다<xref ref-type="bibr" rid="B020">[20]</xref>.</p>
<p>전체 21개 영역 중 게임 영역에 15,000개가 넘은 가장 많은 수의 Skills가 등록되어 있었고, 이어 교육 영역이 9,801개 이었다. 이어 생활, 음악, 뉴스 등의 영역 Skills 들이 등록되어 있었다.</p>
<table-wrap id="t001">
<label>표 1.</label>
<caption>
<title>영역별 Alexa Skills 등록 현황</title>
<p>Table 1. Alexa skills registration by category</p>
</caption>
<table frame="box" rules="all" width="100%">
<tbody>
<tr style="background: lightgrey" align="center">
<td>영역</td>
<td>개수</td>
<td></td>
<td>영역</td>
<td>개수</td>
</tr>
<tr align="center">
<td>게임</td>
<td>15,031</td>
<td></td>
<td>스포츠</td>
<td>1,358</td>
</tr>
<tr align="center">
<td>교육</td>
<td>9,801</td>
<td></td>
<td>음식</td>
<td>1,162</td>
</tr>
<tr align="center">
<td>생활</td>
<td>9,340</td>
<td></td>
<td>여행</td>
<td>1,141</td>
</tr>
<tr align="center">
<td>음악</td>
<td>7,720</td>
<td></td>
<td>지역</td>
<td>1,095</td>
</tr>
<tr align="center">
<td>뉴스</td>
<td>5,892</td>
<td></td>
<td>소셜</td>
<td>941</td>
</tr>
<tr align="center">
<td>유머</td>
<td>3,163</td>
<td></td>
<td>날씨</td>
<td>829</td>
</tr>
<tr align="center">
<td>생산성</td>
<td>3,042</td>
<td></td>
<td>영화/TV</td>
<td>815</td>
</tr>
<tr align="center">
<td>비즈니스</td>
<td>2,737</td>
<td></td>
<td>도구</td>
<td>631</td>
</tr>
<tr align="center">
<td>아동</td>
<td>2,108</td>
<td></td>
<td>쇼핑</td>
<td>244</td>
</tr>
<tr align="center">
<td>스마트홈</td>
<td>1,847</td>
<td></td>
<td>자동차연결</td>
<td>93</td>
</tr>
<tr align="center">
<td>건강</td>
<td>1,715</td>
<td></td>
<td></td>
<td></td>
</tr>
</tbody>
</table>
</table-wrap>
</sec>
</sec>
<sec id="sec003" sec-type="methods">
<title>3. 연구 방법</title>
<sec id="sec003-1">
<title>3.1 분석 대상</title>
<p>시중에 다양한 AI스피커 제품들이 출시되어 있으나 본 연구에서 선정한 분석 대상은 Amazon Alexa의 교육용 Skills이다. Amazon Alexa Skills를 본 연구에 적합한 대상으로 선정한 이유는 다음과 같다.</p>
<p>Amazon은 개발자 도구인 ASK를 제공함으로써, 개인이 자유롭게 Skills를 제작하고 배포하는 것이 가능하여, 다양한 Skills 생태계가 유지되고 있다. 이에 따라 본 연구에서는 Amazon Skills의 교육 카데고리 제품들로 연구분석 대상을 선정하였다.</p>
</sec>
<sec id="sec003-2">
<title>3.2 분석 준거 및 방법</title>
<p>교육콘텐츠의 교육 프로세스는 체계적으로 구성되었을 때 학습목표의 성취에 기여할 수 있다. 이러한 측면에서 체계적인 교육 프로세스를 확인하기 위한 기준과 도구가 요구된다.</p>
<p>대표적 교육심리학자인 Gagné는 오늘날 수업 구성과 분석에서 널리 사용되고 있는 9단계의 수업사태(nine events of instruction)를 제시하였다<xref ref-type="bibr" rid="B021">[21]</xref>. Gagné의 9가지 수업사태는 주의력 집중, 학습목표 제시, 사전지식 재생자극, 자극자료 제시, 학습안내 제공, 수행유도, 피드백 제공, 수행평가, 파지와 전이 향상 요소로 구성되어 있다. 세부 내용은 &#x003C;<xref ref-type="table" rid="t002">표 2</xref>&#x003E;와 같다.</p>
<p>본 연구에서는 체계적인 수업의 구성요소로서 고려해야 할 사항을 확인하기 위한 AI스피커 분석 도구로서 9가지로 구체화되어 수업사태가 구분된 Gagné의 수업이론을 사용하였다.</p>
<table-wrap id="t002">
<label>표 2.</label>
<caption>
<title>Gagné 수업이론 내용</title>
<p>Table 2. Gagné’s instructional theory of 9 events</p>
</caption>
<table frame="box" rules="all" width="100%">
<tbody>
<tr style="background: lightgrey" align="center">
<td>개념</td>
<td>내용</td>
</tr>
<tr>
<td align="center">주의력 집중</td>
<td>학습자의 주의를 집중시키는 일련의 활동 을 포함하는
것</td>
</tr>
<tr>
<td align="center">학습목표제시</td>
<td>학습 활동을 통해 궁극적으로 이루고자 하는 목표를 학습자들에게 인식시키는 활동</td>
</tr>
<tr>
<td align="center">사전지식 재생자극</td>
<td>학습자들이 선수학습 내용 또는 사전지식을 회상하도록 하는 과정</td>
</tr>
<tr>
<td align="center">자극자료 제시</td>
<td>학습자료 및 학습 주제에 대한 다양한 예 시들을 제시하는 과정</td>
</tr>
<tr>
<td align="center">학습안내 제공</td>
<td>학습을 위한 안내와 지침을 제공하는 과정</td>
</tr>
<tr>
<td align="center">수행유도</td>
<td>학습 목표에 해당하는 행동을 학습자들이 실제로 수행하도록 하는 과정</td>
</tr>
<tr>
<td align="center">피드백 제공</td>
<td>학습자의 수행에 대하여 적절한 반응이나 정보를 제공하는 것</td>
</tr>
<tr>
<td align="center">수행평가</td>
<td>학습이 잘 이루어졌는지를 평가하고 확인 하는 과정</td>
</tr>
<tr>
<td align="center">파지와 전이향상</td>
<td>파지와 전이 향상은 학습한 내용을 재생하거나 혹은 새로운 상황에서 활용할 수 있는 능력을 기르도록 하는 과정</td>
</tr>
</tbody>
</table>
</table-wrap>
<p>본 연구에서는 연구문제 수행을 위해 전체 교육용 Skills 중 30개를 분석 대상으로 선정하였다. 기준은 다음과 같았다. 첫째, Alexa Skills Store 사용자 평가결과 별점 척도 평균 3.5점 이상을 기록한 Skills. 둘째, 각종 교육용 AI스피커 리뷰와 포럼에서 주요하게 다루어 진 Skills. 셋째, 첫째와 둘째 조건을 만족하는 사례 중 교육공학 전공자 3인으로 구성된 평가자 집단이 Gagné의 수업사태 분석 틀을 적용한 결과 최소 2개 이상의 단계가 적용된 Skills. 최종 선정된 30개의 Skills 목록 및 내용은 다음과 같다.</p>
<table-wrap id="t003">
<label>표 3.</label>
<caption>
<title>연구분석 대상 Skills</title>
<p>Table 3. Skills for the analysis</p>
</caption>
<table frame="box" rules="all" width="100%">
<tbody>
<tr style="background: lightgrey" align="center">
<td>연번</td>
<td>Skills 명</td>
<td>특징</td>
</tr>
<tr align="center">
<td>1</td>
<td>English Irregular Verbs</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>2</td>
<td>SayHi Language Learning</td>
<td>회화표현</td>
</tr>
<tr align="center">
<td>3</td>
<td>1-2-3 Math</td>
<td>Gamification</td>
</tr>
<tr align="center">
<td>4</td>
<td>Lingo Trip</td>
<td>협동학습</td>
</tr>
<tr align="center">
<td>5</td>
<td>German Articles</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>6</td>
<td>Learn Chinese</td>
<td>회화표현</td>
</tr>
<tr align="center">
<td>7</td>
<td>Learn Japanese</td>
<td>회화표현</td>
</tr>
<tr align="center">
<td>8</td>
<td>Chineasy-Learn Chinese With Ease</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>9</td>
<td>Daily Dose</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>10</td>
<td>Spelling Bee Winner</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>11</td>
<td>Make Me Smart</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>12</td>
<td>say what I say</td>
<td>듣고 말하기</td>
</tr>
<tr align="center">
<td>13</td>
<td>Magoosh Vocabulary Builder</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>14</td>
<td>Curiosity</td>
<td>정보제공</td>
</tr>
<tr align="center">
<td>15</td>
<td>Learn Something Radio</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>16</td>
<td>Memory Game For Kids</td>
<td>Gamification</td>
</tr>
<tr align="center">
<td>17</td>
<td>Writing Sessions</td>
<td>정보제공</td>
</tr>
<tr align="center">
<td>18</td>
<td>Grammar Tool</td>
<td>단어복습</td>
</tr>
<tr align="center">
<td>19</td>
<td>World Mathematics League</td>
<td>Gamification</td>
</tr>
<tr align="center">
<td>20</td>
<td>Seattle English Tutor</td>
<td>퀴즈,
회화</td>
</tr>
<tr align="center">
<td>21</td>
<td>Voice coder</td>
<td>코딩</td>
</tr>
<tr align="center">
<td>22</td>
<td>This day in History</td>
<td>정보제공</td>
</tr>
<tr align="center">
<td>23</td>
<td>Listening Comprehension Practice</td>
<td>듣기능력</td>
</tr>
<tr align="center">
<td>24</td>
<td>Math Facts</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>25</td>
<td>Learn Spanish</td>
<td>회화표현</td>
</tr>
<tr align="center">
<td>26</td>
<td>Teach me French</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>27</td>
<td>ALL EARS ENGLISH</td>
<td>팟캐스트</td>
</tr>
<tr align="center">
<td>28</td>
<td>Speak Listen Learn</td>
<td>듣고 말하기</td>
</tr>
<tr align="center">
<td>29</td>
<td>Animal Game for Kids</td>
<td>퀴즈</td>
</tr>
<tr align="center">
<td>30</td>
<td>Spelling Game by Magoosh</td>
<td>퀴즈</td>
</tr>
</tbody>
</table>
</table-wrap>
<p>연구를 위해 선정된 Skills는 Gagné의 수업이론을 바탕으로 구성한 준거를 적용하여 분석되었다.</p>
<p>다음은 9개의 수업사태별로 정리한 준거의 구체적인 내용이다.</p>
<p>첫째, 주의력 집중 단계에 대해 본 연구에서는 Skills 사용 중 학습자의 주의 환기를 위한 각종 효과음이나 흥미를 유발할만한 장치가 마련되어 있는 경우로 정의하였다.</p>
<p>둘째, 학습목표 제시 단계에서는 학습자가 Skills를 사용하는 동안 학습할 내용을 사전에 제시하는 경우에 해당된다.</p>
<p>셋째, 사전지식 재생자극 단계에서는 학습자가 Skills를 사용하는 동안 AI스피커에 축적된 사용자 데이터 등이 학습 진행을 위해 활용되었을 때이다.</p>
<p>넷째, 자극자료 제시 단계는 학습자가 Skills를 사용하는 동안 실제적 예시, 예컨대 언어 학습용 Skills에서 원어민 음성 등을 접할 수 있는 경우와 같을 때 콘텐츠 개발에 이 요소를 고려한 것으로 간주하였다.</p>
<p>다섯째, 학습안내제공 단계에서는 Skills 사용 중 학습자 활동에 대하여 지시와 안내가 제시된 경우, 학습자들이 학습 과정을 파악할 수 있는 내비게이션 기능이 포함된 경우에 콘텐츠 개발에서 이 요소가 고려된 것으로 하였다.</p>
<p>여섯째, 수행유도 단계에 대해서는 학습 목표에 해당하는 내용에 대하여 학습자들에게 연습의 기회를 제공하는 활동이 포함된 경우에 콘텐츠 개발에서 이 요소를 고려한 것으로 하였다.</p>
<p>일곱째, 피드백 제공 단계에서는 Skills 사용 중 학습자 수행에 대한 격려가 제공되거나 학습자들의 오류를 상기시켜 주는 과정이 나타나는 경우로 정의하였다.</p>
<p>여덟째, 수행평가 단계에서는 Skills에서 학습한 내용에 대한 마무리 퀴즈, 채점 기능 등이 포함되어 있는 경우로 하였다.</p>
<p>마지막으로, 파지와 전이 향상은 본 연구의 분석을 위해 학습 내용을 일반화할 수 있는 과제나 경험을 제공하는 등 파지와 전이를 촉진시키는 사례가 있을 경우 본 절차가 적용되는 것으로 정의하였다.</p>
<p>상기와 같은 준거를 바탕으로 Gagné의 제 수업구성요소가 Skills 내에 반영되어 설계되었는지 여부를 분석하였다. 구체적으로, 준거(9가지 요소)를 바탕으로 대상 분석(30개)의 매트리스를 구성하여 270개 요소 내용 유무를 각각 확인하였다. 이 과정은 교육공학 전공자 3명이 개별적으로 실시한 후 결과를 상호 비교하는 방식을 적용하여, 평정자간 신뢰도(inter-rater reliability)를 유지하였다. 평정자간 일치도를 알아보기 위해 Fleiss의 일반화된 Kappa 계수를 산출하였으며, 평정자간 상호 의견이 일치할 경우 확정, 270개 매트리스 중 평정자간 상호 의견이 일치하지 않았던 19개 매트리스에 대하여는 토의를 통해 재검토하여 합의된 단일 결과를 도출하였다<xref ref-type="bibr" rid="B022">[22]</xref>.</p>
</sec>
</sec>
<sec id="sec004">
<title>4. 결 과</title>
<p>Gagné 수업이론 준거를 활용하여 분석한 결과, Fleiss의 일반화된 Kappa 계수는 0.90 (p ＜ 0.001)으로 평정자간 일치도가 매우 높은 것으로 나타났으며, 분석 결과를 표로 정리하면 다음과 같다<xref ref-type="bibr" rid="B023">[23]</xref>.</p>
<p>분석결과 9가지 수업사태 중 86.7%의 비율로 주의력 집중 단계는 대부분의 분석대상 Skills에서 적용하고 있었다. 다음으로 학습안내 제공(70%), 수행 유도(66.7%), 그리고 피드백 제공(66.3%)이 높은 비율로 적용되었다. 한편, 사전지식 재생자극이 적용된 Skills는 한 건도 없었으며(0%), 파이와 전이 향상(3.3%) 역시 1건(3.3%)으로 매우 낮은 비율을 보였다. 다음은 단계별 세부분석 결과이다.</p>
<table-wrap id="t004">
<label>표 4.</label>
<caption>
<title>Gagné 수업이론 준거기반 분석결과</title>
<p>Table 4. Results for the analysis based on Gagnés’s theory</p>
</caption>
<table frame="box" rules="all" width="100%">
<tbody>
<tr style="background: lightgrey" align="center">
<td>연번</td>
<td>a</td>
<td>b</td>
<td>c</td>
<td>d</td>
<td>e</td>
<td>f</td>
<td>g</td>
<td>h</td>
<td>i</td>
</tr>
<tr align="center">
<td>1</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>2</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>3</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>4</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>5</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>6</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>7</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>8</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>9</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>10</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>11</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>12</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>13</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>14</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>15</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>16</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>17</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>18</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>19</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>20</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>21</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
</tr>
<tr align="center">
<td>22</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>23</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>24</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>25</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>26</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>27</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
</tr>
<tr align="center">
<td>28</td>
<td>○</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>29</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center">
<td>30</td>
<td>○</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>×</td>
<td>○</td>
<td>○</td>
<td>○</td>
<td>×</td>
</tr>
<tr align="center" style="background: lightgrey">
<td>빈도</td>
<td>26</td>
<td>14</td>
<td>0</td>
<td>16</td>
<td>21</td>
<td>20</td>
<td>19</td>
<td>16</td>
<td>1</td>
</tr>
<tr align="center" style="background: lightgrey">
<td>비율</td>
<td>86.7%</td>
<td>46.7%</td>
<td>0%</td>
<td>53.3%</td>
<td>70.0%</td>
<td>66.7%</td>
<td>63.3%</td>
<td>53.3%</td>
<td>3.3%</td>
</tr>
</tbody>
</table>
	<table-wrap-foot>
<p>a=주의력집중, b=학습목표제시, c=사전지식재생자극, d=자극자료제시, e=학습안내제공, f=수행유도, g=피드백제공, h=수행평가, i=파지와 전이 향상</p>
	</table-wrap-foot>
</table-wrap>
<sec id="sec004-1">
<title>4.1 주의력 집중</title>
<p>주의력 집중이 반영된 Skills는 전체 30건 중 26건(86.7%)으로, 분석 준거 9가지 중 가장 많이 반영된 요소였다. 세부 전략으로는 주로 학습자들의 주의와 흥미를 끌기 위한 다양하고 재미있는 효과음, 배경음악의 형태로 구현되었다. “Learn Japanese” Skills의 경우 일본풍의 짧은 삽입 음악을 비롯한 다채로운 효과음들이 학습활동의 도입 단계를 비롯하여 전개, 종료 각 단계에 적절하게 배치되어 있었다. 또한 학습자들의 정확한 반응에 대해 ‘Text to Speech(TTS)’ 방식을 활용한 기계음 기반의 발화 피드백을 제공하는 것과 달리, 성우의 목소리를 직접 입력한 “正解!” 피드백 등 학습자의 주의 환기와 흥미 유발을 이끌어내기 위해 생생한 전략을 활용하였다.</p>
</sec>
<sec id="sec004-2">
<title>4.2 학습목표 제시</title>
<p>학습목표 제시 단계가 반영된 Skills는 전체 30건의 사례 중 14건(46.7%)이었다. 주요 사례로는 “Learn Chinese”에서는 학습자들에게 인사, 일일회화, 감정표현 등의 학습 내용이 마련되어 있음을 사전에 제시하고 이에 대한 선택권을 부여한다. 반면 “English Irregular Verbs”, “Spelling Bee Winner” 등의 Skills는 기능과 알고리즘이 비교적 단순하게 구조화되어 있었고, 학습목표 제시단계가 생략되었다. 학습목표를 제시하는 것은 콘텐츠 설계 과정에서 구현하는 것은 어렵지 않으나 최소화된 기본기능으로 구성된 Skills에서는 소홀히 하기쉽다.</p>
</sec>
<sec id="sec004-3">
<title>4.3 사전지식 재생자극</title>
<p>사전지식 재생자극이 반영된 Skills는 전체 30건의 분석 대상 중 한 건도 없었다. 이러한 원인은 기술적 한계가 영향을 미쳤을 것으로 파악할 수 있다. 선수 학습 내용을 회상하거나 학습자의 배경 지식을 활용하여 깊은 수준의 이해를 도모하기 위해서 기술적으로 AI스피커가 학습자의 사용 기록을 저장하고 학습맥락에 적절하게 재구성하여 제시해야 한다. 그러나 현재 AI스피커 기술수준에서는 이러한 구현이 제한되고 있다. 다만, 일정 시간 간격을 두고 지속적으로 학습 콘텐츠를 업데이트하는 형태의 Skills인 경우, 이전 학습 내용 기록을 분석하여 새로운 콘텐츠와 연관지어 학습활동을 구성하는 등 초기단계의 적응적 설계는 가능할 것으로 제안할 수 있다.</p>
</sec>
<sec id="sec004-4">
<title>4.4 자극자료 제시</title>
<p>자극자료 제시가 반영된 Skills는 전체 30건의 사례 중 16건(53.3%)이었다. 자극자료가 제시된 대표적인 Skills는 “SayHi Language Learning”, “Lingo Trip”, “German Articles” 등이다. 이들은 언어 학습용 Skills에서 학습자들에게 정확한 발음 모델을 제시하기 위해 원어민 음성을 들려준다. 또한 “Animal Game for Kids”, “Bird songs” 등의 Skills는 보다 생생한 자극자료 제시를 위해 맥락에 맞는 실제 동물들의 울음소리를 들려준다.</p>
</sec>
<sec id="sec004-5">
<title>4.5 학습안내 제공</title>
<p>학습안내 제공 단계가 반영된 Skills는 전체 30건의 사례 중 21건(70%)이었다. 다수의 Skills에서 학습자들에게 학습 흐름에 대한 안내를 제공하고 있는 것으로 나타났다. 예를 들어 “Speak Listen Learn”의 경우 앞으로의 학습활동에 대한 제시(‘노래를 부르거나 단어를 적어보거나 그 외 다양한 활동을 하게 될 것’)와 학습활동 소개(‘특정한 소리가 들리면서 질문이 있으면 응답요구’) 등이 제공된다. 다만, 본 단계는 일반적인 컴퓨터기반 학습 콘텐츠와 비교하였을 때 다소 기초적인 수준인 것을 확인할 수 있었다. 이는 음성정보를 바탕으로 운용되는 AI스피커의 특성상 학습과정을 정확하게 인식하는데 한계가 있기 때문일 수 있다. 이는 내비게이션 기능 제공 또는 정교한 학습안내 기능을 설계함으로서 보완이 가능할 것이다.</p>
</sec>
<sec id="sec004-6">
<title>4.6 수행유도</title>
<p>수행유도 단계가 반영된 Skills는 20건(66.7%)이었다. 수행유도가 포함된 사례들을 구체적으로 살펴보면, “English Irregular Verbs”는 “sink의 동사활용 형태는?”과 같은 질문을 연속적으로 제시하여 학습자의 활발한 참여를 유도한다. 반면 일부 Skills는 상호작용적인 의사소통을 통해 학습을 촉진시키는 구조가 제한되어 있다. 예를 들어 “Teach me French”를 비롯한 팟캐스트형 콘텐츠들은 학습자들에게 학습 내용을 일방적으로 제공하며 별도의 연습의 기회를 부여하지는 않았다. 학습자들의 수행을 적극적으로 유도하여 AI스피커가 보유한 기술적 속성을 최대한 활용하는 역동적 콘텐츠 설계를 고려할 필요가 있다.</p>
</sec>
<sec id="sec004-7">
<title>4.7 피드백 제공</title>
<p>‘피드백제공’이 반영된 Skills는 전체 30건의 사례 중 19건(63.3%)이었다. 그 중 1건(“Grammar Tool”)을 제외하고 모두 학습자 수행에 대한 결과 피드백을 제공하고 있었다.</p>
<p>특히 “Animal Game for Kids” Skills의 경우 학습자들이 수행 과정에서 단순한 교정적 피드백(corrective feedback)을 제공하는 대신, 학습자가 오답을 이야기하면 추가 정보와 힌트를 제공해주고 다시 한 번 도전할 수 있는 기회를 준다. 예컨대, 쥐 우는 소리를 들려주고 “이것이 무슨 동물의 울음소리일까요?”라는 질문을 던진 뒤, 학습자가 대답하지 못하면 “힌트를 드릴게요. 이 동물은 Walt Disney의 마스코트 캐릭터로도 잘 알려진 동물이에요.” 등과 같은 추가 정보와 함께 재답변할 기회를 부여하였다.</p>
</sec>
<sec id="sec004-8">
<title>4.8 수행평가</title>
<p>수행평가 단계가 반영된 Skills는 전체 30건의 사례 중 16건(53.3%)이었다. “SayHi Language Learning”, “Learn Japanese”, “Learn Chinese” 등은 학습자들의 수행 내용을 확인하는 마무리 퀴즈가 제공되었고, “English Irregular Verbs”, “Memory Game for Kids”, “Spelling Bee Winner” 등은 수행 내용에 대한 채점이 시행되었다. 한편, Kids Times라는 콘텐츠를 소개하고자 한다. 한편, 본 분석대상 Skills에서는 제외되었지만 수행평가 기능에 특화된 콘텐츠를 제공하는 “Kids Times” Skills는 마무리 퀴즈와 채점 기능이 복합적으로 구현되어 있으며, 평가 결과에 따라 서로 다른 학습 시나리오가 제공된다. 오디오 드라마 형식을 취하고 있는 학습 콘텐츠인 “Kids Times” Skills는 괴물에게 잡혀간 동료를 구한다는 유초등 학생 대상 시나리오 전개에 따라 학습내용에 대한 마무리 퀴즈가 제시되고, 이 결과에 기반하여 모든 동료 또는 일부 동료를 구하거나 아무도 구해내지 못 하는 시나리오로 분화된 콘텐츠가 제공된다. 구출에 실패한 동료가 있는 경우, 퀴즈에 재도전할 수 있는 기회가 제시되며, 이 과정을 수행하면서 학습자 동기수준과 학습을 제고시키게 된다.</p>
</sec>
<sec id="sec004-9">
<title>4.9 파지와 전이 향상</title>
<p>파지와 전이 현상은 30건의 사례 중 단 1건이 관찰되었다. 분석 대상 중 유일하게 파지와 전이를 고려한 Skill인 “Voice Coder”의 경우는 AI스피커를 통해 학습대상자인 유초등학생이 간단한 형태의 게임을 직접 만들어볼 수 있도록 고안되었다. 사용자는 AI스피커 안내에 따라 다양한 활동을 수행할 수 있는 옵션을 선택하게 되는데, 이때 사용자가 선택한 내용이 게임의 규칙으로 설정되면서 연계된 웹상에 실시간으로 반영된다. 완성된 게임은 웹에서 다운로드 받아 직접 즐길 수 있다. 학습자들은 이 과정에서 코딩의 일반 원리를 학습하고, 이를 실제 경험하게 된다. 파지와 전이향상은 콘텐츠 설계시 체계적으로 구상하면 충분히 적용이 가능한 요소이다.</p>
</sec>
</sec>
<sec id="sec005">
<title>5. 결론 및 발전 방향</title>
<p>본 연구는 확대성장 추세에 있는 AI스피커 및 AI스피커 학습콘텐츠의 교육적 활용가능성을 체계적으로 전망하기 위해 시행되었다. 이를 위해 Gagné의 수업이론을 준거로 활용하여 세부기준에 의해 선정된 AI 스피커 Skills 30종에 대해 9가지 수업 요소에 근거한 분석을 시행하였다.</p>
<p>연구결과 Gagné의 수업사태 요소 중 주의력 집중(86.7%) → 학습안내 제공(70%) → 수행유도(66.7%) → 피드백 제공(63.3%) → 자극자료 제시, 수행평가(53.3%) → 학습목표 제시(46.7%) → 파지와 전이향상(3.3%) → 사전지식 재생자극(0%) 순으로 분석대상들이 적용하고 있었다. 연구결과를 분석하면, AI스피커가 가진 다양한 청각자극 요소가 주의력 집중에 다수 활용되었으며, 학습안내를 비롯한 수행유도와 피드백 제공 등도 기본 설계요소로서 전체 분석대상의 2/3 가량이 포함되었다. 그러나 파지와 전이향상, 사전지식 재생자극은 제대로 반영되고 있지 못한 것이 발견되었다.</p>
<p>전체 270개 매트리스를 기준으로 물리적인 결과로만 살펴보면, 133개 매트리스인 총 49.3% 즉 절반가량의 요소가 반영되었다.</p>
<p>상기 결과는 다음과 같은 함의를 갖게 한다. 첫째, 초기단계이므로 흥미 등을 중시하는 요소들이 반영되어 학습자를 단기적으로 참여시킬 수 있는 전략들이 주로 적용되어 있지만 보다 장기적인 관점에서 학습 효과성과 효율성을 높이기 위한 제교수학습 요소가 보다 체계적으로 개발될 필요가 있었다. 이를 위해 Gagné의 요소들을 단순히 적용하는 것 이상으로 학습 효과성과 효율성을 높이기 위한 세련된 적용전략 개발이 지속적으로 이루어져야 한다.</p>
<p>둘째, 극단적으로 채택되지 않은 두 요소인 파지와 전이향상, 사전지식 재생자극은 서로 다른 이유에서 적용되지 않은 것으로 분석할 수 있다. 우선 파이와 전이향상은 목표된 학습내용만으로 콘텐츠 제공이 제한되는 것이 아니라 보다 심화학습 목표를 달성하기 위한 콘텐츠가 확장 제시되는 것이다. 이는 보다 체계적인 설계 시 충분히 반영이 가능하며, 학습자의 단편적인 흥미위주 학습을 극복할 수 있는 효과적인 방법이다. 한편 사전지식 재생자극의 경우 학습자의 학습경로와 기록이 보존되어 재로그인 시 이를 반영, 준비된 콘텐츠 제시가 이루어져야 하는 전제를 갖고 있다. 기존의 컴퓨터기반 학습체제에서는 각종 기술을 바탕으로 이것이 가능한데, AI스피커에는 개별사용자의 음성과 음성을 바탕으로 한 학습결과를 기록으로 저장하고, 이를 인출하여 차시학습에 적용하는 기술수준이 미흡한 것을 확인할 수 있었다.</p>
<p>셋째, 분석된 자료는 우수한 것으로 판정되는 30개를 대상으로 시행된 것이 Gagné 교수사태의 약 50% 가량 적용된 것을 고려하면, 분석되지 않은 10,000개 가까운 교육 카데고리 Skills들과 향후 보급될 Skills 들은 보다 체계적인 교수학습설계에 기반한 양질의 콘텐츠 개발과 보급이 시급한 것으로 추론해 볼 수 있다.</p>
<p>이와 같은 연구결과와 연구결과 분석에 따라 향후 AI스피커 교육콘텐츠 발전을 위한 제언은 다음과 같다.</p>
<p>첫째, AI스피커의 구조적 이해에 기반한 설계이다. 최신 교육매체들은 시각과 청각을 포함한 다양한 공감각을 학습자들에게 제공함으로써 학습효과 제고를 목표로 하고 있다. 이에 비해 AI스피커는 청각 및 대화에 특화된 의사소통 구조를 갖고 있다. 이는 학습자에게 다채로운 멀티미디어 경험이 제한된다는 측면으로 이해할 수 있고, 한편으로는 상상력과 창의력을 자극시키는 교육도구로서의 독자적인 역할 가능성을 상징하기도 한다. 이처럼 타매체와는 확연히 구분되는 AI스피커의 메시지 발송과 상호작용구조의 바탕에서 AI스피커만이 탁월하게 달성할 수 있는 콘텐츠를 개발하기 위한 이론 탐구와 이에 기반한 실천적 설계가 체계적으로 융합, 발전되는 방향 모색이 요구된다.</p>
<p>둘째, AI스피커의 기술적 속성을 활용한 설계이다. AI스피커는 학습자에게 발화(연습)의 기회를 제공하고, 이에 대한 정확성을 검증하는 등 학습자의 참여를 유도하는 역동적인 콘텐츠 설계가 가능하다. 그러나 본 연구에서 분석한 사례 대부분은 학습자가 충분한 연습의 기회를 가지는 환경이 제공되지 않아, 오디오 중심의 기존 서비스인 팟캐스트와의 확연한 구별점을 드러내는데 한계를 보였다. 나아가 AI스피커의 기술발전 사항을 고려하여 학습 관리시스템과 연계하여 학습자의 학습경로 및 경험을 저장하고, 이를 바탕으로 학습자에게 최적의 콘텐츠를 제공하여 상호작용할 수 있는 시스템이 구현될 경우 AI스피커를 활용한 교육콘텐츠의 효과성이 상당히 제고될 수 있다.</p>
<p>셋째, 구성주의(constructivism) 학습 패러다임을 적용한 설계이다. 학습자중심 교육패러다임으로 최신 학습경향을 대표하는 구성주의는 AI스피커를 학습매체로 활용하여 학습자가 자기주도적(self-regulated)으로 학습하는 환경에 최적으로 적용할 수 있는 속성을 지니고 있다. Jonassen<xref ref-type="bibr" rid="B024">[24]</xref>은 학습자들이 환경 혹은 세계와 상호작용하며 얻은 경험들을 해석하고 재구성하며 학습의미를 찾아내는 학습활동을 강조하였다. 이와 같은 교육설계는 AI스피커를 활용한 콘텐츠 기획단계에서 적극 고려할 요소이다. 분석대상인 Skills에서는 이러한 요소들이 충분히 드러나지 않았다. 학습 내용이 자연스럽게 생활과 유사하거나 실제적 과업을 목표로 하도록 구성된다면 학습자들은 이러한 콘텐츠를 더욱 유용하게 느끼고 학습을 실천할 수 있다.</p>
<p>마지막으로, 다각적 학습설계 전략의 적용이다. 기존 AI스피커의 교수학습 상호작용은 대체로 1:1 가정 하에 준비된 로직에 의한 의사소통 방식으로 구현되고 있다. 그러나 다양한 교육상황에 대응하는 학습설계 전략들이 이미 다수 제공되고 있는바, AI스피커 기반 교육콘텐츠에서도 이들을 적용할 수 있는 전략적 설계가 요구된다. 예를 들어, 다수 학습자가 참여하는 협력 및 협동학습 기반의 콘텐츠이다. 본 연구의 분석대상에는 포함되지 않았지만, 이와 같은 가능성을 보여주고 있는 몇몇 사례들이 있다. 특히 “Kids Court” Skills는 학습자들에게 피고인, 검사 등 다양한 역할을 부여해서 학습자에게 낯설고 어려운 전문법률 용어와 법정 구조들을 자연스럽게 익힐 수 있는 전략을 제공하고 있으며, 분석대상이었던 “Memory Games for Kids”에서는 다수 학습자가 순서대로 퀴즈를 풀면서 점수를 겨루는 기능이 제공되었다. 이처럼 협력적 학습 설계 뿐 아니라 경쟁, 토론 등 기능을 제시할 수 있으며, 나아가 프로젝트 기반학습(project-based learning) 및 문제기반학습(problem-based learning) 등 다양한 교수설계에 기반한 AI스피커 교육콘텐츠 구성이 가능하다.</p>
<p>지금까지 Gagné 의 수업이론 준거에 기반한 분석을 바탕으로 AI스피커 교육콘텐츠 현황을 살펴보고 발전방향을 모색하였다. 테크놀로지를 활용한 여타 교육도구 및 매체와 비교해 보았을 때 AI스피커는 가장 최근에 개발이 시작된 것으로 볼 수 있다. 그만큼 발전 가능성을 높게 갖고 있으므로, AI 스피커가 갖는 속성을 극대화하여 체계적인 교수 설계와 개발이 이루어지고 이것이 학습자에게 제공될 때 최적의 교육효과가 제고될 것이다.</p>
</sec>
</body>
<back>
<ref-list>
<title>References</title>
<!-- [1] Smart speaker, https://en.wikipedia.org/wiki/Smart_speaker, Jun. 2019.-->
<ref id="B001">
<label>[1]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Smart speaker, <uri>https://en.wikipedia.org/wiki/Smart_speaker</uri></source>
</element-citation>
</ref>
<!-- [2] H-T. Yang, and D-B. Kim, Intelligent personal assistant market trend and domestic business anticipation [The 4th industrial revolution trend3], Trend and Issue, Vol. 35, 2017.-->
<ref id="B002">
<label>[2]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Yang</surname><given-names>H-T.</given-names></name>
<name><surname>Kim</surname><given-names>D-B.</given-names></name>
</person-group>
<year>2017</year>
<article-title>Intelligent personal assistant market trend and domestic business anticipation [The 4th industrial revolution trend3]</article-title>
<source>Trend and Issue</source>
<volume>35</volume>
</element-citation>
</ref>
<!-- [3] User interface, https://en.wikipedia.org/wiki/User_interface, Jun. 2019.-->
<ref id="B003">
<label>[3]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>User interface, <uri>https://en.wikipedia.org/wiki/User_interface</uri></source>
</element-citation>
</ref>
<!-- [4] Text-based user interface, https://en.wikipedia.org/wiki/Text-based_user_, Jun. 2019.-->
<ref id="B004">
<label>[4]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Text-based user interface, <uri>https://en.wikipedia.org/wiki/Text-based_user_</uri></source>
</element-citation>
</ref>
<!-- [5] Command line interface, https://en.wikipedia.org/wiki/Command-line_interface, Jun. 2019.-->
<ref id="B005">
<label>[5]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Command line interface, <uri>https://en.wikipedia.org/wiki/Command-line_interface</uri></source>
</element-citation>
</ref>
<!-- [6] Graphical user interface, https://en.wikipedia.org/wiki/Graphical_user_interface, Jun. 2019.-->
<ref id="B006">
<label>[6]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Graphical user interface, <uri>https://en.wikipedia.org/wiki/Graphical_user_interface</uri></source>
</element-citation>
</ref>
<!-- [7] Y-S. Kim, Understanding smart speakers, https://www.slideshare.net/neotevan/aismartspeaker1kku180813, Jun. 2019.-->
<ref id="B007">
<label>[7]</label>
<element-citation publication-type="webpage" publication-format="web">
<person-group>
<name><surname>Kim</surname><given-names>Y-S.</given-names></name>
</person-group>
<year>2019</year>
<month>Jun.</month>
<source>Understanding smart speakers, <uri>https://www.slideshare.net/neotevan/aismartspeaker1kku180813</uri></source>
</element-citation>
</ref>
<!-- [8] G-E. Jo. and S-I. Kim, A study on user experience of artificial intelligence speaker, Journal of the Korea Convergence Society, Vol. 9, No. 8, pp. 127-133, 2018.-->
<ref id="B008">
<label>[8]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Jo</surname><given-names>G-E.</given-names></name>
<name><surname>Kim</surname><given-names>S-I.</given-names></name>
</person-group>
<year>2018</year>
<article-title>A study on user experience of artificial intelligence speaker</article-title>
<source>Journal of the Korea Convergence Society</source>
<volume>9</volume><issue>8</issue>
<fpage>127</fpage><lpage>133</lpage>
<pub-id pub-id-type="doi">10.15207/JKCS.2018.9.8.127</pub-id>
</element-citation>
</ref>
<!-- [9] Intelligent personal assistants, https://patents.google.com/patent/US20030167167A1/en, Jun. 2019.-->
<ref id="B009">
<label>[9]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Intelligent personal assistants, <uri>https://patents.google.com/patent/US20030167167A1/en</uri></source>
</element-citation>
</ref>
<!-- [10] J-H, Choi, and S-H, Lee, Voice recognition AI assistant market trend and implications, Information &#x26; Communications Policy, Vol. 29, No. 9, pp. 1-37, 2017.-->
<ref id="B010">
<label>[10]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Choi</surname><given-names>J-H.</given-names></name>
<name><surname>Lee</surname><given-names>S-H.</given-names></name>
</person-group>
<year>2017</year>
<article-title>Voice recognition AI assistant market trend and implications</article-title>
<source>Information &#x26; Communications Policy</source>
<volume>29</volume><issue>9</issue>
<fpage>1</fpage><lpage>37</lpage>
</element-citation>
</ref>
<!-- [11] M. Jeong. and S-M. Ko, A study on the user experience evaluation for the AI speakers in the long term of use, Proceedings of HCI Korea, Vol. No. 2, 2019.-->
<ref id="B011">
<label>[11]</label>
<element-citation publication-type="paper">
<person-group>
<name><surname>Jeong</surname><given-names>M.</given-names></name>
<name><surname>Ko</surname><given-names>S-M.</given-names></name>
</person-group>
<year>2019</year>
<article-title>A study on the user experience evaluation for the AI speakers in the long term of use</article-title>
<source>Proceedings of HCI Korea</source>
<issue>2</issue>
</element-citation>
</ref>
<!-- [12] Smart speakers in households, https://voicebot.ai/2017/4/14/gartner-predicts-75-us-households-will-smart-speakers-2020/, Jun. 2019.-->
<ref id="B012">
<label>[12]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Smart speakers in households, <uri>https://voicebot.ai/2017/4/14/gartner-predicts-75-us-households-will-smart-speakers-2020/</uri></source>
</element-citation>
</ref>
<!-- [13] Smart speakers: Growth at a discount, https://www2.deloitte.com/insights/us/en/industry/technology/technology-media-and-telecom-predictions/smart-speaker-voice-computing.html, Jun. 2019.-->
<ref id="B013">
<label>[13]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Smart speakers: Growth at a discount, <uri>https://www2.deloitte.com/insights/us/en/industry/technology/technology-media-and-telecom-predictions/smart-speaker-voice-computing.html</uri></source>
</element-citation>
</ref>
<!-- [14] H-J. Kim, Educational technology and ICT: Meaning and research trend, Proceedings of the Korea Society of Educational Technology Conference, p. 90, 2015.-->
<ref id="B014">
<label>[14]</label>
<element-citation publication-type="paper">
<person-group>
<name><surname>Kim</surname><given-names>H-J.</given-names></name>
</person-group>
<year>2015</year>
<article-title>Educational technology and ICT: Meaning and research trend</article-title>
<source>Proceedings of the Korea Society of Educational Technology Conference</source>
<fpage>90</fpage>
</element-citation>
</ref>
<!-- [15] J-E. Ahn, and Y-K. Jun, Review of educational applications of artificial intelligence speakers, The Journal of Korean association of computer education, Vol. 22, No. 1, pp. 93-95, 2018.-->
<ref id="B015">
<label>[15]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Ahn</surname><given-names>J-E.</given-names></name>
<name><surname>Jun</surname><given-names>Y-K.</given-names></name>
</person-group>
<year>2018</year>
<article-title>Review of educational applications of artificial intelligence speakers</article-title>
<source>The Journal of Korean association of computer education</source>
<volume>22</volume><issue>1</issue>
<fpage>93</fpage><lpage>95</lpage>
</element-citation>
</ref>
<!-- [16] H-J. Lee, C-H. Cho, S-Y Lee, and Y-H. Keel, A study on consumers’ perception of and use motivation of artificial intelligence(AI) speaker, The Journal of the Korea Contents Association, Vol. 19, No. 3, pp. 138-154, 2019.-->
<ref id="B016">
<label>[16]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Lee</surname><given-names>H-J.</given-names></name>
<name><surname>Cho</surname><given-names>C-H.</given-names></name>
<name><surname>Lee</surname><given-names>S-Y.</given-names></name>
<name><surname>Keel</surname><given-names>Y-H.</given-names></name>
</person-group>
<year>2019</year>
<article-title>A study on consumers’ perception of and use motivation of artificial intelligence(AI) speaker</article-title>
<source>The Journal of the Korea Contents Association</source>
<volume>19</volume><issue>3</issue>
<fpage>138</fpage><lpage>154</lpage>
<pub-id pub-id-type="doi">10.5392/JKCA.2019.19.03.138</pub-id>
</element-citation>
</ref>
<!-- [17] M-S. Kang, AI speakers as educational media (Unpublished material), Konkuk University e-campus, 2018.-->
<ref id="B017">
<label>[17]</label>
<element-citation publication-type="thesis">
<person-group>
<name><surname>Kang</surname><given-names>M-S.</given-names></name>
</person-group>
<year>2018</year>
<source>AI speakers as educational media (Unpublished material)</source>
<publisher-name>Konkuk University e-campus</publisher-name>
</element-citation>
</ref>
<!-- [18] R. Clark, Media will never influence learning, Educational Technology Research and Development, Vol. 42, No. 2, pp. 21-29, 1994.-->
<ref id="B018">
<label>[18]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Clark</surname><given-names>R.</given-names></name>
</person-group>
<year>1994</year>
<article-title>Media will never influence learning</article-title>
<source>Educational Technology Research and Development</source>
<volume>42</volume><issue>2</issue>
<fpage>21</fpage><lpage>29</lpage>
</element-citation>
</ref>
<!-- [19] K-C. Hong, Issues and directions on the effects of instructional media, The Journal of Elementary Education, Vol. 17, No. 1, pp. 47-78, 2004.-->
<ref id="B019">
<label>[19]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Hong</surname><given-names>K-C.</given-names></name>
</person-group>
<year>2004</year>
<article-title>Issues and directions on the effects of instructional media</article-title>
<source>The Journal of Elementary Education</source>
<volume>17</volume><issue>1</issue>
<fpage>47</fpage><lpage>78</lpage>
</element-citation>
</ref>
<!-- [20] Alexa Skills, https://www.amazon.com/alexaskills/b?ie=UTF8&node=13727921011, Jun. 2019.-->
<ref id="B020">
<label>[20]</label>
<element-citation publication-type="webpage" publication-format="web">
<year>2019</year>
<month>Jun.</month>
<source>Alexa Skills, <uri>https://www.amazon.com/alexaskills/b?ie=UTF8&#x26;node=13727921011</uri></source>
</element-citation>
</ref>
<!-- [21] S-Y. Jun and S-D. Kim, Instructional theory (translation), Hak-Ji Sa, Seoul, Korea, 2000.-->
<ref id="B021">
<label>[21]</label>
<element-citation publication-type="book">
<person-group>
<name><surname>Jun</surname><given-names>S-Y.</given-names></name>
<name><surname>Kim</surname><given-names>S-D.</given-names></name>
</person-group>
<year>2000</year>
<source>Instructional theory</source>
<comment>(translation)</comment>
<publisher-loc>Seoul, Korea</publisher-loc>
<publisher-name>Hak-Ji Sa</publisher-name>
</element-citation>
</ref>
<!-- [22] B. G. Dates, and J. E. King, SPSS algorithms for bootstrapping and jackknifing generalized measures of agreement, Paper presented at the annual meeting of the Southwest Educational Research Association, New Orleans, LA, 2008.-->
<ref id="B022">
<label>[22]</label>
<element-citation publication-type="paper">
<person-group>
<name><surname>Dates</surname><given-names>B. G.</given-names></name>
<name><surname>King</surname><given-names>J. E.</given-names></name>
</person-group>
<year>2008</year>
<article-title>SPSS algorithms for bootstrapping and jackknifing generalized measures of agreement</article-title>
<source>Paper presented at the annual meeting of the Southwest Educational Research Association</source>
<comment>New Orleans, LA</comment>
</element-citation>
</ref>
<!-- [23] J. R. Landis, and G. G. Koch, The measurement of observer agreement for categorical data. Biometrics, Vol. 33 No. 1, pp. 159-174. 1977.-->
<ref id="B023">
<label>[23]</label>
<element-citation publication-type="journal">
<person-group>
<name><surname>Landis</surname><given-names>J. R.</given-names></name>
<name><surname>Koch</surname><given-names>G. G.</given-names></name>
</person-group>
<year>1977</year>
<article-title>The measurement of observer agreement for categorical data</article-title>
<source>Biometrics</source>
<volume>33</volume><issue>1</issue>
<fpage>159</fpage><lpage>174.</lpage>
<pub-id pub-id-type="doi">10.2307/2529310</pub-id>
</element-citation>
</ref>
<!-- [24] D. Jonassen, Designing constructivist learning environments, in Charles Reigeluth(ed.), Instructional Design Theories and Models, Lawrence Erlbaum Associates Inc. Pub., 1999.-->
<ref id="B024">
<label>[24]</label>
<element-citation publication-type="book">
<person-group>
<name><surname>Jonassen</surname><given-names>D.</given-names></name>
</person-group>
<person-group person-group-type="editor">
<name><surname>Reigeluth</surname><given-names>Charles</given-names></name>
</person-group>
<year>1999</year>
<chapter-title>Designing constructivist learning environments</chapter-title>
<source>Instructional Design Theories and Models</source>
<publisher-name>Lawrence Erlbaum Associates Inc. Pub.</publisher-name>
</element-citation>
</ref>
</ref-list>
<bio>
<p><graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f003.jpg"></graphic><bold>Jun Seo Park</bold> received his bachelor’s degree in the Department of Education from Seowon University in 2017. He is in the Master's course of Educational technology at Konkuk University, Seoul, Korea. He is currently a teaching assistant in the Educational Innovation Institute at Konkuk University. His research interests include advanced technologies for education and educational contents. He is a regular member of the KKITS.</p>
<p><italic>E-mail address</italic>: <email>imas765pro@naver.com</email></p>
<p><graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f004.jpg"></graphic><bold>Yujin Kim</bold> received her bachelor’s degree in English and English Education, respectively. She is a doctoral student in the Department of Educational Technology at Konkuk University, Seoul, Korea. Her research areas are instructional design and educational use of technologies. She is a regular member of the KKITS.</p>
<p><italic>E-mail address</italic>: <email>gkgk2004@konkuk.ac.kr</email></p>
<p><graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f005.jpg"></graphic><bold>Minyoung Kim</bold> received the bachelor’s degree in he Department of Computer Science from the Korea National Open University in 2013. She received the M.S. degree in the Department of e-Learning from Korea National Open University in 2015. She is in the Ph.D. program in the Department of Education Technology at Konkuk University since 2018. Her current research interests include artificial intelligence, learning content, and IT device. She is a regular member of the KKITS.</p>
<p><italic>E-mail address</italic>: <email>kmykmy79@konkuk.ac.kr</email></p>
<p><graphic xlink:href="../ingestImageView?artiId=ART002496979&amp;imageName=jkits_2019_14_04_345_f006.jpg"></graphic><bold>Keol Lim</bold> received his bachelor’s degree in the Department of Education from Korea University in 1997. He received the Master of Education and Doctor of Education degree at Teachers College, Columbia University majoring in instructional technology &#x0026; media. He is currently an associate professor in the Department of Educational Technology at Konkuk University, Seoul, Korea. His research interests include advanced technologies for education and the digital divide. He is a regular member of the KKITS.</p>
<p><italic>E-mail address</italic>: <email>gklim01@konkuk.ac.kr</email></p>
</bio>
</back>
</article>
